 |
Cкрипт ddrescue-loop с функцией автоматической остановки/перезапуска диска на SATA порту (доп. ссылка 1) |
Автор: gumanzoy
[комментарии]
|
| | Cкрипт [[https://vk.com/doc14960727_670930009 ddrescue-loop v0.1]] с функцией автоматической остановки/перезапуска диска на SATA порту.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
 |
|
|
Шифрование данных на существующем разделе ext4 без его переформатирования (доп. ссылка 1) (доп. ссылка 2) |
[комментарии]
|
| | Можно отметить два основных способа организации шифрования данных в уже существующей файловой системе Ext4, не требующие пересоздания раздела с переносом данных из резервной копии. Первый способ заключается в использовании встроенных в Ext4 возможностей по шифрованию отдельных каталогов, а второй в использовании команды "cryptsetup reencrypt" для прозрачного переноса ФС на новый шифрованный раздел LUKS. В любом случае создание полной резервной копии перед выполнением предложенных манипуляций обязательно.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
История про Ceph и реплику 1+2 |
Автор: alex
[комментарии]
|
| | Обратился как-то знакомый с вопросом можно ли c Ceph реализовать реплику 1+2. Было 2 сервера OSD и требовалось сделать хранилище, причём только на запись (операции чтения не больше 10 процентов, а 90 процентов это запись). В виду горького раннего опыта с данной репликой и файловым Ceph пытался отговорить его от этого, но интерес взял своё.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Оптимизация работы на SSD-накопителе рабочей станции с Fedora Linux (доп. ссылка 1) |
[комментарии]
|
| | Включаем для SSD-накопителя поддержку TRIM и отключаем обновление метаданных со временем доступа к файлу. Добавляем в список флагов /etc/fstab опции discard и noatime:
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Перенос данных через loop-диск, физически занимающий не больше размера скопированных данных (доп. ссылка 1) |
Автор: Паша
[комментарии]
|
| | У меня на роутере с линуксом висят 3 флешки, объединенные в один длинный диск через линейный программный RAID. Возникла необходимость заменить одну из этих флешек, ничего умнее не придумал, как на ноутбуке скопировать всю информацию из старого массива в новый, через диск внутри файла, подключенный как loop device.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Использование Google Drive в Linux |
[комментарии]
|
| | Как известно, компания Google пока не выпустила официального клиента Google
Drive для платформы Linux, но подтвердила, что работает над его созданием.
Не дожидаясь выхода Linux-клиента от Google энтузиастами было создано несколько
независимых открытых проектов для работы с данным сервисом хранения, используя
публично доступную спецификацию по API для работы с Google Drive.
Среди такие проектов:
Grive - написанный на С++ клиент для работы с Google Drive. Поддерживает две
базовые операции: загрузка всех находящиеся в Google Drive файлов в текущую
локальную директорию и сохранение в Google Drive изменённых данных из локальной
директории. В настоящий момент (версия 0.0.3) программа поддерживает только
обратную синхронизацию изменений, новые файлы в Google Drive она загружать пока
не может. Готовые пакеты сформированы для Debian Testing и Fedora Linux. При
первом запуске утилиту следует запустить с опцией "-a", затем открыть указанные
URL и скопировать код аутентификции в приглашение программы, после этого будет
создана директория .grive и начнётся загрузка данных.
google-docs-fs - написанная на языке Python реализация FUSE-модуля для
монтирования Google Docs (будет работать и для Google Drive) в качестве
локальной файловой системы. К сожалению автор прекратил развитие проекта, но
успел выпустить кандидат в релизы. Модуль поддерживает все базовые операции, по
чтению и записи данных, позволяет создавать директории. Готовые пакеты доступны для
Ubuntu и Arch Linux. Для
монтирования директории после установки следует запустить "gmount
локальная_директория адрес@gmail.com", для размонтирования - "gumount локальная_директория".
gdocsfs - FUSE-модуль для Google Docs, написанный на Java.
fuse-google-drive - FUSE-модуль для монтирования содержимого Google Drive в
качестве локальной файловой системы. Проект написан на языке Си. В настоящее
время проект находится на начальной стадии развития и позволяет только
просматривать список файлов, размещённых в Google Drive.
google-drive-utils - попытка написать на Python набор утилит для работы с
Google Drive, создаваемых по аналогии с GNU Coreutils (ls, cat, cp, mv и т.п.).
Проект пока находится на стадии формирования начального тестового прототипа и
ещё не пригоден к использованию.
|
| |
|
|
|
Использование FlashCache для кэширования обращений к диску на высокоскоростном SSD-накопителе (доп. ссылка 1) (доп. ссылка 2) |
[комментарии]
|
| | Весной 2010 года компания Facebook [[http://www.opennet.me/opennews/art.shtml?num=26440 открыла]] код проекта [[https://github.com/facebook/flashcache/ FlashCache]], представляющего собой модуль для ядра Linux, позволяющий заметно ускорить работу MySQL и других интенсивно работающих с диском приложений. Увеличение производительности достигается за счет организации процесса прозрачного кэширования наиболее активно используемых данных на быстрых SSD-накопителях.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Организация файлового хранилища на базе Git-репозитория при помощи Sparkleshare (доп. ссылка 1) |
[комментарии]
|
| | В рамках проекта [[http://www.sparkleshare.org/ Sparkleshare]] развивается свободный движок для организации похожих на Dropbox online-хранилищ, непосредственное хранение данных в которых осуществляется в любом Git-репозитории. Использование Git позволяет задействовать элементы версионного контроля для отслеживания изменений в файлах, давая возможность отследить все изменения и при необходимости вернуться к состоянию определенного файла в прошлом.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
|
|
Установка Slackware Linux на LVM |
Автор: tux2002
[комментарии]
|
| | Загрузимся с установочного диска Slackware 13.0
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Настройка iSCSI в Ubuntu Linux |
[комментарии]
|
| | Создание iSCSI-хранилища (iSCSI target - сервер):
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Создание шифрованного раздела в Linux (доп. ссылка 1) |
[комментарии]
|
| | В CentOS 5.3 добавлена возможность создания шифрованных дисковых разделов на этапе установки.
Рассмотрим ручное создание шифрованного раздела /dev/sdb3 при помощи dm-crypt/LUKS.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Как преобразовать образ виртуальной машины Qemu в VirtualBox и VmWare |
[комментарии]
|
| | Для преобразования образа виртуальной машины Qemu в вид пригодный для запуска в VirtualBox,
можно использовать следующие команды:
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Передача блочных устройств на другую машину, при помощи NBD в Linux (доп. ссылка 1) (доп. ссылка 2) |
[комментарии]
|
| | Возможность работы с блочным устройством другой машины по сети может быть оправдана
при наличии на второй машине новой версии fsck, поддержки файловой системы
(например, тестирование нового драйвера FS, или экспорт на другую программную платформу,
диск можно подключить к Windows машине и примонтировать на компьютере с Linux) или
специализированного устройства (например, raid-контроллера), отсутствующих
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Слежение за изменением файлов и директорий в Linux shell |
[комментарии]
|
| | Пакет inotify-tools содержит две полезные утилиты:
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Миграция на файловую систему LVM с поддержкой шифрования в Debian linux (доп. ссылка 1) |
Автор: Сгибнев Михаил
[комментарии]
|
| | Администрирование Debian: How To по миграции на файловую систему LVM с поддержкой шифрования
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Настройка службы iSCSI на сервере FreeBSD (доп. ссылка 1) |
Автор: Сгибнев Михаил
[комментарии]
|
| | Q. Как я могу установить и настроить службу iSCSI на сервере FreeBSD ?
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Составление списка мертвых символических ссылок (доп. ссылка 1) |
Автор: pavlinux
[комментарии]
|
| | Находим файлы символических ссылок, которые никуда не указывают.
find / -noleaf -type l -print | perl -nle '-e || print'
Эта команда выведет все мертвые ссылки на стандартные вывод.
Можно перевести вывод в файл, для изучения и исправления.
Или просто удалить, добавив конвейер: "| xargs rm", то есть так:
find / -noleaf -type l -print |perl -nle '-e || print' | xargs rm
PS. В BSD системах нужно отбросить опцию -noleaf, которая реализована только в GNU find.
|
| |
|
|
|
Как минимизировать влияние бэкап-скрипта на интенсивность ввода/вывода в Linux (доп. ссылка 1) |
[комментарии]
|
| | Задача сделать так, чтобы выполнение скрипта для бэкапа не сказывалось на производительности приложений
с интенсивными дисковыми операциями.
Решение - понижение приоритета скрипта в планировщике ввода/вывода CFQ, который включен в Linux ядро,
начиная с версии 2.6.13, и используется по умолчанию начиная с 2.6.18.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
|
|
Как в Fedora Linux создать загрузочный USB Flash на базе ISO образа (доп. ссылка 1) |
[комментарии]
|
| | Создание загрузочного USB Flash на базе ISO образа, без форматирования
и потери сохраненных на Flash данных (ставится прямо в VFAT, используя свободное место)
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Как обновить данные в Linux ядре, после изменения таблицы разделов (доп. ссылка 1) |
[комментарии]
|
| | После изменения таблицы разделов стандартный fdisk предлагает перезагрузиться,
чтобы ядро восприняло изменения.
Для того, чтобы обойтись без перезагрузки можно использовать утилиту
partprobe (просто запустить без параметров). partprobe входит в состав пакета parted.
Вариант без использования partprobe (подсказал Andrey Mitrofanov):
blockdev --rereadpt
|
| |
|
|
|
Увеличение скорости работы ext2/ext3 с директориями c большим числом файлов внутри (доп. ссылка 1) |
Автор: Роман Лагунов
[комментарии]
|
| | Для ускорения работы ext2/ext3 в пакете e2fsprogs начиная с версии 1.39 появилась
возможность использования технологии "directory indexing", или "HTree".
Чтобы включить dir_index в /dev/hdb1, для отмонтированного раздела нужно выполнить команду:
tune2fs -O +dir_index /dev/hdb1
Далее нужно перестроить индекс директорий:
e2fsck -Df /dev/hdb1
|
| |
|
|
|
Шифрованный виртуальный диск под FreeBSD 5 (доп. ссылка 1) |
Автор: levsha
[комментарии]
|
| | Предполагается что в полном распоряжении есть FreeBSD 5.X
Разборки "что ставить на сервер: 4.X или 5.X" не обсуждаются.
В случае использования FreeBSD 4.X необходимо вместо mdconfig использовать vnconfig
и вместо gbde использовать vncrypt.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Шифрованный swap в FreeBSD 6.0 |
Автор: neozoid
[комментарии]
|
| | Добавить в /boot/loader.conf:
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Причины ошибок при попытке создать раздел в FreeBSD 5 (доп. ссылка 1) |
Автор: lavr
[комментарии]
|
| | В 5'ке из-за GEOM'а есть защита от изменений в таблице партиций
на уже установленной системе.
Например, ругается:
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Изменение порядка нумерации дисковых разделов в Linux |
Автор: sleepycat
[обсудить]
|
| | Если вы создавали разделы начиная с конца диска к началу, в выводе команды
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Контроль целостности системы штатными средствами |
Автор: Avatar
[комментарии]
|
| | Что делать если под рукой нет tripwire или osec, а кривой aide вы пользоваться не хотите.
Часть функций , таких как проверка прав доступа и изменение файлов, можно реализовать штатными стедствами.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Как получить информацию о разделах диска для бэкапа |
[комментарии]
|
| | Linux:
fdisk -l /dev/hda > partitions.txt
cat /proc/partitions
BSD:
disklabel da0s1 > partitions.txt
Для восстановления или клонирования:
fdisk -BI -v -b /boot/mbr da1 # Слайс на весь диск.
disklabel -R -B -r da1s1 partitions.txt
Параметры FS, без ее реального создания можно посмотреть через:
newfs -N /dev/da0s1e
Для визуального создания или редактирования разделов удобно
использовать /stand/sysinstall (Configure/Fdisk иди Label),
в качестве точки монтирования не забыть добавить перед именем "/mnt"
и создать директорию для монтирования.
|
| |
|
|
|
Как уменьшить размер зарезервированного для root места на диске |
[комментарии]
|
| | Linux:
tune2fs -l /dev/hda6 # Смотрим установки
tune2fs -m 2 /dev/hda2 # Меняем на 2 процента
FreeBSD:
tunefs -p /dev/da1s1 # Смотрим установки
tunefs -m 2 /dev/da1s1 # Меняем на 2 процента
|
| |
|
|
|
Как переименовать имена файлов из одной кодировки в другую (доп. ссылка 1) |
[комментарии]
|
| | Если не переименовывать каталоги:
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
|
|
Изменение атрибутов ext2fs и ext3fs используя chattr (доп. ссылка 1) |
[обсудить]
|
| | Команда chattr позволяет изменять параметры ФС для отдельного файла или директории:
chattr +a - только добавление данных (append-only), удаление и переименование запрещено;
chattr +i - запрещено удаление, изменение или переименование (immutable);
chattr +A - запретить сохранение данных о каждом обращении к файлу (no atime)
chattr +S - синхронное изменение всех данных на диск, без кэширования;
chattr +c - файл будет хранится на диске в сжатом виде (нужен отдельный патч для ядра);
chattr +s - после удаления файла, место на диске забивается нулями (внешний патч);
chattr +u - резервирование данных файла после удаления (внешний патч);
Пример:
chattr -R +i /bin /sbin /usr/bin /usr/sbin - запрещаем изменение бинарников
chattr +a /var/log/secure - предотвращаем модификацию лога злоумышленником
Для просмотра расширенных атрибутов используется утилита lsattr.
Для FreeBSD см. man chflags и man security
|
| |
|
|
|
Полный бэкап на дополнительный диск при помощи rsync (доп. ссылка 1) |
[комментарии]
|
| | Резервный диск монтируем как /backup в read-only режиме.
По крону еженощно запускаем скрипт следующего содержания:
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Почему на нагруженных серверах лучше использовать SCSI диски, а не IDE. |
[комментарии]
|
| | 1. Качество исполнения, запас прочности и надежность накопителей со SCSI
интерфейсом как правило выше, чем у IDE.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Как создать файл устройства для монтирования раздела диска. |
[обсудить]
|
| | Linux IDE # Linux SCSI # FreeBSD 4
mknod /dev/hda b 3 0 # /dev/sda b 8 0 # /dev/ad0 b 116 0x00010002
mknod /dev/hda1 b 3 1 # /dev/sda1 b 8 1 # /dev/ad0s1 b 116 0x00020002
mknod /dev/hda2 b 3 2 # /dev/sda2 b 8 2 # /dev/ad0s1a b 116 0x00020000
mknod /dev/hdb b 3 64 # /dev/sdb b 8 16 # /dev/ad0s1b b 116 0x00020001
mknod /dev/hdb1 b 3 65 # /dev/sdb1 b 8 17 # /dev/ad0s1c b 116 0x00020002
mknod /dev/hdc b 22 0 # /dev/sdc b 8 32 # /dev/ad1s1a b 116 0x00020008
mknod /dev/hdd b 22 64 # /dev/sdd b 8 48 # /dev/da1s1a b 13 0x00020000
|
| |
|
|
|
Как в FreeBSD разрешить пользователю только добавлять данные в файл. |
[обсудить]
|
| | man chflags; man 2 chflags
Флаги (chflags флаг файл):
sappnd - все, кроме root или владельца (uppnd), могут лишь добавлять информацию в конец файла;
schg - только root или владелец файла (uchg) может изменить, перенести или удалить файл;
sunlnk - только root или владелец файла (uunlink) может удалить или переименовать файл;
Чтобы убрать установленный флаг, нужно использовать префикс "no", т.е. nouchg, nuschg и т.д.
|
| |
|
|
|
Как автоматически удалять все файлы в каталоге, созданные позднее N дней |
[комментарии]
|
| | удаляем старше 1 часа:
find /var/tmp_log/ -type f -mmin +60 -exec rm -f {} \;
удаляем старше 10 дней:
find /var/tmp_log/ -type f -mtime +10 -exec rm -f {} \;
|
| |
|
|
|
Как отформатировать флоппи-диск с FAT. |
[комментарии]
|
| | Linux:
mkdosfs -c -f 16 -n "метка тома" /dev/fd0h1440
или
mkfs -t fat16 /dev/fd0h1440
FreeBSD:
fdformat -f 1440 /dev/fd0
или
newfs_msdos -f 1440 -L "label" fd0
|
| |
|
|
|
Оптимизация дисковой подсистемы в Linux |
[обсудить]
|
| | man hdparm (например: /sbin/hdparm -c3 -d1 -X34 /dev/hda)
man elvtune
man tune2fs
echo 128000 > /proc/sys/fs/inode-max # def 16384
echo 64000 > /proc/sys/fs/file-max # def 4096 Число одновременно открытых файлов.
cd /proc/sys/fs/ (в 2.4.x работает автотюнинг)
/usr/src/linux/Documentation/sysctl/fs.txt
/usr/src/linux/Documentation/filesystems/proc.txt
|
| |
|
|
|
Как правильно прописать сменные накопители в /etc/fstab |
[обсудить]
|
| | Для решения проблем с русскими именами файлов в Linux для CDROM,
дискеты и Windows раздела следует прописать в /etc/fstab:
/dev/cdrom /mnt/cdrom iso9660 ro,nosuid,noauto,exec,user,nodev 0 0
/dev/fd0 /mnt/floppy vfat
iocharset=koi8-r,sync,nosuid,codepage=866,user,--,noauto,nodev,unhide 0 0
/dev/hda1 /mnt/windows vfat user,exec,umask=0,codepage=866,iocharset=koi8-r 0 0
|
| |
|
|
|
Как увеличить производительность дисковой подсистемы FreeBSD. |
[комментарии]
|
| | По умолчанию запись на диски в FreeBSD производится в синхронном режиме,
значительно увеличить скорость записи
можно активировав асинхронный режим: В /etc/fstab в поле Options добавить async (например rw,async).
Или для примонтированного раздела: mount -u -o async /home
Для увеличения производительности IDE дисков, в файле конфигурации ядра можно
указать для wdc устройств
flags 0xa0ffa0ff или 0x80ff80ff (подробнее man wd, man ad).
Для ad: sysctl hw.atamodes; sysctl hw.ata
Например: sysctl hw.atamodes=pio,pio,---,dma,pio,---,dma,---,
См. также man atacontrol
Третий вариант - активировать в настройках ядра SOFTUPDATES и запустить
tunefs -n enable /usr в single-user на размонтированном разделе.
|
| |
|
|
|
Как создать рабочий дубликат Linux или FreeBSD системы. |
[обсудить]
|
| | 1. Монтируем новый жесткий диск.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение]
|
| |
|
|
|
Как 1 в 1 скопировать файловую систему. |
[комментарии]
|
| | Копируем /usr в текущую директорию: dump -0u -f - /usr | restore -r -f -
Для полного бэкапа /usr на ленту: dump -0u -f /dev/st0 /usr
|
| |
|
|
