forum.opennet.ru - "Надежность и скорость работы файловых систем" (6)

форумы

помощь

поиск

регистрация

майллист

ВХОД

слежка

"Надежность и скорость работы файловых систем"

Форумы Скрипты, настройки и файлы конфигурации. (Public)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[Проследить за развитием треда]

"Надежность и скорость работы файловых систем"
Сообщение от opennet on 03-Июн-03, 12:26 (MSK)
Предлагается обсудить способы увеличения надежности и скорости работы файловых систем в FreeBSD и Linux: - Оптимизация производительности файловых систем и дисков. - Увеличение надежности хранения данных через использование программных RAID. - Способы восстановления после сбоя. - Использование файловых систем с журналированием. --------------------------------- Резюмирую: Немного из статьи Дениса Смирнова по поводу журналируемых ФС(http://freesource.info/article/4.shtml): --------- ext3 - расширение ext2 для журналирования. Поддерживает журналирование данных, а не только метаданных (при data=journal). reiserfs - высокая скорость работы с каталогами с большим числом файлов, компактно хранит хвосты от файлов, поддерживает увеличение размера раздела без остановки сервера. xfs - быстрая работа с файлами большого размера, великолепная надёжность, поддержка ACL. -------- В FreeBSD средством увеличения скорости работы с мета-данными и повышения целостности ФС при сбое является SoftUpdates (включается в single-mode: tunefs -n enable /usr) Посмтреть состояние и активные опции, можно через mount -v В FreeBSD (man tuning): tunefs -p /usr В Linux: tune2fs -l /dev/hda1 Достаточно опасная опция mount, позволяющая значительно увеличить производительность - "async", при ней данные записываются асинхронно, т.е. спустя некоторое время, а не мгновенно. Другая опция, "noatime" - исключает апдейт системных таблиц при каждой операции чтения, неспотря на то, что данные апдейты замечательно кешируются, при чтении сразу из множества файлов, можно наблюдать потерю производительности. ================== Программные RAID: Linux: Перевод "Software-RAID HOWTO": http://www.opennet.me/docs/HOWTO-RU/Software-RAID-HOWTO-2.4.html Мини-HOWTO: Аппаратный RAID DPT в Linux http://www.opennet.me/docs/HOWTO-RU/mini/DPT-Hardware-RAID.html Мини HOWTO: Boot + Root + Raid + Lilo : Программный Raid http://www.opennet.me/docs/HOWTO-RU/mini/Boot+Root+Raid+LILO.html FreeBSD: Документ "FreeBSD с корнем на CDROM и разделами на программном RAID-1": http://www.opennet.me/docs/BSD/cdraid/index.html Сатья "Настройка IDE RAID5 в FreeBSD с использованием vinum": http://www.opennet.me/base/sys/raid_vinum.txt.html ================== Выборка тредов в форуме по RAID: http://www.opennet.me/cgi-bin/opennet/ks.cgi?mask=raid&zoom=forum Выборка тредов в форуме по Файловым системам: http://www.opennet.me/cgi-bin/opennet/ks.cgi?mask=fs+ex2fs+reiserfs+ex3fs+&zoom=forum Тред про журналирование и softRAID в FreeBSD: http://www.opennet.me/openforum/vsluhforumID1/30440.html Преимущества и недостатки различных RAID уровней (0,1,5,10): http://www.opennet.me/openforum/vsluhforumID3/729.html Как попытаться восстановить данные с начавшего сбоить жесткого диска http://www.opennet.me/tips/sml/73.shtml
	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх

Оглавление

linux - scsi adapter - tape (backup restore), Camb, 23:17 , 15-Июн-03, (1)
- в догонку, более важный вопрос!, Camb, 23:30 , 15-Июн-03, (2)
  - в догонку, более важный вопрос!, anonymous, 00:12 , 18-Июн-03, (3)
по поводу надежности, vadim, 11:24 , 21-Июн-03, (4)
- по поводу надежности, uldus, 12:17 , 21-Июн-03, (5)
Надежность и скорость работы файловых систем, s_dog, 11:46 , 26-Июн-03, (6)

Индекс форумов | Темы | Пред. тема | След. тема

Сообщения по теме

1. "linux - scsi adapter - tape (backup restore)"

Сообщение от Camb on 15-Июн-03, 23:17  (MSK)

Пользуяюсь случаем спрошу:
вот есть у уменя linux debian 3.0 kernel 2.4.18
сервер - не бренд, рабочая станция с ATA100 винчестером, p4, 256 озу.
хочу начать бакапить на tape.
подскажите, пожалуйста:
1. какой tape device подобрать?
2. какую scsi карту (в соответствии с tape)?
думаю пользоваться программой dump (она у меня даже есть в пакетах)
---
Description: 4.4bsd dump and restore for ext2 filesystems
Dump examines files on a filesystem and determines which files need to be
backed up.  These files are copied to the given disk, tape or other storage
medium for safe keeping.
.
The restore command performs the inverse function of dump.  A full backup of
a file system may be restored and subsequent incremental backups layered on
top of it.  Single files and directory subtrees may be restored from full or
partial backups.
---
Спасибо!!! Жду откликов!!
---
С уважением, Camb.

Удалить Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

2. "в догонку, более важный вопрос!"

Сообщение от Camb on 15-Июн-03, 23:30  (MSK)

Вот какая у меня ситуейшен:
есть ultra sparc 10. поставил solaris 5.9. есть tape-девайс, он scsi.
было бы разумно бакапить ФС линукса на него по сети!!!
куда копать!?
спасибо!

Удалить Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

3. "в догонку, более важный вопрос!"

Сообщение от anonymous on 18-Июн-03, 00:12  (MSK)

>Вот какая у меня ситуейшен:
>
>есть ultra sparc 10. поставил solaris 5.9. есть tape-девайс, он scsi.
>было бы разумно бакапить ФС линукса на него по сети!!!
>куда копать!?
>
>спасибо!
Копать в сторону SSH - dump может передавать на stdout, а его в свою очередь передавать через ssh на машину занимающуюся дампом. вот выдрал скрипт - когда то давно использовался для дампа на ленту, за работоспособность не отвечаю.
export RSH="/usr/bin/ssh"
HOST=host
TAPE=/dev/nst0
export TARGET="host:$TAPE"
export TARGET2="$HOST:$TAPE"
DUMP="/sbin/dump"
RDUMP="/sbin/rdump"
WEOF="/bin/mt -f /dev/nst0 weof"
WFSF="/bin/mt -f /dev/nst0 fsf"
OFFLINE="/bin/mt -f /dev/st0 offline"
CAT="/bin/cat"
DD="/bin/dd of=$TAPE bs=100k"
BAKPATH=/stat/backup
DUMPHOST=10.10.0.20
woyy=`/bin/date +'%W'`
num=${num:-""}
dow=`/bin/date +'%w'`
woy=$dow
case $dow in
        1)      level=3;num="";;
        2)      level=2;num="";;
        3)      level=5;num="";;
        4)      level=4;num="";;
        *)      level=0;woy="0/"`expr $woyy % 2 + 1`;;
esac
##[ "x"`/bin/dd if=$TAPE count=1 2>/dev/null` != "x$woy$num" ] && (/bin/echo "Tape label mismatch, PLZ check and retry manually."|/bin/mail -sABORTED root;exit 1)
##$WFSF
#/bin/echo "$woy$num" | /bin/dd of=$TAPE count=1 && /bin/mt -f /dev/nst0 weof
for i in / /usr /var /cache.log/ /home
do
echo "proxy $i"
$RSH proxy "export RSH=$RSH;$RDUMP -${level}auf - $i"|$CAT - >$BAKPATH/proxy
$DD if=$BAKPATH/proxy
$WEOF
done

Удалить Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

4. "по поводу надежности"

Сообщение от vadim on 21-Июн-03, 11:24  (MSK)

а если делать "sync && sync && sync" в кроне каждую минуту - будет надежнее? в плане отключения електричества и отсутствия упс?
во всяком случае то что записано на винт уже не улетит
а?

Удалить Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

5. "по поводу надежности"

Сообщение от uldus on 21-Июн-03, 12:17  (MSK)

>а если делать "sync && sync && sync" в кроне каждую минуту
>- будет надежнее? в плане отключения електричества и отсутствия упс?
>во всяком случае то что записано на винт уже не улетит
Ничего хорошего от этого не выйдет, и надежность не увеличится.
Лучше сразу запретить асинхронный режим работы FS (запрет кэшировть операции записи на диск) через  mount -o sync.

Удалить Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

6. "Надежность и скорость работы файловых систем"

Сообщение от s_dog on 26-Июн-03, 11:46  (MSK)

Natknulsja na link, vrode po teme
http://oregonstate.edu/~kveton/fs/

Удалить Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема

Пожалуйста, прежде чем написать сообщение, ознакомьтесь с данными рекомендациями.

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "linux - scsi adapter - tape (backup restore)"
Сообщение от Camb on 15-Июн-03, 23:17 (MSK)
Пользуяюсь случаем спрошу: вот есть у уменя linux debian 3.0 kernel 2.4.18 сервер - не бренд, рабочая станция с ATA100 винчестером, p4, 256 озу. хочу начать бакапить на tape. подскажите, пожалуйста: 1. какой tape device подобрать? 2. какую scsi карту (в соответствии с tape)? думаю пользоваться программой dump (она у меня даже есть в пакетах) --- Description: 4.4bsd dump and restore for ext2 filesystems Dump examines files on a filesystem and determines which files need to be backed up. These files are copied to the given disk, tape or other storage medium for safe keeping. . The restore command performs the inverse function of dump. A full backup of a file system may be restored and subsequent incremental backups layered on top of it. Single files and directory subtrees may be restored from full or partial backups. --- Спасибо!!! Жду откликов!! --- С уважением, Camb.
Удалить	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	2. "в догонку, более важный вопрос!"
	Сообщение от Camb on 15-Июн-03, 23:30 (MSK)
	Вот какая у меня ситуейшен: есть ultra sparc 10. поставил solaris 5.9. есть tape-девайс, он scsi. было бы разумно бакапить ФС линукса на него по сети!!! куда копать!? спасибо!
	Удалить	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	3. "в догонку, более важный вопрос!"
	Сообщение от anonymous on 18-Июн-03, 00:12 (MSK)
	>Вот какая у меня ситуейшен: > >есть ultra sparc 10. поставил solaris 5.9. есть tape-девайс, он scsi. >было бы разумно бакапить ФС линукса на него по сети!!! >куда копать!? > >спасибо! Копать в сторону SSH - dump может передавать на stdout, а его в свою очередь передавать через ssh на машину занимающуюся дампом. вот выдрал скрипт - когда то давно использовался для дампа на ленту, за работоспособность не отвечаю. export RSH="/usr/bin/ssh" HOST=host TAPE=/dev/nst0 export TARGET="host:$TAPE" export TARGET2="$HOST:$TAPE" DUMP="/sbin/dump" RDUMP="/sbin/rdump" WEOF="/bin/mt -f /dev/nst0 weof" WFSF="/bin/mt -f /dev/nst0 fsf" OFFLINE="/bin/mt -f /dev/st0 offline" CAT="/bin/cat" DD="/bin/dd of=$TAPE bs=100k" BAKPATH=/stat/backup DUMPHOST=10.10.0.20 woyy=`/bin/date +'%W'` num=${num:-""} dow=`/bin/date +'%w'` woy=$dow case $dow in 1) level=3;num="";; 2) level=2;num="";; 3) level=5;num="";; 4) level=4;num="";; *) level=0;woy="0/"`expr $woyy % 2 + 1`;; esac ##[ "x"`/bin/dd if=$TAPE count=1 2>/dev/null` != "x$woy$num" ] && (/bin/echo "Tape label mismatch, PLZ check and retry manually."\|/bin/mail -sABORTED root;exit 1) ##$WFSF #/bin/echo "$woy$num" \| /bin/dd of=$TAPE count=1 && /bin/mt -f /dev/nst0 weof for i in / /usr /var /cache.log/ /home do echo "proxy $i" $RSH proxy "export RSH=$RSH;$RDUMP -${level}auf - $i"\|$CAT - >$BAKPATH/proxy $DD if=$BAKPATH/proxy $WEOF done
	Удалить	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх

4. "по поводу надежности"
Сообщение от vadim on 21-Июн-03, 11:24 (MSK)
а если делать "sync && sync && sync" в кроне каждую минуту - будет надежнее? в плане отключения електричества и отсутствия упс? во всяком случае то что записано на винт уже не улетит а?
Удалить	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	5. "по поводу надежности"
	Сообщение от uldus on 21-Июн-03, 12:17 (MSK)
	>а если делать "sync && sync && sync" в кроне каждую минуту >- будет надежнее? в плане отключения електричества и отсутствия упс? >во всяком случае то что записано на винт уже не улетит Ничего хорошего от этого не выйдет, и надежность не увеличится. Лучше сразу запретить асинхронный режим работы FS (запрет кэшировть операции записи на диск) через mount -o sync.
	Удалить	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх

6. "Надежность и скорость работы файловых систем"
Сообщение от s_dog on 26-Июн-03, 11:46 (MSK)
Natknulsja na link, vrode po teme http://oregonstate.edu/~kveton/fs/
Удалить	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх