Здравствуйте, уважаемые!
Начну с того что есть - есть сервер под FreeBSD 5.4 + 12 HDD (SATA) по 400Гб, стоят два контроллера SATA, все слайсы примаунчены в свои каталоги и стоит pure-ftpd для раздачи хранящейся там информации. Сам сервер собирался-развивался и наращивал объем потихоньку, раньше стояли PATA-диски, в общем выбор системы сразу под подобную конфигурацию не стоял.
А теперь такая проблема - диски периодически отваливаются с таймаутом, после перезагрузки и проверки - всё опять ок... В общем возник вопрос что можно сделать для более устойчивой работы системы. Может стоит собрать их в софтовый RAID, либо перейти на Linux и другую файловую систему, либо еще что-то...
Посоветуйте пожалуйста более оптимальную конфигурацию ОС и ФС для этого сервера?
>Здравствуйте, уважаемые!
>Начну с того что есть - есть сервер под FreeBSD 5.4 +
>12 HDD (SATA) по 400Гб, стоят два контроллера SATA, все слайсы
>примаунчены в свои каталоги и стоит pure-ftpd для раздачи хранящейся там
>информации. Сам сервер собирался-развивался и наращивал объем потихоньку, раньше стояли PATA-диски,
>в общем выбор системы сразу под подобную конфигурацию не стоял.
>А теперь такая проблема - диски периодически отваливаются с таймаутом, после перезагрузки
>и проверки - всё опять ок... В общем возник вопрос что
>можно сделать для более устойчивой работы системы.как показывает практика:
1) зависит от SATA/PATA контроллера
2) зависит от того ЧТО за диски купили
3) зависит от драйвера ATA, в 5.4 он достаточно прилично вылизан,
в 6.0 еще лучшемаленькое отсутпление: ребята, УЧИТЕСЬ ПОЛЬЗОВАТЬСЯ ИНТЕРНЕТОМ,
это ИНФОРМАЦИОННЫЙ КЛАДЕЗЬ1) поиск по спискам рассылки freebsd:
http://www.freebsd.org/search/#mailinglists
но более мощный альтернативный поиск по спискам рассылки:
http://groups.google.com/advanced_group_search?hl=ru
где в качестве группы задается *freebsd* или более конкретно
+ ограничения по дате (снизу и сверху) + критерии поискачтение RFC, стандартов и тд и тп, начать всегда можно с энциклопедии:
http://en.wikipedia.org/2) ну в каких уже только конференциях не обсуждались современные
PATA/SATA диски - жуть, ну очень странно работают новые технологии
мапирования плохих секторов, очень плохое качество дисков.
Хотите "долгую" и счастливую жизнь - покупайте PATA/SATA диски
из списков рекомендованных RAID производителями: 3Ware и Promise.
НЕ ВАЖНО будет у вас рейд или нет, если вы покупате из списка
рекомендованных (от попадалова никто конечно не застрахован), часть
головной боли вы точно снимаете.
Купили НОВЫЕ диски - гоняйте их несколько суток или неделю на RW.
Технология ремаппинга плохих секторов у современных дисков работает
только при операциях ЗАПИСИ/WRITE
Смотри какого объема буфера у покупаемых дисков.
Во FreeBSD пока еще не реализована софтверная поддержка NCQ, могу
ошибаться.после поиска по спискам рассылки:
получаем ряд неудачных контроллеров: один из первых Sil, один или
пара Promise'ов, некоторые старые VIA, SiS и HPT. Плюс ряд
непподерживаемых софтверных PATA/SATA Raid'ов(0/1[0+1]), плюс
специфика ICH7R - они поддерживаются, но с рядом контроллеров есть
проблемы (ну новая спецификация)3) UFS1/UFS2 - ОЧЕНЬ надежная файловая система, если использовать
softupdates - становится еще и гораздо быстрей, но чуть менее
надежной, если учесть что НАКОНЕЦ нашли проблему утечки free-space
и есть патчи, использование softupdates становится более безопасным.
Лично я на серверах НЕ ИСПОЛЬЗУЮ softupdates и не имею проблем, но
это личный опыт а не совет.
Далее, в современных FreeBSD by default система работает с дисками
в UDMA режиме: man 4 ata
Управление режимами: переменные ядра (man 4 ata) и утилита atacontrol
man newfs и man tunefs для задания bsize, fsize и inodes - используйте
их под себя из расчета КАКИЕ файлы в основном будут храниться, маленькие,
большие, очень большие...
Soft - смотрите есть ли возможность управления размерами буферов...RAID - читайте технологии, какие типы рейдов позволяют увеличить
скорость работы с дисками.И последнее, хотите серьезного увеличения производительности
дисковых массивов - используйте HW RAID и SCSI контроллеры и диски
и забудьте про SATA, в случае очередей и выборок они рядом не стоят
со скази/SCSI. Да - разница в цене существенная, но это того стоит.> Может стоит собрать их
>в софтовый RAID, либо перейти на Linux и другую файловую систему,
>либо еще что-то...
>Посоветуйте пожалуйста более оптимальную конфигурацию ОС и ФС для этого сервера?
Да по поиску - это в общем-то и так понятно, спасибо :)
Но не находил конкретно по своей теме достаточно вразумительного описания или обсуждения, а совместимость оборудования и косвенные темы уже достаточно много изучал...
SCSI отпадает - ресурс бесплатный внутри сети и он уже сьел достаточно большое количество финансов. Тем паче что подобный объем (4Тб) на SCSI набрать не то что дорого... - сильно дорого... :(
По поводу шестой бсд - пришлось от нее отказаться, хотя поддержка контроллеров была только в ней (Promise SATA300). Т.к. там диски вообще чуть не каждые 30 минут начинали отваливаться при достаточно плотном к ним обращении (например копируя с одного на другой большого объема, ошибка одна - timeout will Robinson). Поэтому взял БСД 5.4 и собрал в ней поддержку этих контроллеров драйвером под SATA150 (в 5.4 в консоль просто валит timeout ad...). Скорость работы как ни странно не упала, но глюков стало в разы меньше, хотя всё же диски отваливаются и это составляет основную проблему....
На дисках хранятся в основном видеоархивы и архивы программ, т.е. достаточно крупные файлы. На питание стоят два БП по 400 Вт. Жесткие диски - Seagate (400Гб).
При всём при этом диски и контроллеры работают под теми же форточками совсем без сбоев, но на форточки переходить не резон :(
Вот и интересуюсь - может у кого-то есть подобные проекты с файловыми архивами для небольших сетей? Может кто посоветует своё, более стабильное решение?
>Да по поиску - это в общем-то и так понятно, спасибо :)
>
>Но не находил конкретно по своей теме достаточно вразумительного описания или обсуждения,
>а совместимость оборудования и косвенные темы уже достаточно много изучал...
>SCSI отпадает - ресурс бесплатный внутри сети и он уже сьел достаточно
>большое количество финансов. Тем паче что подобный объем (4Тб) на SCSI
>набрать не то что дорого... - сильно дорого... :(
>По поводу шестой бсд - пришлось от нее отказаться, хотя поддержка контроллеров
>была только в ней (Promise SATA300). Т.к. там диски вообще чуть
>не каждые 30 минут начинали отваливаться при достаточно плотном к ним
>обращении (например копируя с одного на другой большого объема, ошибка одна
>- timeout will Robinson). Поэтому взял БСД 5.4 и собрал в
>ней поддержку этих контроллеров драйвером под SATA150 (в 5.4 в консоль
>просто валит timeout ad...). Скорость работы как ни странно не упала,
>но глюков стало в разы меньше, хотя всё же диски отваливаются
>и это составляет основную проблему....
>На дисках хранятся в основном видеоархивы и архивы программ, т.е. достаточно крупные
>файлы. На питание стоят два БП по 400 Вт. Жесткие диски
>- Seagate (400Гб).
>При всём при этом диски и контроллеры работают под теми же форточками
>совсем без сбоев, но на форточки переходить не резон :(
>Вот и интересуюсь - может у кого-то есть подобные проекты с файловыми
>архивами для небольших сетей? Может кто посоветует своё, более стабильное решение?
>у меня ошибки timeoute пропали на 5.4 и на 6'ке возврата к ним не
произошло. Soren над этим работает, но судя по всему многое зависит
от моделей контроллера. На ICH5R у меня никаких проблем с SATA,
при выборе контроллера, всегда сперва делаю поиск по спискам рассылки,
ибо упомнить с какими контроллерами были те или проблемы, невозможно.
Хоть и пытался сперва вести свою историю, обломился.
Но точно могу сказать - не стоило торопиться с SATA, много проще
и дешевле было взять пару дешевых PATA UDMA100 или UDMA133, у Promise
их много было. Фантастического выигрыша в скорости пока у SATA нет,
тем более под FTP или SAMBA файлопомойку.А что тут советовать, ты уже завязан на приобретенное железо, а торопиться
с SATA не стоило! Ну и к дискам подходить как я написал - только
рекомендованные, я думал что достаточно наеб...ся с UDMA начиная с
FreeBSD 4.0 и по 4.11. Увы нет, с регулярность через год - эксперименты
повторяются. Последние были год-два назад - SATA.
Вывод получился один: если нет попадалова с контроллером и дисками,
ВСЕ ЖУЖЖИТ без проблем и никаких timeout, если не ошибаюсь - последние
были на WRITE.
Если есть проблемы с timeout про RAID можно забыть, начинается головная
боль.
> А что тут советовать, ты уже завязан на приобретенное железо, а торопиться
с SATA не стоило!
Верю... :((((
Но так уже есть. До этого стояли как раз PATA-контроллеры и такие же диски, но пришло время когда стало нужно нарастить ёмкость, а дисков по 400 гигов на PATA мы не нашли, только SATA.. :(
И даже, в общем-то, потестировали пару дней работу, всё вроде как пошло (к сожалению времен ибольше не было на тесты) поэтому обновились именно так. При вводе же системы в работу проявились ее нехорошие стороны, а назад пути нет.
В том и вопрос, железо уже есть, бсд-драйвера с ним работают не совсем корректно, и встала проблема перехода на альтернативную систему. В Windows и диски и контроллеры работают без проблем и сбоев, поэтому вопрос именно в поддержке железа как я понимаю. Поддерживаются ли указанные контроллеры (всмысле - нормально ли поддерживаются) в Linux'е, т.к. на Windows переходить особого желания нет.
P.S. А эксперименты всегда будут повторяться, потому как пока сам на грабли не наступишь - плохо ощущаешь проблему :) (к счастью не все и не во всех случаях сами стараются наступить на грабли, от которых их уберегают другие)
>> А что тут советовать, ты уже завязан на приобретенное железо, а торопиться
>с SATA не стоило!
>Верю... :((((
>Но так уже есть. До этого стояли как раз PATA-контроллеры и такие
>же диски, но пришло время когда стало нужно нарастить ёмкость, а
>дисков по 400 гигов на PATA мы не нашли, только SATA..
>:(
>И даже, в общем-то, потестировали пару дней работу, всё вроде как пошло
>(к сожалению времен ибольше не было на тесты) поэтому обновились именно
>так. При вводе же системы в работу проявились ее нехорошие стороны,
>а назад пути нет.
>В том и вопрос, железо уже есть, бсд-драйвера с ним работают не
>совсем корректно, и встала проблема перехода на альтернативную систему. В Windows
> и диски и контроллеры работают без проблем и сбоев, поэтому
>вопрос именно в поддержке железа как я понимаю. Поддерживаются ли указанные
>контроллеры (всмысле - нормально ли поддерживаются) в Linux'е, т.к. на Windows
>переходить особого желания нет.
>P.S. А эксперименты всегда будут повторяться, потому как пока сам на грабли
>не наступишь - плохо ощущаешь проблему :) (к счастью не все
>и не во всех случаях сами стараются наступить на грабли, от
>которых их уберегают другие)Думаю что в Linux'е должно быть получше, но один фик придется начать
с изучения КАКИЕ версии ядра ЧТО из себя представляют и какое ядро
лучше заиспользовать. В Linux'е над этим больше народу работает.
Ну и еще решить КАКОЙ Linux выбрать, если хочется поближе к FreeBSD,
вероятно Gentoo или Debian.
Из raid'ов - raid3 очень шустрый, если без raid - воспользуйся lvm
для объединения дисков в логический том, для ftp файлопомойки удобно,
но придется задуматься о backup'е.
>>> А что тут советовать, ты уже завязан на приобретенное железо, а торопиться
>>с SATA не стоило!
>>Верю... :((((
>>Но так уже есть. До этого стояли как раз PATA-контроллеры и такие
>>же диски, но пришло время когда стало нужно нарастить ёмкость, а
>>дисков по 400 гигов на PATA мы не нашли, только SATA..
>>:(
>>И даже, в общем-то, потестировали пару дней работу, всё вроде как пошло
>>(к сожалению времен ибольше не было на тесты) поэтому обновились именно
>>так. При вводе же системы в работу проявились ее нехорошие стороны,
>>а назад пути нет.
>>В том и вопрос, железо уже есть, бсд-драйвера с ним работают не
>>совсем корректно, и встала проблема перехода на альтернативную систему. В Windows
>> и диски и контроллеры работают без проблем и сбоев, поэтому
>>вопрос именно в поддержке железа как я понимаю. Поддерживаются ли указанные
>>контроллеры (всмысле - нормально ли поддерживаются) в Linux'е, т.к. на Windows
>>переходить особого желания нет.
>>P.S. А эксперименты всегда будут повторяться, потому как пока сам на грабли
>>не наступишь - плохо ощущаешь проблему :) (к счастью не все
>>и не во всех случаях сами стараются наступить на грабли, от
>>которых их уберегают другие)
>
>Думаю что в Linux'е должно быть получше, но один фик придется начать
>
>с изучения КАКИЕ версии ядра ЧТО из себя представляют и какое ядро
>
>лучше заиспользовать. В Linux'е над этим больше народу работает.
> Ну и еще решить КАКОЙ Linux выбрать, если хочется поближе к
>FreeBSD,
>вероятно Gentoo или Debian.
> Из raid'ов - raid3 очень шустрый, если без raid - воспользуйся
>lvm
>для объединения дисков в логический том, для ftp файлопомойки удобно,
>но придется задуматься о backup'е.Установил на SuSE 9.3 со стандартным кернелем:
fileserver:~ # uname -a
Linux fileserver 2.6.11.4-21.8-default #1 Tue Jul 19 12:42:37 UTC 2005 i686 i686 i386 GNU/Linuxreiserfs 3.6
Filesystem Size Used Avail Use% Mounted on
/dev/sda2 11G 4.1G 6.0G 41% /
tmpfs 506M 0 506M 0% /dev/shm
/dev/sda3 16G 930M 15G 7% /cdserver
/dev/sda4 41G 250M 41G 1% /var
/dev/sdb1 4.8T 3.1T 1.7T 65% /vtrak/raid_a
/dev/sdc1 4.8T 3.1T 1.7T 65% /vtrak/raid_b
/dev/sdd1 1.9T 209G 1.9T 11% /vtrak/raid_c
/dev/sde1 1.9T 209G 1.9T 11% /vtrak/raid_d4 шт. Promise VTrak 15100, 2x U160-SCSI Raid-5
В основном фото и фильмы.
За 8 месяцев пока ничего не отпало....