URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 87642
[ Назад ]

Исходное сообщение
"Создание бюджетного raid5"

Отправлено Vadim_nsk , 17-Дек-09 09:30 
Появилось желание создать сетевое хранилище данных в виде raid5. Почитал на форуме рекомендации по использованию аппаратных решений. Но бюджет не позволяет их использовать. Начать хочется с чего-то попроще, например, воспользоваться или программной реализацией, или встроенным в MB решением типа ICH9R/ICH10R, или чем-то вроде: Promise FastTrak TX4310 ( http://ru.promise.com.tw/product.aspx?PID=ba7b5e8d-0dec-4475... ). Тут на форуме много недображелания в адрес продукции фирмы Promise (плох тем, что программно-аппаратный контроллер и все, но ни слова о личном опыте его использования)

Хотелось бы услышать не просто: "это фигня!, возьми вот это". А узнать про опыт использования программного решения, встроенного в материнку и решения от promise.

Организовать все планирую на базе:
1. Gigabyte GA-GC330UD (i945GC/DDR2) + CPU Atom™ 330
( http://www.qwesta.ru/portal/page/portal/ptl/shopdetail?goods... )
2. Если считать ICH10R приемлемым вариантом, то Intel G45/DG45FC (DDR2,PCI-E 1x) ( http://www.qwesta.ru/portal/page/portal/ptl/shopdetail?goods... ).

Возможно есть и другие варианты, вроде ich9R или решения от nvidia.

В качестве ОС предполагается использовать NetBSD/FreeBSD.


Содержание

Сообщения в этом обсуждении
"Создание бюджетного raid5"
Отправлено Pahanivo , 17-Дек-09 09:33 
>[оверквотинг удален]
>
>Организовать все планирую на базе:
>1. Gigabyte GA-GC330UD (i945GC/DDR2) + CPU Atom™ 330
>( http://www.qwesta.ru/portal/page/portal/ptl/shopdetail?goods... )
>2. Если считать ICH10R приемлемым вариантом, то Intel G45/DG45FC (DDR2,PCI-E 1x) (
>http://www.qwesta.ru/portal/page/portal/ptl/shopdetail?goods... ).
>
>Возможно есть и другие варианты, вроде ich9R или решения от nvidia.
>
>В качестве ОС предполагается использовать NetBSD/FreeBSD.

ну кагбы - бюджетность, рейд 5, в софтварном режиме на атоме ...
о каком объеме хранения вообще речь?


"Создание бюджетного raid5"
Отправлено Vadim_nsk , 17-Дек-09 10:13 
>о каком объеме хранения вообще речь?

Сейчас в наличии 4 винта по 320Гб. Позже перейду на 4 по 500Гб. А когда цены слегка упадут, то и на 4 по 1Тб. По мере увеличения SVN-хранилища проектов. На этой же платформе будут подключены винты без организации в рейд в виде пары винтов по 1Тб. Основная нагрузка по трафику ляжет на них. На рейде лишь проекты (редкое использование), бэкапы разделов, почта, небольшая база данных по файлам, хранящимся на простых винтах (для индексации).


"Создание бюджетного raid5"
Отправлено Pahanivo , 17-Дек-09 10:50 
>>о каком объеме хранения вообще речь?
>
>Сейчас в наличии 4 винта по 320Гб. Позже перейду на 4 по
>500Гб. А когда цены слегка упадут, то и на 4 по
>1Тб. По мере увеличения SVN-хранилища проектов. На этой же платформе будут
>подключены винты без организации в рейд в виде пары винтов по
>1Тб. Основная нагрузка по трафику ляжет на них. На рейде лишь
>проекты (редкое использование), бэкапы разделов, почта, небольшая база данных по файлам,
>хранящимся на простых винтах (для индексации).

понятно ...
1) по поводу промайса - на трех серваках юзал в принципе проблем не было (хотя как ты сам видел пипл материт фейкконтроллеры), я юзал рейд 1. фря в промайсо болеменее дружит
вообще пипл хвалит gmirror (сам не юзал) в качестве софтверного рейда
также можно воспользоваться zfs - там вроде как все должно быть проще
2) терзают сомнения что стоит выбирать атом-систему по такую тему, темболее что рейд 5 планируеш софтверный - хз как она себя поведет по нагрузке, да и в дальнейшем расширять такую систему хз как - там дай бог две плашки под память на маме есть
хоте конечно дешево ...


"Создание бюджетного raid5"
Отправлено tux2002 , 18-Дек-09 18:12 
>>о каком объеме хранения вообще речь?
>
>Сейчас в наличии 4 винта по 320Гб. Позже перейду на 4 по
>500Гб. А когда цены слегка упадут, то и на 4 по
>1Тб. По мере увеличения SVN-хранилища проектов. На этой же платформе будут
>подключены винты без организации в рейд в виде пары винтов по
>1Тб. Основная нагрузка по трафику ляжет на них. На рейде лишь
>проекты (редкое использование), бэкапы разделов, почта, небольшая база данных по файлам,
>хранящимся на простых винтах (для индексации).

На 4 винтах делай софтовый raid6.


"Создание бюджетного raid5"
Отправлено Vadim_nsk , 21-Дек-09 07:22 
>На 4 винтах делай софтовый raid6.

Как посчитать коэффициент использования емкости массива из 4-х дисков для raid5 и raid6?

Если raid5 позволяет не только обнаружить одиновную ошибку, но и справить ее, это уже не просто контрольная сумма, а что-то типа кода Хэмминга. Код Хэмминга на каждые 8 бит хранит 4 бита для восстановления, т.е. на данные восстановления уйдет 1/3 от емкости массива. Если raid6 хранит две контрольных таблицы, значит потеря будет 50%. Не проще ли тогда взять raid1, который и быстрее работает и проще организован?


"Создание бюджетного raid5"
Отправлено Ziggy Stardust , 21-Дек-09 07:33 
>>На 4 винтах делай софтовый raid6.
>
>Как посчитать коэффициент использования емкости массива из 4-х дисков для raid5 и
>raid6?

M * (N - 2)

M - объем одного диска
N - число дисков

>Не проще ли
>тогда взять raid1, который и быстрее работает и проще организован?

На 4-х дисках рейд6 смысла не имеет никакого (только в случае, если контроллер ничего другого с двойным контролем четности). Для скорости и надежности лучше в таком случае рейд10 (полезная емкость так же 50%, так же терпит выход из строя двух любых дисков, чтение и запись при этом будет шустрее, чем при рейд6).



"Создание бюджетного raid5"
Отправлено Ziggy Stardust , 21-Дек-09 07:39 
>На 4-х дисках рейд6 смысла не имеет никакого (только в случае, если
>контроллер ничего другого с двойным контролем четности). Для скорости и надежности
>лучше в таком случае рейд10 (полезная емкость так же 50%, так
>же терпит выход из строя двух любых дисков, чтение и запись
>при этом будет шустрее, чем при рейд6).

Хотя гоню. Все же терпит выход из строя не любых двух дисков :-(


"Создание бюджетного raid5"
Отправлено Vadim_nsk , 21-Дек-09 08:09 
>[оверквотинг удален]
>N - число дисков
>
>>На 4-х дисках рейд6 смысла не имеет никакого (только в случае, если
>>контроллер ничего другого с двойным контролем четности). Для скорости и надежности
>>лучше в таком случае рейд10 (полезная емкость так же 50%, так
>>же терпит выход из строя двух любых дисков, чтение и запись
>>при этом будет шустрее, чем при рейд6).
>
>Хотя гоню. Все же терпит выход из строя не любых двух дисков
>:-(

Посчитал коэффициенты использования:
4HDD - 0.500
5HDD - 0.600 - 0.1
6HDD - 0.667 - 0.067
7HDD - 0.714 - 0.047
8HDD - 0.750 - 0.036
В правой колонке приращение. Т.е. ставить в массив более 6 винтов тоже особого смысла нет, выигрыш небольшой. raid10 слегка проигрывает.
Получается, проще докупить еще один или два винта к моим 4-м и организовать программный raid6. Полазил по инету, вроде можно даже потом добавить винт в массив.


"Создание бюджетного raid5"
Отправлено Ziggy Stardust , 21-Дек-09 08:24 
>В правой колонке приращение. Т.е. ставить в массив более 6 винтов тоже
>особого смысла нет, выигрыш небольшой.

Очень даже имеет смысл. При большем числе шпинделей рейд5 и 6 начинают значительно меньше проигрывать 10-му по производительности при все той же надежности. А 10-ый по надежности начинает значительно уступать.

>raid10 слегка проигрывает.
>Получается, проще докупить еще один или два винта к моим 4-м и
>организовать программный raid6.

Если не обязательно одним куском место иметь, то на 4-х можете просто два програмных зеркала сделать (без объединения их в страйп - рейд10).



"Создание бюджетного raid5"
Отправлено ze6ra , 21-Дек-09 10:01 
>[оверквотинг удален]
>>:-(
>
>Посчитал коэффициенты использования:
>4HDD - 0.500
>5HDD - 0.600 - 0.1
>6HDD - 0.667 - 0.067
>7HDD - 0.714 - 0.047
>8HDD - 0.750 - 0.036
>В правой колонке приращение. Т.е. ставить в массив более 6 винтов тоже
>особого смысла нет, выигрыш небольшой. raid10 слегка проигрывает.

Не фига себе у вас математика. Все считают потери на резервирование и чем больше дисков тем они меньше, а вы какое-то приращение коэффициента использования. На raid5 вы всегда теряете 1 и только 1 диск в суммарной ёмкости на резервирование, причём выход любого 1 диска не критичен массив продолжает работать (правда медленней и насколько медленней зависит от процессора и пропускной способности ввода-ввывода) при raid10 или raid50 идёт выйгрыш в скорости за счёт снижения надёжности и больших потерях на резервирование. raid6 даёт возможность потерять не останавливая работы 2 диска, но расплата за это высокая нагрузка на процессор, думаю при 4 или 6 дисках вероятность выхода 2 дисков не той величины, чтоб имело смысл использовать raid6.
>Получается, проще докупить еще один или два винта к моим 4-м и
>организовать программный raid6. Полазил по инету, вроде можно даже потом добавить
>винт в массив.

Добавить можно, убрать будет нельзя.


"Создание бюджетного raid5"
Отправлено Vadim_nsk , 21-Дек-09 10:45 
>Не фига себе у вас математика. Все считают потери на резервирование и
>чем больше дисков тем они меньше, а вы какое-то приращение коэффициента
>использования.

Да, вы правы.

Получил такой сухой остаток:
1. MB mini ITX отпадают, мало разъемов SATA, мало памяти, мало PCI, а значит и расширения ограничены.
Выбор падает на micro ATX. Тут найти плату с 6 SATA уже проще. Память уже 4 DDR-слота. Процессор по-мощнее можно поставить.

Но вот незадача... 6 разъемов SATA все же маловато будет (аппетит приходит во время еды :-) Кроме того, надо подумать о завтрашнем расширении...

2. Нашел плату расширения без функций raid: Adaptec 1405 ( http://www.adaptec.com/ru-RU/products/Controllers/Hardware/s.../ ) или Adaptec 1045 ( http://www.adaptec.com/ru-RU/products/Controllers/Hardware/s.../ ). Почитал про возможность подключения до 128 устройств SATA/SAS через через SAS-экспандеры ( http://www.thg.ru/storage/sas_scsi_raid/index.html , http://blog.trinitygroup.ru/2009/11/blog-post_24.html ). Но вот найти эти самые SAS-экспандеры не могу. Нашел такую вещь: Hewlett-Packard HP SAS Expander Card. Стоит эта вещица $461.68 по данным price.ru. Но на самом сайте HP я ее не обнаружил. Может кто-нибудь приведет пример недорогого SAS-экспандера для подключения SATA-HDD? Есть ли внешние решения (не использующие шину PCI)?

На первое время я ограничусь материнкой с 6 SATA на борту, но хотелось бы иметь задел на будущее.


"Создание бюджетного raid5"
Отправлено ze6ra , 21-Дек-09 11:41 
>[оверквотинг удален]
>или Adaptec 1045 ( http://www.adaptec.com/ru-RU/products/Controllers/Hardware/s.../ ). Почитал про возможность подключения до
>128 устройств SATA/SAS через через SAS-экспандеры ( http://www.thg.ru/storage/sas_scsi_raid/index.html , http://blog.trinitygroup.ru/2009/11/blog-post_24.html ).
>Но вот найти эти самые SAS-экспандеры не могу. Нашел такую вещь:
>Hewlett-Packard HP SAS Expander Card. Стоит эта вещица $461.68 по данным
>price.ru. Но на самом сайте HP я ее не обнаружил. Может
>кто-нибудь приведет пример недорогого SAS-экспандера для подключения SATA-HDD? Есть ли внешние
>решения (не использующие шину PCI)?
>
>На первое время я ограничусь материнкой с 6 SATA на борту, но
>хотелось бы иметь задел на будущее.

На SATA порт можно повесить SATA свитч теоретически, если правильно помню до 15 SATA устройств, практически видел в интернет-магазинах на 3-5 устройств. Цена вроде порядка 50$ была. Учитывая что SATAII канал, это гдето около 300МБ/с, а средний жёсткий около 100МБ/c, то теоретически 3 диска на один SATAII канал через свитч можно пихать, а если потеря скорости не критична то и 5 на один канал. Так что даже miniATX с четермя SATA каналами может держать от 12 до 20 дисков, без необходимости задействования PCI.


"Создание бюджетного raid5"
Отправлено Vadim_nsk , 21-Дек-09 12:27 
>На SATA порт можно повесить SATA свитч...

"SATA switch"
http://www.usbmax.com/category_SATA_Switch.cfm
http://www.industechnologies.com/products_list.asp?CatID=168...
но это не то...
а как это правильно называется? может ссылку дадите?


"Создание бюджетного raid5"
Отправлено Vadim_nsk , 21-Дек-09 12:35 
Нашел такие две вещи:
http://www.cooldrives.com/sahub5muussi.html
http://www.usb-ware.com/5-port-sata-2-hub.htm

Вы это имели ввиду?


"Создание бюджетного raid5"
Отправлено ze6ra , 21-Дек-09 13:11 
>Нашел такие две вещи:
>http://www.cooldrives.com/sahub5muussi.html
>http://www.usb-ware.com/5-port-sata-2-hub.htm
>
>Вы это имели ввиду?

В принципе оно. Ближе, как http://www.cooldrives.com/cosapomubrso.html для внутренего монтажа и питания от БП ситемы. Хотя принцип и микросхема у всех вроде почти одна и таже.


"Создание бюджетного raid5"
Отправлено sshutdownow , 17-Дек-09 11:07 
>[оверквотинг удален]
>
>Организовать все планирую на базе:
>1. Gigabyte GA-GC330UD (i945GC/DDR2) + CPU Atom™ 330
>( http://www.qwesta.ru/portal/page/portal/ptl/shopdetail?goods... )
>2. Если считать ICH10R приемлемым вариантом, то Intel G45/DG45FC (DDR2,PCI-E 1x) (
>http://www.qwesta.ru/portal/page/portal/ptl/shopdetail?goods... ).
>
>Возможно есть и другие варианты, вроде ich9R или решения от nvidia.
>
>В качестве ОС предполагается использовать NetBSD/FreeBSD.

Под FreeBSD у тебя есть два варианта: ZFS или gvinum. Решение встроенное в материнку только сложностей добавляет, например, мне приходилось перестраивать зеркало на Promise PDC20319 только из BIOS, а иначе статус зеркала после перезагрузки становился degraded.


"Создание бюджетного raid5"
Отправлено ALex_hha , 17-Дек-09 11:09 
> Начать хочется с чего-то попроще, например, воспользоваться или программной реализацией, или встроенным в MB решением типа ICH9R/ICH10R, или чем-то вроде: Promise FastTrak TX4310 ( http://ru.promise.com.tw/product.aspx?PID=ba7b5e8d-0dec-4475... )

не стоит, имхо. Толку от этого контроллера 0. Тогда уж или что то нормальное покупать или делать софтовое решение средствами ОС, например, zfs/mdadm.


"Создание бюджетного raid5"
Отправлено Vadim_nsk , 17-Дек-09 12:15 
>не стоит, имхо. Толку от этого контроллера 0. Тогда уж или что
>то нормальное покупать или делать софтовое решение средствами ОС, например, zfs/mdadm.
>

Знакомые в офисе через стороннюю фирму делали сервер с поддержкой raid5. Через некоторое время, один из винтов (4 шт) вышел из строя. Фирма заявила, что все данные разрушены и восстановлению не подлежат. Странно все это... Promise про поддержку ОС FreeBSD умалчивает. Про ICH10R вообще все туманно.

Действительно ли могут возникнуть такие проблемы? Я это себе представлял, что когда выходит из строя один из 4-х винтов, рейд продолжает работать на оставшихся 3-х. Потом не останавливая работу сервера, меняем винт на рабочий (если E-Sata), запускаем какую-то тулзу и она подключает 4-й винт к хранилищу. Или все гораздо сложнее? Как происходит процесс замены вышедшего из строя винчестера, если после выхода из строя 4-го винта, на оставшиеся 3 запись продолжала производиться?


"Создание бюджетного raid5"
Отправлено ALex_hha , 17-Дек-09 12:21 
>Знакомые в офисе через стороннюю фирму делали сервер с поддержкой raid5. Через
>некоторое время, один из винтов (4 шт) вышел из строя. Фирма
>заявила, что все данные разрушены и восстановлению не подлежат.

неправда, вот если у них вышло два винта, то да. Ты теряешь весь массив. От этого спасет только raid6. Ну и опять таки, не надо думать, что raid это панацея. Это всего лишь один из методов. Второй - бекап.

>Действительно ли могут возникнуть такие проблемы? Я это себе представлял, что когда
>выходит из строя один из 4-х винтов, рейд продолжает работать на
>оставшихся 3-х. Потом не останавливая работу сервера, меняем винт на рабочий
>(если E-Sata), запускаем какую-то тулзу и она подключает 4-й винт к
>хранилищу. Или все гораздо сложнее? Как происходит процесс замены вышедшего из
>строя винчестера, если после выхода из строя 4-го винта, на оставшиеся
>3 запись продолжала производиться?

да, raid переходит в статус degraded, особенно на 5ке скорость записи/чтение падает в разы.

Процедура простая. Особенности зависят от конкретного контролера. Как правило, достаточно заменить винт и запустить ребилд.


"Создание бюджетного raid5"
Отправлено Pahanivo , 17-Дек-09 12:23 
>>не стоит, имхо. Толку от этого контроллера 0. Тогда уж или что
>>то нормальное покупать или делать софтовое решение средствами ОС, например, zfs/mdadm.
>>
>
>Знакомые в офисе через стороннюю фирму делали сервер с поддержкой raid5. Через
>некоторое время, один из винтов (4 шт) вышел из строя. Фирма
>заявила, что все данные разрушены и восстановлению не подлежат. Странно все
>это... Promise про поддержку ОС FreeBSD умалчивает. Про ICH10R вообще все
>туманно.

промайсы нормально поддерживаются фре - смотри в сапоорт хардваре
только там не все перечисленно - номера все поддреживаемых чипов можно найти в
man DEV , вот только имени девайса я не помню - но оно как есть в саппорт хардваре
с ICH10R я работал, все нормально - только надо помухлевать с atacontrol иногда

>Действительно ли могут возникнуть такие проблемы? Я это себе представлял, что когда
>выходит из строя один из 4-х винтов, рейд продолжает работать на
>оставшихся 3-х. Потом не останавливая работу сервера, меняем винт на рабочий
>(если E-Sata), запускаем какую-то тулзу и она подключает 4-й винт к
>хранилищу. Или все гораздо сложнее? Как происходит процесс замены вышедшего из
>строя винчестера, если после выхода из строя 4-го винта, на оставшиеся
>3 запись продолжала производиться?

я делал зеркало на промайсе - при выпадании винта через биос контроллера делал ребилд
и все робит прекрасно


"Создание бюджетного raid5"
Отправлено ze6ra , 17-Дек-09 13:02 
Не забываем про качественный UPS с привильно настроеным влючением/отключением особенно при софтовом RAID5 иначе толку мало электричество вырубают довольно часто и не ожиданно.  



"Создание бюджетного raid5"
Отправлено Pahanivo , 17-Дек-09 16:02 
>Не забываем про качественный UPS с привильно настроеным влючением/отключением особенно при софтовом
>RAID5 иначе толку мало электричество вырубают довольно часто и не ожиданно.
>

ну это кагбы даже не обсуждаетсо ))


"Создание бюджетного raid5"
Отправлено Vadim_nsk , 17-Дек-09 16:51 
>с ICH10R я работал, все нормально - только надо помухлевать с atacontrol
>иногда

Тут также организуется софтовый рейд через vinum или чтото подобное или все организуется в BIOS, а система уже видит этот массив как один винт?

При выходе из строя одного винта для его замены нужно перезагружать машину и все делать средствами reid bios?

"надо помухлевать с atacontrol" мухвевать надо в процессе работы или перед созданием raid? И где мухлевать, в bios или в конфигах FreeBSD?


"Создание бюджетного raid5"
Отправлено Vadim_nsk , 17-Дек-09 17:20 
>с ICH10R я работал, все нормально - только надо помухлевать с atacontrol
>иногда
>я делал зеркало на промайсе - при выпадании винта через биос контроллера
>делал ребилд
>и все робит прекрасно

1. Так в чем же отличие Promise от ICH10R. Ведь первый вариант стоит около 5т.р, а второй на фоне материнки с другим чипсетом еле до 1т.р. дотягивает. Значит разница есть, при том, ощутимая.

2. Насколько совместимы различные решения, ICH10R, Promise и софтовое? Т.е. смогу ли я винты с одного из решений безболезненно перенести на другое (в будущем)?


"Создание бюджетного raid5"
Отправлено начинающий , 17-Дек-09 18:27 
>Так в чем же отличие Promise от ICH10R. Ведь первый вариант
>стоит около 5т.р, а второй на фоне материнки с другим чипсетом
>еле до 1т.р. дотягивает. Значит разница есть, при том, ощутимая.
>

По цене фэйк рэйд от обычного дискового контроллера теоретически должен отличаться незначительно, так как фактически отличается только биосом, в котором написано, что это рэйд + стоимость драйверов.

Несколько лет назад, не имея денег на нормальный рэйд, но не доверяя ругани фэйк рэйдов (и интегрированных, и отдельных), я пытался выяснить, как они работают на уровне драйверов. Оказалось, что даже при установке зеркала, данные все равно передаются по шине два раза. Так что от чисто софтовых рэйдов их отличает только меньшая гибкость в конфигурировании и обслуживании + неизвестно кем написанные закрытые драйверы.
Кто-то из хакеров (писателей модулей ядра) назвал две причины присутствия на рынке фэйк рэйдов: 1) Маркетинг. 2) Отсутствие под венду хорошего софтового рэйда.
Не знаю, может сейчас ситуация изменилась.


"Создание бюджетного raid5"
Отправлено ALex_hha , 17-Дек-09 23:48 
>2. Насколько совместимы различные решения, ICH10R, Promise и софтовое? Т.е. смогу ли
>я винты с одного из решений безболезненно перенести на другое (в
>будущем)?

в 95% не будеь работать


"Создание бюджетного raid5"
Отправлено Pahanivo , 21-Дек-09 07:43 
>>2. Насколько совместимы различные решения, ICH10R, Promise и софтовое? Т.е. смогу ли
>>я винты с одного из решений безболезненно перенести на другое (в
>>будущем)?
>
>в 95% не будеь работать

вот не надо гнать!

в 100% случаев миграция FreeBSD выполняется на раз методом dump/restore и подобным
для этого понадобится винт не меньшим объемом и время


"Создание бюджетного raid5"
Отправлено Ingoa , 17-Дек-09 16:56 
Памяти воткни 2Гб
Промайсовский SATA контроллер 4-портовый
Поставь солярку и сделай raidz или raidz2
Для репозитария ПО- то что надо


"Создание бюджетного raid5"
Отправлено Pahanivo , 18-Дек-09 09:20 
>Памяти воткни 2Гб
>Промайсовский SATA контроллер 4-портовый
>Поставь солярку и сделай raidz или raidz2
>Для репозитария ПО- то что надо

товарешь не порите ересь - zfs уже пущена в продакшен под 8 фрю ...


"Создание бюджетного raid5"
Отправлено ALex_hha , 18-Дек-09 19:33 
>товарешь не порите ересь - zfs уже пущена в продакшен под 8
>фрю ...

При этом hotspare до сих пор не работает ;)


"Создание бюджетного raid5"
Отправлено Pahanivo , 21-Дек-09 07:44 
>>товарешь не порите ересь - zfs уже пущена в продакшен под 8
>>фрю ...
>
>При этом hotspare до сих пор не работает ;)

хотспаре не есть рейд ))


"Создание бюджетного raid5"
Отправлено ALex_hha , 21-Дек-09 12:10 
>>>товарешь не порите ересь - zfs уже пущена в продакшен под 8
>>>фрю ...
>>
>>При этом hotspare до сих пор не работает ;)
>
>хотспаре не есть рейд ))

Ну тогда начнем с того, что zfs тоже не есть рейд :)


"Создание бюджетного raid5"
Отправлено Pahanivo , 21-Дек-09 14:32 
>>>>товарешь не порите ересь - zfs уже пущена в продакшен под 8
>>>>фрю ...
>>>
>>>При этом hotspare до сих пор не работает ;)
>>
>>хотспаре не есть рейд ))
>
>Ну тогда начнем с того, что zfs тоже не есть рейд :)
>

считайте что спаре это бонус ))


"Создание бюджетного raid5"
Отправлено Аноним , 12-Янв-10 20:07 
>>товарешь не порите ересь - zfs уже пущена в продакшен под 8
>>фрю ...
>
>При этом hotspare до сих пор не работает ;)

все работает, не мелите чепухи, мало добавить диск надо еще и включить чтобы подхватывался


"Создание бюджетного raid5"
Отправлено ALex_hha , 12-Янв-10 20:27 
>>>товарешь не порите ересь - zfs уже пущена в продакшен под 8
>>>фрю ...
>>
>>При этом hotspare до сих пор не работает ;)
>
>все работает, не мелите чепухи, мало добавить диск надо еще и включить
>чтобы подхватывался

Если ты говоришь про autoreplace on, то нифига он не работает. Уже обсуждалось, все включено, но автоматической подмены не происходит.


"Создание бюджетного raid5"
Отправлено sHaggY_caT , 13-Янв-10 01:10 
>>>товарешь не порите ересь - zfs уже пущена в продакшен под 8
>>>фрю ...
>>
>>При этом hotspare до сих пор не работает ;)
>
>все работает, не мелите чепухи, мало добавить диск надо еще и включить
>чтобы подхватывался

Если проблем с религиозным фанатизмом нет(не задача выбирается под решение, а наоборот), имхо, сейчас только либо 2 гига памяти и больше + opensolaris, либо Linux и mdraid. Под Linux и md, тоже желательно побольше памяти для XFS и 64 бита (то есть, не на атоме)

У mdraid, кстати, есть даже один плюс: его можно увеличивать на ходу (то есть добавлять диски по мере роста хранилища), ZFS, кажется, еще такого не умеет.


"Создание бюджетного raid5"
Отправлено Vadim_nsk , 13-Янв-10 10:05 
>Если проблем с религиозным фанатизмом нет(не задача выбирается под решение, а наоборот),
>имхо, сейчас только либо 2 гига памяти и больше + opensolaris,
>либо Linux и mdraid. Под Linux и md, тоже желательно побольше
>памяти для XFS и 64 бита (то есть, не на атоме)
>
>У mdraid, кстати, есть даже один плюс: его можно увеличивать на ходу
>(то есть добавлять диски по мере роста хранилища), ZFS, кажется, еще
>такого не умеет.

Может dmraid? Мне больше нравится вариант Linux (gentoo) 64 бита + dmraid.


"Создание бюджетного raid5"
Отправлено sHaggY_caT , 13-Янв-10 11:53 
>Может dmraid? Мне больше нравится вариант Linux (gentoo) 64 бита + dmraid.

dmraid использовать нельзя вообще никогда! Это fake-raid, что означает "индусский код" в в ядре вместо отлаженного, годами, кода mdraid Linux или gmirror(gstripe) FreeBSD.

dmraid может быть полезен только в одной ситуации: прочитать данные с fake-raid'а несчастного Windows-пользователя, которые, в большинстве своем, лишены возможности использовать стабильное софтовое решение под raid (в Windows Server оно есть, но я никогда не слышала, что бы кто-то из сертифицированных Windows-админов отзывался о нем положительно)

Тогда как md и gmirror успешно используется на серверах многих компаний этой страны, названия которых мы слышим каждый день (даже не IT-ки).
Я два года проработала в одной компании (это не понты, просто отмечаю, что у меня есть реальный опыт, при этом, конечно, у многих на opennet он больше, но у меня он _есть_) в которой несколько тысяч UNIX-серверов, и клиентами которой были достаточно большое количество таких компаний (которые на слуху).

Советую почитать форумы (этот, 3nity.ru, ixb.com) как железячники отзываются о _любых_ представителях fake-raid


"Создание бюджетного raid5"
Отправлено tonys , 13-Янв-10 18:53 
Интересно, почему никто не вспомнил о FreeNAS, Openfiler, Nexenta?


"Создание бюджетного raid5"
Отправлено sHaggY_caT , 13-Янв-10 18:58 
>Интересно, почему никто не вспомнил о FreeNAS, Openfiler, Nexenta?

А в чем разница? Тоже самое можно сделать руками... Nexanta полнофункциональная, кстати, платная, FreeNAS хоть и с gmirror5, не понятно будущее проекта, а OpenFiler, не слишком ли круто под задачи топикстартера?

Кажется, проблема была не в том, как хитро раздавать диски по iscsi, или наблюдать за этим через web интерфейс...


"Создание бюджетного raid5"
Отправлено tonys , 13-Янв-10 22:57 
>>Интересно, почему никто не вспомнил о FreeNAS, Openfiler, Nexenta?
>
>А в чем разница? Тоже самое можно сделать руками...

Можно, но зачем? Все уже придумано до нас. И web-морда нарисована.

>Nexanta полнофункциональная, кстати,
>платная,

4 Tb том в бесплатной Developer Edition. По условиям задачи вполне хватит.

>FreeNAS хоть и с gmirror5, не понятно будущее проекта, а

По условиям задачи это не критично.

>OpenFiler, не слишком ли круто под задачи топикстартера?
>

Не обязательно задействовать все модули. И я бы не отнес настройку сего продукта к
Rocket Science.

>Кажется, проблема была не в том, как хитро раздавать диски по iscsi,
>или наблюдать за этим через web интерфейс...

а быстренько организовать недорогое сетевое хранилище с приемлемой производительностью и надежностью не особо вникая behind the curtain.


"Создание бюджетного raid5"
Отправлено Vadim_nsk , 14-Янв-10 06:33 
На идею создания сетевого хранилища меня натолкнули как раз статьи по FreeNAS, подобные этой: http://habrahabr.ru/blogs/bsdelniki/61102/
Но мир ведь этим не ограничивается, вот и хотел узнать у людей кто чем пользуется. Благодаря чему уже сэкономил 5 т.р. на промайсовом контроллере, почти столько же на материнке с Атомом.

> 4 Tb том в бесплатной Developer Edition. По условиям задачи вполне хватит.

Не хватит. Я конечно не планирую суперсервера с бесплатным предоставлением мыла и файлохранилища неограниченного размера. Но зачем же себя ограничивать? Сейчас уже винты 1 Тб продаются по приемлемой цене, а значит порог в 4 Тб вполне достижим, а аппетит приходит во время еды...


"Создание бюджетного raid5"
Отправлено Vadim_nsk , 14-Янв-10 07:29 
>>OpenFiler, не слишком ли круто под задачи топикстартера?
>
>Не обязательно задействовать все модули. И я бы не отнес настройку сего
>продукта к
>Rocket Science.
>

Почитал про OpenFiler тут: http://www.opennet.me/base/net/openfiler.txt.html
Мне кажется, что вполне удобоваримая вещь, но лучше попробовать и то и другое (FreeNAS и OpenFiler). Мне больше всего интересен процес замены вышедшего из строя диска raid5/raid6 в той и в другой системе. Кроме того, гибкость при работе с UPC-ом (умение аккуратно завершать работу при проблемах с питанием). Лично мне, больше нравится FreeBSD и все ее духу подобные (gentoo). Например frenzy, базирующаяся на FreeBSD кажется мне уже совсем чужой системой. Поэтому о FreeNAS ничего сказать не смогу, пока не попробую с ней поработать.
В пользу FreeNAS говорит еще и меньшие требования к системным ресурсам, а значит, планируемая установка на IDE-FLASH-HDD более вероятна.


"Создание бюджетного raid5"
Отправлено anonymous , 14-Янв-10 01:31 
>Появилось желание создать сетевое хранилище данных в виде raid5. Почитал на форуме
>рекомендации по использованию аппаратных решений. Но бюджет не позволяет их использовать.
>Начать хочется с чего-то попроще, например, воспользоваться или программной реализацией

не думали о покупке готового хранилища?


"Создание бюджетного raid5"
Отправлено Vadim_nsk , 14-Янв-10 06:16 
>не думали о покупке готового хранилища?

Думал конечно. Но ценник быстро привел в чувства. Кроме того, это черный ящик, куда не сильно то и залезешь. А когда делаешь сам, то сегодня это мой настольный компьютер, завтра это рейд, а послезавтра это роутер или что-то еще. Свобода. Поэтому в качестве роутера у меня тоже самая обычная персоналка.

Да и расширяемость готового решения оставляет желать лучшего, если сразу не заложиться на это. А самосбор расширяй сколько хочешь. Сейчас вот купил расширитель SATA 1-5, скорость записи просядет конечно, но все равно главным тормозом будет вычисление CRC, а не запись на диск. В корпусах готовых хранилищ, доступных мне по цене, всего 4-5 HDD. А т.к. планируется самосборка, то главными ограничителями остаются малое количество разъемов SATA на материнках и низкая скорость вычисления CRC.