URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 89886
[ Назад ]

Исходное сообщение
"Выбор файловой и операционной системы для файлсервера"

Отправлено 2ihi , 24-Сен-10 19:03 
Добрый вечер, все таки я зарегистрировался и первым делом хочу выразить огромное спасибо всем обитателям форума, многие проблемы я решал штудируя форум с утра до ночи :)

Короче говоря прошу советов, суть проблемы:
приобрели EMC систему клариион ax4, корзина под 12 сата\сас винтов + 3 доп корзинки по 12, планируется заставить 4*12*2ТБ сата винтами, аплинки через FC контроллер, очень неприятно было обнаружить что FreeBSD не поддерживает Emulex, по этому пока тесты ставятся на Qlogic 2 гигабита. Одна карзинка с 10 сас винтами по 15к рпм в винде выдает более 200 мегабайт в сек. на тесте hd_speed который по типу  #dd if=/dev/da2 of=/dev/null bs=16m count=100

DD на фре + UFS 120 :( Перекуирив кучу манов, форумов, прочих источников удалось поднять физическое копирования "с себя на себя" до 30 мегабайт в сек в миднайте, тогда как виндовый NTFS дает прокачку 5 гигов "с себя на себя" 30 сек - примерно 170 метров в секунду, поняв что крутить фрю далее не имеет смысла - прошу совет, какая ось, какая файловая система? Да, вся сборка будет использоваться для обмена файла (преимущественно чтения в 40 и более потоков по ФТП и DC)

Вопросы? Задавайте, буду отвечать.


Содержание

Сообщения в этом обсуждении
"Выбор файловой и операционной системы для файлсервера"
Отправлено mef , 24-Сен-10 22:23 
Попробуйте ZFS на фре, если оперативки 8гигов и более.

"Выбор файловой и операционной системы для файлсервера"
Отправлено universite , 25-Сен-10 01:26 
>Попробуйте ZFS на фре, если оперативки 8гигов и более.

достаточно и двух, но чем больше, тем лучше :)


"Выбор файловой и операционной системы для файлсервера"
Отправлено 2ihi , 25-Сен-10 05:47 
>>Попробуйте ZFS на фре, если оперативки 8гигов и более.
>
>достаточно и двух, но чем больше, тем лучше :)

пока сервер с 2ГБ, но планируется на 8ми гиговый SUN Fire x4200 там и камни амдшные и память нормально поддерживается.


"Выбор файловой и операционной системы для файлсервера"
Отправлено st_dog , 25-Сен-10 01:08 
а какого типа файлы будут храниться? БД планируются?

"Выбор файловой и операционной системы для файлсервера"
Отправлено 2ihi , 25-Сен-10 05:52 
>а какого типа файлы будут храниться? БД планируются?

файлы - аудио, видео, софт, фото и прочий ширпотреб, БД планируется для индексации и возможно другого функционала, скорее всего mysql


"Выбор файловой и операционной системы для файлсервера"
Отправлено st_dog , 25-Сен-10 13:00 
>>а какого типа файлы будут храниться? БД планируются?
>
>файлы - аудио, видео, софт, фото и прочий ширпотреб, БД планируется для
>индексации и возможно другого функционала, скорее всего mysql

CentOS + ext3, а когда выйдет 6-ая версия проведёте миграцию на ext4


"Выбор файловой и операционной системы для файлсервера"
Отправлено 2ihi , 25-Сен-10 14:49 
>>>а какого типа файлы будут храниться? БД планируются?
>>
>>файлы - аудио, видео, софт, фото и прочий ширпотреб, БД планируется для
>>индексации и возможно другого функционала, скорее всего mysql
>
>CentOS + ext3, а когда выйдет 6-ая версия проведёте миграцию на ext4
>

А с Emulex FC HBA она дружит? И вроде как ext3 тормознее ext2, надежность конечно ниже, но за надежность отвечать будет ЕМС


"Выбор файловой и операционной системы для файлсервера"
Отправлено st_dog , 25-Сен-10 15:18 
>>>>а какого типа файлы будут храниться? БД планируются?
>>>
>>>файлы - аудио, видео, софт, фото и прочий ширпотреб, БД планируется для
>>>индексации и возможно другого функционала, скорее всего mysql
>>
>>CentOS + ext3, а когда выйдет 6-ая версия проведёте миграцию на ext4
>>
>
>А с Emulex FC HBA она дружит? И вроде как ext3 тормознее
>ext2, надежность конечно ниже, но за надежность отвечать будет ЕМС

с Emulex, думаю, проблем не будет http://www.emulex.com/partners/strategic-alliances/red-hat.html

ext2 vs. ext3 - особеного выигрыша от использования ext3 не будет, зато лишитесь кучи усовершенсвований в ext3, да и миграцию на ext4 будет проводить опасней.


"Выбор файловой и операционной системы для файлсервера"
Отправлено 2ihi , 25-Сен-10 15:37 
>ext2 vs. ext3 - особеного выигрыша от использования ext3 не будет, зато
>лишитесь кучи усовершенсвований в ext3, да и миграцию на ext4 будет
>проводить опасней.

Боюсь миграция 100 терабайтного раздела займет ни один день, и если ext4 окажется медленней ext3 - это будет ппц..
Да, а ограничение по размеру есть как на UFS,NTFS в 2ТБ?
И второй вопросик - существует ли теоретическая возможность "на лету" менять (увиличивать) размер раздела при добавлении винтов в рейд?


"Выбор файловой и операционной системы для файлсервера"
Отправлено st_dog , 25-Сен-10 17:11 
гуглим - ext3 max. fs size = 16TB
ext4 - 1EB

Для удобства пользования нужно использовать LVM (можно увеличивать на лету разделы, добавлять новые диски, снапшоты и т.д. и т.п.), для того же удобства и увеличения надёжности не советую создавать один большой раздел (или LV) лучше несколько (или даже несколько десятков) мелких.


http://xgu.ru/wiki/ext4


"Выбор файловой и операционной системы для файлсервера"
Отправлено 2ihi , 26-Сен-10 11:03 
>Для удобства пользования нужно использовать LVM (можно увеличивать на лету разделы, добавлять новые диски, снапшоты и т.д. и т.п.), для того же удобства
>и увеличения надёжности не советую создавать один большой раздел (или LV)
>лучше несколько (или даже несколько десятков) мелких.

Основные преследуемые цели - это скорость отдачи фалов (чтение), скорость записи (хотелось бы видеть порядка 50 мегабайт), возможность добавления дисков в массив с последующим шарингом их в рейд, и следом расширение партиции в саму ОС и увеличение объема раздела, задачи сохранности структуры диска расшариного в ОС ложатся полностью на аппаратные возможности ЕМСшной железяки, от ФС нужна устойчивость к вырубанию того же света, просто устойчивость к разного рода глюкам и скорость.


"Выбор файловой и операционной системы для файлсервера"
Отправлено st_dog , 26-Сен-10 13:51 
если хотите все требования выполнить одной файловой системой, тогда ZFS на Solaris (за деньги), OpenIndiana или FreeBSD, если будет линукс, то нужно использовать LVM, поверх которого любую ФС, можно и XFS.

Вы уже решили как будите отдавать больше 80 MB/s по сети? Гигабит ведь не резиновый.

ext2 не обеспечивает "устойчивость к вырубанию того же света" она не журналируемая, ext3 проверена временем и большим количеством инсталяций, конечно имеет вполне достижимые ограничения, но можно смигрировать на ext4.


"Выбор файловой и операционной системы для файлсервера"
Отправлено 2ihi , 26-Сен-10 14:19 
>если хотите все требования выполнить одной файловой системой, тогда ZFS на Solaris
>(за деньги), OpenIndiana или FreeBSD, если будет линукс, то нужно использовать
>LVM, поверх которого любую ФС, можно и XFS.
>
>Вы уже решили как будите отдавать больше 80 MB/s по сети? Гигабит
>ведь не резиновый.
>
>ext2 не обеспечивает "устойчивость к вырубанию того же света" она не журналируемая,
>ext3 проверена временем и большим количеством инсталяций, конечно имеет вполне достижимые
>ограничения, но можно смигрировать на ext4.

4 и более (по необходимости) гигабитных транка в свич, который по 10G стекируется с основными узлами раздающими 1G в уровень доступа, как то так.. Да и весь массив возможно будет пользоваться несколькими серверами, по принципу 1 сервис - 1 сервер..

Думаю завтра с утра приступим к тестированию ext3, какой линукс взять посоветуете из бесплатных и какие расценки на солярис?


"Выбор файловой и операционной системы для файлсервера"
Отправлено st_dog , 26-Сен-10 14:26 
CentOS - тот же RedHat Enterprise Linux, с другим логотипом. В ближайшем будующем выйдет 6 версия, на которую будет легко проапгрейдится и в которой, думаю, можно будет использовать ext4

"Выбор файловой и операционной системы для файлсервера"
Отправлено universite , 25-Сен-10 01:27 

> тогда как виндовый NTFS дает прокачку
>5 гигов "с себя на себя" 30 сек - примерно 170
>метров в секунду, поняв что крутить фрю далее не имеет смысла

вы уверены, что виндоус действительно копирует, а не меняет адреса блоков?


"Выбор файловой и операционной системы для файлсервера"
Отправлено 2ihi , 25-Сен-10 05:54 
>
>> тогда как виндовый NTFS дает прокачку
>>5 гигов "с себя на себя" 30 сек - примерно 170
>>метров в секунду, поняв что крутить фрю далее не имеет смысла
>
>вы уверены, что виндоус действительно копирует, а не меняет адреса блоков?

Когда что-то не так, это сразу видно - чтение с кешей, нереальные скорости, а 170 мегабайт с 10ти дисков вполне то что ожидалось