Добрый вечер, все таки я зарегистрировался и первым делом хочу выразить огромное спасибо всем обитателям форума, многие проблемы я решал штудируя форум с утра до ночи :)Короче говоря прошу советов, суть проблемы:
приобрели EMC систему клариион ax4, корзина под 12 сата\сас винтов + 3 доп корзинки по 12, планируется заставить 4*12*2ТБ сата винтами, аплинки через FC контроллер, очень неприятно было обнаружить что FreeBSD не поддерживает Emulex, по этому пока тесты ставятся на Qlogic 2 гигабита. Одна карзинка с 10 сас винтами по 15к рпм в винде выдает более 200 мегабайт в сек. на тесте hd_speed который по типу #dd if=/dev/da2 of=/dev/null bs=16m count=100DD на фре + UFS 120 :( Перекуирив кучу манов, форумов, прочих источников удалось поднять физическое копирования "с себя на себя" до 30 мегабайт в сек в миднайте, тогда как виндовый NTFS дает прокачку 5 гигов "с себя на себя" 30 сек - примерно 170 метров в секунду, поняв что крутить фрю далее не имеет смысла - прошу совет, какая ось, какая файловая система? Да, вся сборка будет использоваться для обмена файла (преимущественно чтения в 40 и более потоков по ФТП и DC)
Вопросы? Задавайте, буду отвечать.
Попробуйте ZFS на фре, если оперативки 8гигов и более.
>Попробуйте ZFS на фре, если оперативки 8гигов и более.достаточно и двух, но чем больше, тем лучше :)
>>Попробуйте ZFS на фре, если оперативки 8гигов и более.
>
>достаточно и двух, но чем больше, тем лучше :)пока сервер с 2ГБ, но планируется на 8ми гиговый SUN Fire x4200 там и камни амдшные и память нормально поддерживается.
а какого типа файлы будут храниться? БД планируются?
>а какого типа файлы будут храниться? БД планируются?файлы - аудио, видео, софт, фото и прочий ширпотреб, БД планируется для индексации и возможно другого функционала, скорее всего mysql
>>а какого типа файлы будут храниться? БД планируются?
>
>файлы - аудио, видео, софт, фото и прочий ширпотреб, БД планируется для
>индексации и возможно другого функционала, скорее всего mysqlCentOS + ext3, а когда выйдет 6-ая версия проведёте миграцию на ext4
>>>а какого типа файлы будут храниться? БД планируются?
>>
>>файлы - аудио, видео, софт, фото и прочий ширпотреб, БД планируется для
>>индексации и возможно другого функционала, скорее всего mysql
>
>CentOS + ext3, а когда выйдет 6-ая версия проведёте миграцию на ext4
>А с Emulex FC HBA она дружит? И вроде как ext3 тормознее ext2, надежность конечно ниже, но за надежность отвечать будет ЕМС
>>>>а какого типа файлы будут храниться? БД планируются?
>>>
>>>файлы - аудио, видео, софт, фото и прочий ширпотреб, БД планируется для
>>>индексации и возможно другого функционала, скорее всего mysql
>>
>>CentOS + ext3, а когда выйдет 6-ая версия проведёте миграцию на ext4
>>
>
>А с Emulex FC HBA она дружит? И вроде как ext3 тормознее
>ext2, надежность конечно ниже, но за надежность отвечать будет ЕМСс Emulex, думаю, проблем не будет http://www.emulex.com/partners/strategic-alliances/red-hat.html
ext2 vs. ext3 - особеного выигрыша от использования ext3 не будет, зато лишитесь кучи усовершенсвований в ext3, да и миграцию на ext4 будет проводить опасней.
>ext2 vs. ext3 - особеного выигрыша от использования ext3 не будет, зато
>лишитесь кучи усовершенсвований в ext3, да и миграцию на ext4 будет
>проводить опасней.Боюсь миграция 100 терабайтного раздела займет ни один день, и если ext4 окажется медленней ext3 - это будет ппц..
Да, а ограничение по размеру есть как на UFS,NTFS в 2ТБ?
И второй вопросик - существует ли теоретическая возможность "на лету" менять (увиличивать) размер раздела при добавлении винтов в рейд?
гуглим - ext3 max. fs size = 16TB
ext4 - 1EBДля удобства пользования нужно использовать LVM (можно увеличивать на лету разделы, добавлять новые диски, снапшоты и т.д. и т.п.), для того же удобства и увеличения надёжности не советую создавать один большой раздел (или LV) лучше несколько (или даже несколько десятков) мелких.
>Для удобства пользования нужно использовать LVM (можно увеличивать на лету разделы, добавлять новые диски, снапшоты и т.д. и т.п.), для того же удобства
>и увеличения надёжности не советую создавать один большой раздел (или LV)
>лучше несколько (или даже несколько десятков) мелких.Основные преследуемые цели - это скорость отдачи фалов (чтение), скорость записи (хотелось бы видеть порядка 50 мегабайт), возможность добавления дисков в массив с последующим шарингом их в рейд, и следом расширение партиции в саму ОС и увеличение объема раздела, задачи сохранности структуры диска расшариного в ОС ложатся полностью на аппаратные возможности ЕМСшной железяки, от ФС нужна устойчивость к вырубанию того же света, просто устойчивость к разного рода глюкам и скорость.
если хотите все требования выполнить одной файловой системой, тогда ZFS на Solaris (за деньги), OpenIndiana или FreeBSD, если будет линукс, то нужно использовать LVM, поверх которого любую ФС, можно и XFS.Вы уже решили как будите отдавать больше 80 MB/s по сети? Гигабит ведь не резиновый.
ext2 не обеспечивает "устойчивость к вырубанию того же света" она не журналируемая, ext3 проверена временем и большим количеством инсталяций, конечно имеет вполне достижимые ограничения, но можно смигрировать на ext4.
>если хотите все требования выполнить одной файловой системой, тогда ZFS на Solaris
>(за деньги), OpenIndiana или FreeBSD, если будет линукс, то нужно использовать
>LVM, поверх которого любую ФС, можно и XFS.
>
>Вы уже решили как будите отдавать больше 80 MB/s по сети? Гигабит
>ведь не резиновый.
>
>ext2 не обеспечивает "устойчивость к вырубанию того же света" она не журналируемая,
>ext3 проверена временем и большим количеством инсталяций, конечно имеет вполне достижимые
>ограничения, но можно смигрировать на ext4.4 и более (по необходимости) гигабитных транка в свич, который по 10G стекируется с основными узлами раздающими 1G в уровень доступа, как то так.. Да и весь массив возможно будет пользоваться несколькими серверами, по принципу 1 сервис - 1 сервер..
Думаю завтра с утра приступим к тестированию ext3, какой линукс взять посоветуете из бесплатных и какие расценки на солярис?
CentOS - тот же RedHat Enterprise Linux, с другим логотипом. В ближайшем будующем выйдет 6 версия, на которую будет легко проапгрейдится и в которой, думаю, можно будет использовать ext4
> тогда как виндовый NTFS дает прокачку
>5 гигов "с себя на себя" 30 сек - примерно 170
>метров в секунду, поняв что крутить фрю далее не имеет смыславы уверены, что виндоус действительно копирует, а не меняет адреса блоков?
>
>> тогда как виндовый NTFS дает прокачку
>>5 гигов "с себя на себя" 30 сек - примерно 170
>>метров в секунду, поняв что крутить фрю далее не имеет смысла
>
>вы уверены, что виндоус действительно копирует, а не меняет адреса блоков?Когда что-то не так, это сразу видно - чтение с кешей, нереальные скорости, а 170 мегабайт с 10ти дисков вполне то что ожидалось