добрый день!исходные данные:
существует файловый архив, на нтфс, под виндой, на куче ide hdd, объединенных парами в raid 1 ( зеркалка )
содержимое разношерстное: от мелких файлов ( исходников ), до 5игиговых файлов - потоковых данных с приборов
общий объем >500 гигов данных
задача:
перенести этот архив под управление линухи, на другие диски и другую фс.при этом наиболее важна отказоустойчивость как аппаратной так и программной части.
скорость также важна, но не первична.соотв. возникло несколько вопросов,
по поводу которых хотелось бы услышать стороннее (желательно объективное и непредвзятое) мнение.1) физическая основа - харды..
в моем черепе устоялось мнение, что с увеличением емкости hdd, увеличивается количество блинов и плотность записи,
и при этом чем выше плотность записи - тем меньше надежность...
однако опыта работы с современными большими хардами нету..
хочется конечно купить 4 штучки сегатов по 750 гиг... это с одной стороны..
с другой - см. выше.. - както не спокойно...
вопрос: насколько в современных устройствах верна закономерность(см. выше)?
и где "золотая середина"?2) программная часть, а точнее файловая система...
со скоростями все понятно - множество беньчмарков дают достаточно ясную картину.
а вот что с отказоустойчивостью?
если считать, что "старый конь борозды не испортит", то выбор стоит остановть на ext3...
еще много всего слышал очень, и совсем не очень, хорошего по поводу raiser...
а по поводу xfs и jfs - вообще диаметрально противоположное: от "тормозит и глючит", до "рулез".
вопрос: какой есть опыт? особенно интересуют впечатления от xfs и jfsp.s. на счет термина "отказоустойчивость", имеется ввиду следующее:
1) стремится к нулю риск потерять вообще все при повреждении сравнительно небольшого участка
(изза неправильного выключения, физического повреждения носителей, программной ошибки и пр)
2) устойчивость к програмным "приколам", например под виндой (фат, нтфс) часто возникает проблема:
невозможно удалить файл или каталог, часто изза слишком длинного имени, иногда по неясным причинам.p.p.s. прощу прощения за дурацкий вопрос: сам далек от этих вопросов, а решить нужно быстро
если нужна какаято доп. информация - готов предоставить.зарание спасибо!!!
>1) физическая основа - харды..
>в моем черепе устоялось мнение, что с увеличением емкости hdd, увеличивается количество
>блинов и плотность записи,
>и при этом чем выше плотность записи - тем меньше надежность...
>однако опыта работы с современными большими хардами нету..
>хочется конечно купить 4 штучки сегатов по 750 гиг... это с одной
>стороны..
>с другой - см. выше.. - както не спокойно...
>вопрос: насколько в современных устройствах верна закономерность(см. выше)?
>и где "золотая середина"?Золотой серединой будет RAID массив. И тут уже без разницы, какого объема у вас жесткие диски (у нас 500гиговые), главное - это иметь про запас еще несколько винтов на "горячую замену".
Можно купить NAS. Это дорого, но надежно и быстро. http://en.wikipedia.org/wiki/List_of_NAS_manufacturers>[оверквотинг удален]
>еще много всего слышал очень, и совсем не очень, хорошего по поводу
>raiser...
>а по поводу xfs и jfs - вообще диаметрально противоположное: от "тормозит
>и глючит", до "рулез".
>вопрос: какой есть опыт? особенно интересуют впечатления от xfs и jfs
>
>p.s. на счет термина "отказоустойчивость", имеется ввиду следующее:
>1) стремится к нулю риск потерять вообще все при повреждении сравнительно небольшого
>участка (изза неправильного выключения, физического повреждения носителей, программной
>ошибки и пр)Это не задача файловой системы, если я правильно понимаю. Это делается с помощью RAID.
>2) устойчивость к програмным "приколам", например под виндой (фат, нтфс) часто возникает
>проблема:
>невозможно удалить файл или каталог, часто изза слишком длинного имени, иногда по
>неясным причинам.Не встречался с таким на ext3, xfs и reiserfs.
>[оверквотинг удален]
>2) устойчивость к програмным "приколам", например под виндой (фат, нтфс) часто возникает
>проблема:
>невозможно удалить файл или каталог, часто изза слишком длинного имени, иногда по
>неясным причинам.
>
>p.p.s. прощу прощения за дурацкий вопрос: сам далек от этих вопросов, а
>решить нужно быстро
>если нужна какаято доп. информация - готов предоставить.
>
>зарание спасибо!!!М-да, вопрос интересный.
Есть одно золотое правило. Лучше всего покупать HDD максимальной емкости из определенной линейки девайсов. Дело в том, что все винты той или иной линейки на заводе изготовлителе гоняться под максимальную емкость, а потом, в отделе контроля идет выбраковка и перемаркировка под более низкие объемы если девайс не влез по допускам. Допустим есть у вас сигетовские винты одной ветки 120, 100, 80, 60 и 40 гигов. Будте уверены что все они были изготовлены на 120, но вот потом не все прошли нормоконтроль. Так что лучше заранее сразу брать винты у которых все было хорошо при испытаниях. Меньше шансов нарваться на производственный брак.
По поводу рейдов. Я бы вам порекомендавал использовать зеркалирование дисков. Это хоть и "перерасход" ресурсов, но избавит вас от головной боли во многих случаях. По крайней мере, на своем опыте могу сказать, что хваленый пятый рейд, спасает далеко не во всех случаях. Я его скорее применяю только в качестве увеличения скорости обмена данными с HDD. Если надежность - кристический параметр IMHO однозначно первый рейд.
Что касается выбора файловой системы, то это скорее вопрос из разряда "религиозных" :)). Тут кому что нравится. Хотя лично бы я, в вашем случае,остановился бы на хорошо проверенном варианте (ext3)и не гнался бы за новомодными штучками. Но повторюсь, это только лишь мое мнение по данному вопросу.
>Дело в том, что все винты той или
>иной линейки на заводе изготовлителе гоняться под максимальную емкость, а потом,
>в отделе контроля идет выбраковка и перемаркировка под более низкие объемыКто это Вам такое рассказал?
Ссылку покажите.
>>Дело в том, что все винты той или
>>иной линейки на заводе изготовлителе гоняться под максимальную емкость, а потом,
>>в отделе контроля идет выбраковка и перемаркировка под более низкие объемы
>
>Кто это Вам такое рассказал?
>Ссылку покажите.не помню точно. читал где-то... А что вас так за живое задело? Дам я вам ссылку, если найду, так это тоже просто будет мнение людей и вы скажите что это бред. Вообще-то я думаю, что мое объяснение логично. Если у вас есть более точная информация, я ее с радостью (без иронии) приму. Пока у меня есть такие данные...
мои пять копеек
если нужна именно отказоустойчивость то (ИМХО)
1. Винчестеры лучше брать с кэшем побольше и на данный момент на рынке присутствуют модели sata винчестеров специально для серверных применений
2. raiser однозначно не стоит, самым подходящим вариантом является старый-добрый ext3, хотя учитывая "разношерстность" файлов можно также всглянуть и на jfs (у ext3 есть мало оспариваемое преимущество в виде определённого количества ПО восстановления в случае конкретного краха)
3. зеркало в обязательном порядке
4. и очень порекомендую использоваль LVM
>2. raiser однозначно не стоит, самым подходящим вариантом является старый-добрый ext3, хотя
>учитывая "разношерстность" файлов можно также всглянуть и на jfs (у ext3
>есть мало оспариваемое преимущество в виде определённого количества ПО восстановления в
>случае конкретного краха)Оспоримо. У меня имеется похожая ситуация: фтп сервер, 600 гигабайт на раздаче, инкаминг, коннект и отдача на полных 100мбит. Файлы на фтп и большие, и маленькие, и огромные (до 10 гиг) -- всё прекрасно и быстро работает. Файловая система везде reiser.
Так как по материальным причинам я не имею возможности организовать raid, недавний сбой одного диска привёл был довольно серьёзной проблемой. Но, я сдампил все читаемые сектора с диска, и reiser без вопросов и проблем проверил и пофиксил повреждённую файловую систему. Я и раньше был фанат reiser, а теперь я для себя решил -- только reiser.
попробуйте rm -rf / -- а потом я буду рад услышать как прошло востановление (пример конечно дикий) -- но если у вас не видно разделов совсем и первая половина винта зарисована нулями -- то в случае ext2/ext3 у вас возможность увидеть и во многом востановить данные находящиеся на не стёртой части винта -- с райзером такие выкрутасы непотянут>Оспоримо. У меня имеется похожая ситуация:
я же написал ИМХО и хочу вас уверить -- ситуаций повидал всяких
>попробуйте rm -rf / -- а потом я буду рад услышать как
>прошло востановление (пример конечно дикий) -- но если у вас не
>видно разделов совсем и первая половина винта зарисована нулями -- то
>в случае ext2/ext3 у вас возможность увидеть и во многом востановить
>данные находящиеся на не стёртой части винта -- с райзером такие
>выкрутасы непотянутЕсли у меня вдруг будет такая ситуация и затёртыми окажутся важные данные, я без вопросов сразу же отключу диск и отнесу его к специалистам, так как:
1. В таких серьёзных случаях я могу измучить винт до полного разрушения затёртых данных
2. Стандартные утилиты (типа debugfs) без определённого опыта мало смысла использовать
а если это например не Москва -- то относить винт вы будете 2 недели -- а все вас подождут -- смех да и только.
>а если это например не Москва -- то относить винт вы будете
>2 недели -- а все вас подождут -- смех да и
>только.Ага, это Киев. У нас тут есть очень хорошая фирма Эпос =)
А вообще, это если нет raid. Для серьёзных важных данных нужен raid по-любому.
>[оверквотинг удален]
>2) устойчивость к програмным "приколам", например под виндой (фат, нтфс) часто возникает
>проблема:
>невозможно удалить файл или каталог, часто изза слишком длинного имени, иногда по
>неясным причинам.
>
>p.p.s. прощу прощения за дурацкий вопрос: сам далек от этих вопросов, а
>решить нужно быстро
>если нужна какаято доп. информация - готов предоставить.
>
>зарание спасибо!!!Если цена не очень критична, то наверное при такой задаче лучше внешний сторедж покупать.
Из дешовых есть coraid.com .
ФС - на основе религиозных предпочтений между ext3/jfs/xfs
1 - остаться на НТФС (у админа есть уже опыт, нечего себе на .... искать приключений)2 - купить адаптер, например http://www.promise.com/product/pd_l3.asp?Product_Layer_ID=PR... - 4 или 8 канальный и навесить дисков под RAID-5