URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 90876
[ Назад ]

Исходное сообщение
"как создать хранилище"

Отправлено djeck , 04-Фев-11 10:41 
подскажите как можно создать падежное (с дублирование как raid1  и оповещением при сбое в диске) хранилище на 100 тера байт

Содержание

Сообщения в этом обсуждении
"как создать хранилище"
Отправлено PavelR , 04-Фев-11 10:44 
> _падежное_

.


"как создать хранилище"
Отправлено djeck , 04-Фев-11 11:10 
надежное ... описался



"как создать хранилище"
Отправлено zd3n , 04-Фев-11 12:24 
Для начала купить дисковый массив.
А дальше - в зависимости от возможности этой железки.

"как создать хранилище"
Отправлено gg , 04-Фев-11 17:56 
> подскажите как можно создать падежное (с дублирование как raid1  и оповещением
> при сбое в диске) хранилище на 100 тера байт

ну если использовать 2ТБ диски, то на рейд 1 понадобится 100 дискв. эт довольно большая горка дисков.

в сети был рассказан случай, когда умелец собрал хранилище в деревенном ящике на 96 терабайт под виндой, для хранения фильмов, там был рейд 5 кажется, и ящик был довольно внуштельный.

существуют промышленные системы подобного архитекрутного приема. это дешево, умеренно надежно.


"как создать хранилище"
Отправлено Pahanivo , 04-Фев-11 18:37 
RAID1 и 100 Т при макс размере носителя 2Т ?
автор хотя бы изучил понятие RAID прежде чем писать такую ахинею ...

"как создать хранилище"
Отправлено mef , 04-Фев-11 21:21 
Raid1 из большого количества маленьких дисков будет очень не эффективно. RAID10 ситуацию не исправит.
Т.к. FreeBSD я бы попробовал ZFS+RAIDZ. Это надежнее чем raid5. Ну а далее только от ресурсов и фантазии, HAST например пришаманить. Я бы с удовольствием поучаствовал в этом проекте, завидую Вам.

"как создать хранилище"
Отправлено YuSt , 05-Фев-11 04:02 
> Raid1 из большого количества маленьких дисков будет очень не эффективно. RAID10 ситуацию
> не исправит.
> Т.к. FreeBSD я бы попробовал ZFS+RAIDZ. Это надежнее чем raid5.

... только не забывать рекомендованные ограничения на количество винтов в одном zfs-пуле...


"как создать хранилище"
Отправлено mef , 05-Фев-11 11:21 
>> Raid1 из большого количества маленьких дисков будет очень не эффективно. RAID10 ситуацию
>> не исправит.
>> Т.к. FreeBSD я бы попробовал ZFS+RAIDZ. Это надежнее чем raid5.
> ... только не забывать рекомендованные ограничения на количество винтов в одном zfs-пуле...

2 в 64 степени?


"как создать хранилище"
Отправлено YuSt , 05-Фев-11 13:48 
> 2 в 64 степени?

"Sun рекомендует использовать от трех до девяти жестких дисков в конфигурации RAID-Z."
.. Да, можно и больше - но на чем-то же рекомендации Sun основаны...


"как создать хранилище"
Отправлено djeck , 10-Фев-11 13:34 
хорошо... задам вопрос по другому
как yandex или google хранит свои данные?
и как обеспечивается надежность хранения, доступ, и нагрузка.


"как создать хранилище"
Отправлено PavelR , 10-Фев-11 13:39 
> хорошо... задам вопрос по другому
> как yandex или google хранит свои данные?
> и как обеспечивается надежность хранения, доступ, и нагрузка.

Не вдаваясь в детали, представьте себе 100 хранилищ по терабайту, с системой распределения файлов по нодам, контроля нагрузки, состояния нод, целостности и т п...

Т.е. есть некоторый диспетчер, знающий где что хранится и делающий соответствующие действия/перенаправления/итд..


"как создать хранилище"
Отправлено Andrey Mitrofanov , 10-Фев-11 15:30 
>> хорошо... задам вопрос по другому
>> как yandex или google хранит свои данные?

Правильный ответ: на линуксе! :>

> Не вдаваясь в детали, представьте себе 100 хранилищ


"как создать хранилище"
Отправлено mef , 10-Фев-11 14:18 
>> 2 в 64 степени?
> "Sun рекомендует использовать от трех до девяти жестких дисков в конфигурации RAID-Z."
> .. Да, можно и больше - но на чем-то же рекомендации Sun
> основаны...

Можно ссылку на рекомендацию?


"как создать хранилище"
Отправлено sdog , 10-Фев-11 19:41 
>> 2 в 64 степени?
> "Sun рекомендует использовать от трех до девяти жестких дисков в конфигурации RAID-Z."
> .. Да, можно и больше - но на чем-то же рекомендации Sun
> основаны...

дык это на рекомендация на raidz, т.е. на один vdev, а не на пул - в пуле может быть много vdev'ов


"как создать хранилище"
Отправлено universite , 13-Фев-11 22:12 
>> 2 в 64 степени?
> "Sun рекомендует использовать от трех до девяти жестких дисков в конфигурации RAID-Z."
> .. Да, можно и больше - но на чем-то же рекомендации Sun
> основаны...

Дык, прочтите внимательно рекомендации.
Что мешает сделать n*RAIDZ в одном пуле?


"как создать хранилище"
Отправлено ReSeT , 10-Фев-11 15:34 
> подскажите как можно создать падежное (с дублирование как raid1  и оповещением
> при сбое в диске) хранилище на 100 тера байт

Купить готовое решение. Посмотрите характеристики midrange массивов HP, Hitachi, NetApp, EMC.


"как создать хранилище"
Отправлено djeck , 10-Фев-11 16:47 
именно так как я и думал, вот интересно как это повторить?
я имею ввиду, хочу так же сделать, считая что их опыт бесценен!



"как создать хранилище"
Отправлено Pahanivo , 11-Фев-11 14:09 
> именно так как я и думал, вот интересно как это повторить?
> я имею ввиду, хочу так же сделать, считая что их опыт бесценен!

спаять чтоле?


"как создать хранилище"
Отправлено mef , 11-Фев-11 17:31 
>> именно так как я и думал, вот интересно как это повторить?
>> я имею ввиду, хочу так же сделать, считая что их опыт бесценен!
> спаять чтоле?

Ну может быть дело еще и в бабле? Массив от HP стоит от 3 000 000 + диски. А вот взять несколько серверов подешевле, например, intel, воткнуть в каждый дисков штук 8 по 2ТБ. Серверов потребуется 13 лучше больше, а дисков 8*13=104. Ко всему этому делу свич гигабитный + CARP для балансировки отказоустойчивости. Всю тему организовать на iSCSI+ZFS.

Считаем:
сервер intel - 60т.р.
1 винт на 2ГБ который предназначен для серверов - 8 т.р.
13*60 = 780 т.р. -  сервера
8 * 104 = 832 т.р. - диски
Итого 1 612 т.р. + пара гигабитных свичей на 24 порта. Можно даже D-Link, т.к. благодаря CARP все будет отказустойчиво.
В конечном счете будет около 2 000 000 р, что примерно в два раза меньше чем решение от hp.


"как создать хранилище"
Отправлено universite , 13-Фев-11 22:22 
> подскажите как можно создать падежное (с дублирование как raid1  и оповещением
> при сбое в диске) хранилище на 100 тера байт

FreeBSD AMD64
4*2TB в режиме ZFS RAID10 = чистыми 4TB
Массив высотой 2U может вместить  6-12 винтов SATAII

на 100TB надо 8 таких массивов



"как создать хранилище"
Отправлено Vitalka , 13-Фев-11 23:25 
> подскажите как можно создать падежное (с дублирование как raid1  и оповещением
> при сбое в диске) хранилище на 100 тера байт

А варианты навроде Ceph (http://ceph.newdream.net/about/) не рассматривали?