 Аналоги Google File System?,  alexrn, 21-Янв-10, 09:49 [смотреть все]Приветствую,Не подскажите бесплатные и доступные аналоги Google File System? Стоит задача найти решение с файловой системой, которая работает наподобие RAID1, только over network. То есть, к примеру есть 3 сервера на которых есть одинаковые разделы с такой файловой системой, и при записи на любом из серверов на такой раздел все данные реплицируются-дублируются на все сервера которые сконфигурированы в группу этой файловой системы. Тобишь если один из серверов выходит из строя, мы все данные имеем на других серверах, как только добавляется или заменяется сервер в этой группе на нем также появляются все данные, которые пока на других серверах. Проще. Стоит 3 сервера, на всех 3х серверах к примеру крутится сервис MySQL, которым пользуются совсем разные веб сайты (на каждом сервере отдельный вебсайт, у каждого веб сайта своя БД), но директория с базами данных (/var/lib/mysq, станд.) смонтирована на какую либо ФС на всех 3х серверах. Так при записи в БД на любом из серверов, эта БД дублируется со всеми остальными серверами. Таким образом, при сбое одного из серверов мы не теряем данные. Как только мы меням полетевший сервер и настраиваем на нем эту ФС, все данные MySQL появляются сразу и на этом сервере. Не подходят варианты с мастер серверами. Основная задача как я и написал придерживаться технологии Google FS. Все серверы соеденены в очень быструю сеть. Спасибо.
|
- Аналоги Google File System?, Michael, 10:04 , 21-Янв-10 (1)
>
>Проще. Стоит 3 сервера, на всех 3х серверах к примеру крутится сервис
>MySQL, которым пользуются совсем разные веб сайты (на каждом сервере отдельный
>вебсайт, у каждого веб сайта своя БД), но директория с базами
>данных (/var/lib/mysq, станд.) смонтирована на какую либо ФС на всех 3х
>серверах. Так при записи в БД на любом из серверов, эта
>БД дублируется со всеми остальными серверами. Таким образом, при сбое одного
>из серверов мы не теряем данные. Как только мы меням полетевший
>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>сразу и на этом сервере. это невозможно - писать в один каталог тремя демонами mysql одновременно. как вы себе это вообще представляете?
- Аналоги Google File System?, alexrn, 10:07 , 21-Янв-10 (4)
>[оверквотинг удален]
>>вебсайт, у каждого веб сайта своя БД), но директория с базами
>>данных (/var/lib/mysq, станд.) смонтирована на какую либо ФС на всех 3х
>>серверах. Так при записи в БД на любом из серверов, эта
>>БД дублируется со всеми остальными серверами. Таким образом, при сбое одного
>>из серверов мы не теряем данные. Как только мы меням полетевший
>>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>>сразу и на этом сервере.
>
>это невозможно - писать в один каталог тремя демонами mysql одновременно. как
>вы себе это вообще представляете? Я слышал, что такие решения есть, поэтому и спрашиваю. Может кто сталкивался с такими решениями или слышал о них.
- Аналоги Google File System?, Michael, 10:25 , 21-Янв-10 (5)
>Я слышал, что такие решения есть, поэтому и спрашиваю. Может кто сталкивался
>с такими решениями или слышал о них. в таком случае, если найдете - просвятите сообщество
- Аналоги Google File System?, Digen, 10:04 , 21-Янв-10 (2) +1
Посмотрите вот этот проeкт: http://hadoop.apache.org/
Hadoop вышел из Open Source проeкта Googel File System.>[оверквотинг удален]
>из серверов мы не теряем данные. Как только мы меням полетевший
>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>сразу и на этом сервере.
>
>Не подходят варианты с мастер серверами. Основная задача как я и написал
>придерживаться технологии Google FS.
>
>Все серверы соеденены в очень быструю сеть.
>
>Спасибо.
- Аналоги Google File System?, another anonymous, 10:06 , 21-Янв-10 (3)
- Аналоги Google File System?, alexrn, 10:43 , 21-Янв-10 (7)
>[оверквотинг удален]
>>из серверов мы не теряем данные. Как только мы меням полетевший
>>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>>сразу и на этом сервере.
>>
>>Не подходят варианты с мастер серверами. Основная задача как я и написал
>>придерживаться технологии Google FS.
>>
>>Все серверы соеденены в очень быструю сеть.
>>
>>Спасибо. Спасибо. Слышал про нее тоже. Надо разобраться какой под-проект реализует именно то, что мне необходимо. Никто не сталкивался с описаниями данной системы? Типа как пашет и как ставить?
- Аналоги Google File System?, alexrn, 10:43 , 21-Янв-10 (8)
>[оверквотинг удален]
>>из серверов мы не теряем данные. Как только мы меням полетевший
>>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>>сразу и на этом сервере.
>>
>>Не подходят варианты с мастер серверами. Основная задача как я и написал
>>придерживаться технологии Google FS.
>>
>>Все серверы соеденены в очень быструю сеть.
>>
>>Спасибо. Спасибо. Слышал про нее тоже. Надо разобраться какой под-проект реализует именно то, что мне необходимо. Никто не сталкивался с описаниями данной системы? Типа как пашет и как ставить?
- Аналоги Google File System?, alexrn, 19:53 , 04-Фев-10 (20)
>[оверквотинг удален]
>>из серверов мы не теряем данные. Как только мы меням полетевший
>>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>>сразу и на этом сервере.
>>
>>Не подходят варианты с мастер серверами. Основная задача как я и написал
>>придерживаться технологии Google FS.
>>
>>Все серверы соеденены в очень быструю сеть.
>>
>>Спасибо. На сколько я понял вся работа с этой системой происходит посредством API самой ФС, а не напрямую.
- Аналоги Google File System?, semen, 12:19 , 21-Янв-10 (9)
а не проще ли настроить репликацию?
- Аналоги Google File System?, alexrn, 12:43 , 21-Янв-10 (10)
>а не проще ли настроить репликацию? Не подскажите каким образом? Используемые ОС CentOS 5.x, проще говоря Linux.
- Аналоги Google File System?, Andrey Mitrofanov, 13:06 , 21-Янв-10 (11)
Если Вас отключили от гугля, наберитерепликация mysql в своём любимом поисковике?
- Аналоги Google File System?, alexrn, 13:08 , 21-Янв-10 (12)
>Если Вас отключили от гугля, наберите
>
>репликация mysql
>
>в своём любимом поисковике? А, понятно :). Но это просто для MySQL. А если мне к примеру нужно также содержать контент веб сайтов - /var/www/vhosts/* и/или почтовые ящики юзеров /home/vpopmail/domains/* дабы при выходе из строя одного из серверов не терять всей этой информации?
- Аналоги Google File System?, Michael, 15:48 , 21-Янв-10 (13)
>примеру нужно также содержать контент веб сайтов - /var/www/vhosts/* и/или почтовые
>ящики юзеров /home/vpopmail/domains/* дабы при выходе из строя одного из серверов
>не терять всей этой информации? rsync
- Аналоги Google File System?, shutdown now, 21:50 , 26-Янв-10 (15)
- Аналоги Google File System?, alexrn, 19:50 , 04-Фев-10 (19)
>http://www.trivadis.com/uploads/tx_cabagdownloadarea/DRBDArt... - попробуй, потом раскажешь Спасибо за совет. Именно на этом решении и остановился. Решение очень серьезное, хорошо поддерживаемое разработчиками и много где используется. Жаль конечно что данное решение ограничено свойством RAID1 то есть не более 2х серверов. Да, есть там поддержка 3 пиров, но было бы идеально если бы поддерживалось неограниченное их число, ну или хотябы просто большое кол-во.
- Аналоги Google File System?, alexrn, 09:24 , 26-Янв-10 (14)
>[оверквотинг удален]
>из серверов мы не теряем данные. Как только мы меням полетевший
>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>сразу и на этом сервере.
>
>Не подходят варианты с мастер серверами. Основная задача как я и написал
>придерживаться технологии Google FS.
>
>Все серверы соеденены в очень быструю сеть.
>
>Спасибо. Я пока остановился на ChironFS. Также думаю о подключении DAS (Dell MD1000 или MD3000) как альтернатива решению с распределенной ФС. Как думаете, что надежней DAS или решение с этой файловой системой?
- Аналоги Google File System?, bob253, 21:49 , 29-Янв-10 (16)
> Как думаете, что
> надежней DAS или решение с этой файловой системой? Das конечно, а воообще - нормальный сторадж - их куча. Как на сегодня - под iSCSI
- Аналоги Google File System?, alexrn, 19:47 , 04-Фев-10 (18)
Спасибо всем за советы и комментарии.Я остановился на 2х серверах соединенных в шуструю локальную сеть с использованием DRBD [http://www.drbd.org/]. Разные тесты показали это решение для меня пока лучшим.
|
Версия для распечатки
