Приветствую,Не подскажите бесплатные и доступные аналоги Google File System? Стоит задача найти решение с файловой системой, которая работает наподобие RAID1, только over network. То есть, к примеру есть 3 сервера на которых есть одинаковые разделы с такой файловой системой, и при записи на любом из серверов на такой раздел все данные реплицируются-дублируются на все сервера которые сконфигурированы в группу этой файловой системы. Тобишь если один из серверов выходит из строя, мы все данные имеем на других серверах, как только добавляется или заменяется сервер в этой группе на нем также появляются все данные, которые пока на других серверах.
Проще. Стоит 3 сервера, на всех 3х серверах к примеру крутится сервис MySQL, которым пользуются совсем разные веб сайты (на каждом сервере отдельный вебсайт, у каждого веб сайта своя БД), но директория с базами данных (/var/lib/mysq, станд.) смонтирована на какую либо ФС на всех 3х серверах. Так при записи в БД на любом из серверов, эта БД дублируется со всеми остальными серверами. Таким образом, при сбое одного из серверов мы не теряем данные. Как только мы меням полетевший сервер и настраиваем на нем эту ФС, все данные MySQL появляются сразу и на этом сервере.
Не подходят варианты с мастер серверами. Основная задача как я и написал придерживаться технологии Google FS.
Все серверы соеденены в очень быструю сеть.
Спасибо.
>
>Проще. Стоит 3 сервера, на всех 3х серверах к примеру крутится сервис
>MySQL, которым пользуются совсем разные веб сайты (на каждом сервере отдельный
>вебсайт, у каждого веб сайта своя БД), но директория с базами
>данных (/var/lib/mysq, станд.) смонтирована на какую либо ФС на всех 3х
>серверах. Так при записи в БД на любом из серверов, эта
>БД дублируется со всеми остальными серверами. Таким образом, при сбое одного
>из серверов мы не теряем данные. Как только мы меням полетевший
>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>сразу и на этом сервере.это невозможно - писать в один каталог тремя демонами mysql одновременно. как вы себе это вообще представляете?
>[оверквотинг удален]
>>вебсайт, у каждого веб сайта своя БД), но директория с базами
>>данных (/var/lib/mysq, станд.) смонтирована на какую либо ФС на всех 3х
>>серверах. Так при записи в БД на любом из серверов, эта
>>БД дублируется со всеми остальными серверами. Таким образом, при сбое одного
>>из серверов мы не теряем данные. Как только мы меням полетевший
>>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>>сразу и на этом сервере.
>
>это невозможно - писать в один каталог тремя демонами mysql одновременно. как
>вы себе это вообще представляете?Я слышал, что такие решения есть, поэтому и спрашиваю. Может кто сталкивался с такими решениями или слышал о них.
>Я слышал, что такие решения есть, поэтому и спрашиваю. Может кто сталкивался
>с такими решениями или слышал о них.в таком случае, если найдете - просвятите сообщество
>
>>Я слышал, что такие решения есть, поэтому и спрашиваю. Может кто сталкивался
>>с такими решениями или слышал о них.
>
>в таком случае, если найдете - просвятите сообществоВот нарыл довольно интересное решение, по описание вроде как то, что нужно
http://www.furquim.org/chironfs/index.en.html
Посмотрите вот этот проeкт: http://hadoop.apache.org/
Hadoop вышел из Open Source проeкта Googel File System.>[оверквотинг удален]
>из серверов мы не теряем данные. Как только мы меням полетевший
>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>сразу и на этом сервере.
>
>Не подходят варианты с мастер серверами. Основная задача как я и написал
>придерживаться технологии Google FS.
>
>Все серверы соеденены в очень быструю сеть.
>
>Спасибо.
glusterfs ?
>[оверквотинг удален]
>>из серверов мы не теряем данные. Как только мы меням полетевший
>>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>>сразу и на этом сервере.
>>
>>Не подходят варианты с мастер серверами. Основная задача как я и написал
>>придерживаться технологии Google FS.
>>
>>Все серверы соеденены в очень быструю сеть.
>>
>>Спасибо.Спасибо. Слышал про нее тоже. Надо разобраться какой под-проект реализует именно то, что мне необходимо. Никто не сталкивался с описаниями данной системы? Типа как пашет и как ставить?
>[оверквотинг удален]
>>из серверов мы не теряем данные. Как только мы меням полетевший
>>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>>сразу и на этом сервере.
>>
>>Не подходят варианты с мастер серверами. Основная задача как я и написал
>>придерживаться технологии Google FS.
>>
>>Все серверы соеденены в очень быструю сеть.
>>
>>Спасибо.Спасибо. Слышал про нее тоже. Надо разобраться какой под-проект реализует именно то, что мне необходимо. Никто не сталкивался с описаниями данной системы? Типа как пашет и как ставить?
>[оверквотинг удален]
>>из серверов мы не теряем данные. Как только мы меням полетевший
>>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>>сразу и на этом сервере.
>>
>>Не подходят варианты с мастер серверами. Основная задача как я и написал
>>придерживаться технологии Google FS.
>>
>>Все серверы соеденены в очень быструю сеть.
>>
>>Спасибо.На сколько я понял вся работа с этой системой происходит посредством API самой ФС, а не напрямую.
а не проще ли настроить репликацию?
>а не проще ли настроить репликацию?Не подскажите каким образом? Используемые ОС CentOS 5.x, проще говоря Linux.
Если Вас отключили от гугля, наберитерепликация mysql
в своём любимом поисковике?
>Если Вас отключили от гугля, наберите
>
>репликация mysql
>
>в своём любимом поисковике?А, понятно :). Но это просто для MySQL. А если мне к примеру нужно также содержать контент веб сайтов - /var/www/vhosts/* и/или почтовые ящики юзеров /home/vpopmail/domains/* дабы при выходе из строя одного из серверов не терять всей этой информации?
>примеру нужно также содержать контент веб сайтов - /var/www/vhosts/* и/или почтовые
>ящики юзеров /home/vpopmail/domains/* дабы при выходе из строя одного из серверов
>не терять всей этой информации?rsync
http://www.trivadis.com/uploads/tx_cabagdownloadarea/DRBDArt... - попробуй, потом раскажешь
>http://www.trivadis.com/uploads/tx_cabagdownloadarea/DRBDArt... - попробуй, потом раскажешьСпасибо за совет. Именно на этом решении и остановился. Решение очень серьезное, хорошо поддерживаемое разработчиками и много где используется. Жаль конечно что данное решение ограничено свойством RAID1 то есть не более 2х серверов. Да, есть там поддержка 3 пиров, но было бы идеально если бы поддерживалось неограниченное их число, ну или хотябы просто большое кол-во.
>[оверквотинг удален]
>из серверов мы не теряем данные. Как только мы меням полетевший
>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>сразу и на этом сервере.
>
>Не подходят варианты с мастер серверами. Основная задача как я и написал
>придерживаться технологии Google FS.
>
>Все серверы соеденены в очень быструю сеть.
>
>Спасибо.Я пока остановился на ChironFS. Также думаю о подключении DAS (Dell MD1000 или MD3000) как альтернатива решению с распределенной ФС. Как думаете, что надежней DAS или решение с этой файловой системой?
> Как думаете, что
> надежней DAS или решение с этой файловой системой?Das конечно, а воообще - нормальный сторадж - их куча. Как на сегодня - под iSCSI
Может это подойдёт:
http://files.calum.org/network-raid.html
Спасибо всем за советы и комментарии.Я остановился на 2х серверах соединенных в шуструю локальную сеть с использованием DRBD [http://www.drbd.org/]. Разные тесты показали это решение для меня пока лучшим.