https://opennet.dev/openforum/vsluhforumID3/103141.html После четырёх лет разработки увидел свет (http://www.linbit.com/en/n/news/564-drbd9-release) релиз распределенного реплицируемого блочного устройства DRBD 9.0 (http://www.linbit.com/en/p/products/drbd9), позволяющего реализовать подобие массива RAID-1, сформированного из объединённых по сети нескольких дисковых разделов разных машин (зеркалирование по сети). Система оформлена в виде модуля для ядра Linux и распространяется (http://oss.linbit.com/drbd/) под лицензией GPLv2.<br><br><br>DRBD может использоваться для объединения накопителей узлов кластера в единое отказоустойчивое хранилище. При использовании DRBD все операции с локальным диском отправляются на другие узлы и синхронизируются с дисками других машин. В случае выхода из строя одного узла, хранилище автоматически продолжит работу за счёт оставшихся узлов. При возобновлении доступности сбойного узла, все данные его состояние будет автоматически доведено до актуального вида. <br><br><br>В состав формирующего хранилище кластера может входить несколько десятков узлов https://opennet.dev/openforum/vsluhforumID3/103141.html#33 Sat, 18 Jul 2015 10:53:29 GMT &gt; Интересны конфигурации кластеров active-activ когда второй узел не тупо ждёт пока первый <br>&gt; откажет, а работает тоже, В РЕЖИМЕ ЗАПИСИ, и принимает половину нагрузки. <br>&gt; То есть балансировщик. После повреждения одного с узлов, не только диск, <br>&gt; а может отказать мамка, проц, сетевая, другой берёт на себя полную <br>&gt; нагрузку. При присоединении отремонтированной ноды и синхронизации, нагрузка опять распределяется <br>&gt; между работающими, исправными узлами.<br><br>Я использовал primary-primary (1+1) с 8-й версией. Причём в коммерческом проекте - всё ок. drbd + ocfs2 + heartbeat. Можно было записать файл на ФС одного узла и тут же считать этот файл на другом узле. На ocfs2, помимо всего прочего, находится табличное пространство PostgreSQL. Данные доступны одновременно с обоих узлов даже если идёт длительная синхронизация.<br>Единственная проблема возникала в таком случае: если вручную выключить оба узла, когда данные ещё не засинхронизировались (обычно такое происходит при пересборке кластера, при нормальном функциони https://opennet.dev/openforum/vsluhforumID3/103141.html#32 Mon, 22 Jun 2015 08:23:25 GMT экспортирую "блочные устройства" по iSCSI, затем собираю их в пул ZFS.<br><br> https://opennet.dev/openforum/vsluhforumID3/103141.html#31 Mon, 22 Jun 2015 06:26:02 GMT &gt; И актуализирование ими документации на всё, что они наворотили в реальном времени <br>&gt; путем выписывания магического пенделя ;-) <br><br>Наше поколение советских людей будет жить при Полной Документации. Ура, товарищи!!<br> https://opennet.dev/openforum/vsluhforumID3/103141.html#30 Mon, 22 Jun 2015 03:46:25 GMT &gt;&gt;&gt; Это все красиво только в теории.<br>&gt;&gt; Вы просто плохо знакомы с вопросом, как мне кажется. Да, есть серьёзные <br>&gt;&gt; проблемы с различными экзотическими ФС (ceph, lustre, ocfs, gfs и т.п.), <br>&gt;&gt; но оно при правильной настройке может вполне хорошо работать.<br>&gt; Работать на каких обьемах данных и на какой нагрузке?<br><br>Смотря какое железо у вас имеется.<br> https://opennet.dev/openforum/vsluhforumID3/103141.html#29 Mon, 22 Jun 2015 03:45:19 GMT &gt;&gt;&gt; Это все красиво только в теории.<br>&gt;&gt; Вы просто плохо знакомы с вопросом, как мне кажется. Да, есть серьёзные <br>&gt;&gt; проблемы с различными экзотическими ФС (ceph, lustre, ocfs, gfs и т.п.), <br>&gt;&gt; но оно при правильной настройке может вполне хорошо работать.<br>&gt; Сами себе противоречите <br>&gt; "Я когда-то использовал OCFS2 поверх DRBD. Работает. Но интерконнект между серверами был <br>&gt; слабый (1Gbps ethernet), и в результате многие операции с ФС шли <br>&gt; очень медленно. Обычный svn cleanup в одном проекте занимал полчаса." <br>&gt; Так работает или хорошо работает?<br><br>Для такого интерконнекта (1Gbps ethernet) работает хорошо (другими словами latency был высокий, поэтому лучше с данной архитектурой работать и не могло). Был бы Infiniband, было бы всё иначе.<br><br>Вообще хватит вертеться уже. Просто признайте, что были не правы:<br><br>&gt; Это будет глобальный race condition. https://opennet.dev/openforum/vsluhforumID3/103141.html#28 Mon, 22 Jun 2015 01:07:17 GMT И актуализирование ими документации на всё, что они наворотили в реальном времени путем выписывания магического пенделя ;-)<br> https://opennet.dev/openforum/vsluhforumID3/103141.html#27 Fri, 19 Jun 2015 12:20:11 GMT &gt;&gt; Это все красиво только в теории.<br>&gt; Вы просто плохо знакомы с вопросом, как мне кажется. Да, есть серьёзные <br>&gt; проблемы с различными экзотическими ФС (ceph, lustre, ocfs, gfs и т.п.), <br>&gt; но оно при правильной настройке может вполне хорошо работать.<br><br>Сами себе противоречите<br><br>"Я когда-то использовал OCFS2 поверх DRBD. Работает. Но интерконнект между серверами был слабый (1Gbps ethernet), и в результате многие операции с ФС шли очень медленно. Обычный svn cleanup в одном проекте занимал полчаса."<br><br>Так работает или хорошо работает?<br> https://opennet.dev/openforum/vsluhforumID3/103141.html#26 Fri, 19 Jun 2015 09:57:17 GMT &gt;&gt; Это все красиво только в теории.<br>&gt; Вы просто плохо знакомы с вопросом, как мне кажется. Да, есть серьёзные <br>&gt; проблемы с различными экзотическими ФС (ceph, lustre, ocfs, gfs и т.п.), <br>&gt; но оно при правильной настройке может вполне хорошо работать.<br><br>Работать на каких обьемах данных и на какой нагрузке?<br> https://opennet.dev/openforum/vsluhforumID3/103141.html#25 Fri, 19 Jun 2015 09:36:11 GMT &gt;&gt; Товарищ вы путаете ФС и блочное устройство. Кстати кто какую ФС поверх <br>&gt;&gt; DRBD использует?<br>&gt; ext4 для тех кто боится и первый раз.<br>&gt; GFS можно добиться режима работы с одновременной записью на оба диска.<br><br>GFS какой то глючный. и много хочет.<br>