Компания Red Hat объявила (http://www.redhat.com/about/news/archive/2013/8/gluster-deve...) о выходе распределенной файловой системы GlusterFS 3.4 (http://www.gluster.org/), позволяющей организовать работу распределённого на несколько узлов хранилища, развёртываемого поверх штатных POSIX ФС, таких как Ext4, XFS и Btrfs, с использованием механизма FUSE (ФС в пользовательском пространстве). GlusterFS предоставляет средства автоматического восстановления после сбоев и обеспечивает практически неограниченную масштабируемость, благодаря отсутствию привязки к централизованному серверу мета-данных (используются распределённые хэш-таблицы). Готовые для установки бинарные пакеты с GlusterFS 3.4 подготовлены (http://download.gluster.org/pub/gluster/glusterfs/3.4/3.4.0/) для Fedora, RHEL, CentOS, Debian и Ubuntu.
Основные новшества (https://github.com/gluster/glusterfs/blob/release-3.4/doc/re...):- Оптимизация для использования в качестве распределённого хранилища образов виртуальных машин;
- Интеграции поддержки QEMU в библиотеку libgfapi, в дополнение к ранее реализованной поддержке Samba. Библиотека libgfapi позволяет организовать прямой доступ из QEMU и Samba к данным, хранимым в GlusterFS, без монтирования раздела;
- Поддержка интеграции с облачной платформой OpenStack (GlusterFS может использоваться в качестве первичного хранилища в OpenStack);- Существенное увеличение производительности режима синхронной репликации, за счёт переработки транслятора репликаций (AFR);
- Поддержка POSIX ACL при монтировании GlusterFS-разделов через NFSv3;
- Реализация агентов управления ресурсами (Resource Agents), совместимых с Open Cluster Framework, что позволяет использовать с glusterd такие менеджеры кластерных ресурсов, как Pacemaker. По своей организации агенты напоминают сценарии управления работой сервисов для upstart и systemd, за тем исключением, что они рассчитаны на работу в кластерном окружении.
- Поддержка интерфейса управления системами виртуализации oVirt 3.2 и подготовка прослойки для интеграции со сторонними инструментариями через RESTful API;- Поддержка SSL-шифрования для соединения через сокеты;
- Поддержка многопоточности в Glusterd;
- Поддержка управления кворумом (http://www.gluster.org/community/documentation/index.php/Fea...) (Quorum) на стороне сервера на основании информации glusterd о достижимости других узлов, что позволяет в случае нарушения работы Сети временно отключить реплицируемые блоки, для которых не был достигнут кворум;- Экспериментальные возможности: менеджер RDMA-соединений (RDMA-CM), новый транслятор блочных устройств и поддержка NUFA.
В анонсе дополнительно отмечается рост основанного (http://www.opennet.me/opennews/art.shtml?num=36865) в мае сообщества по разработке свободных проектов, связанных с системами хранения данных. За три месяца число проектов, развиваемых под крылом forge.gluster.org (https://forge.gluster.org/), увеличилось с 7 до 30. Число вовлечённых в сообщество разработчиков увеличилось на 300%.URL: http://www.redhat.com/about/news/archive/2013/8/gluster-deve...
Новость: http://www.opennet.me/opennews/art.shtml?num=37622
а что там лежало с версией 3.4 уже месяц?
>Число вовлечённых в сообщество разработчиков увеличилось на 300%Слишком ровный процент. Был 1 стало 4? :)
Скорости хватит для хранения образов виртуальных машин?
Со скоростью проблем и не было. Были проблемы с автоматическим восстановлением, если один из узлов отвалился.
Пробовал как замену nfs с репликацией во времена RH5. Интересовала возможность настройки двух симетричных хранилищ с распределением нагрузки между ними. Порадовала автоматическая репликация, но на тот момент она производилась только при попытке доступа к файлу. Производительность не тестировал. Но в целом впечатление было хорошее.
оно лучше AFS?
кажись оно проще в настройке чем AFS...
Использую 3.2.7 для хранения ресурсов паппета (3 машины, полная репликация), порядка 2000 запросов в минуту на каждый паппет-сервер + svn коммиты (через svn вносятся изменения).
Еще использую для дублирования метаданных HDFS, для минимизации простоев хадуп-кластера при отказе неймноды.
Никаких нареканий.
прикольно
А вот и представители яндекса подтянулись
в Яндексе используют хадуп?
Я не из Яндекса )))
Только не говори что из Крока
> Только не говори что из КрокаНе скажу. Ибо не оттуда )))
MapReduce собственной реализации
да но не везде
не понравилось на сколько сильно грузит проц.
Скорость чтения упирается в скорость линка между узлами.
Надеюсь в 3.4 пофиксили, ибо уже успели переехать на drbd
Свалил с drbd на glusterfs ещё во времена 3.2 как раз из-за тормозов drbd.
Парни, я полтора года в продакшене на версии:# dpkg -l '*gluster*' | grep '^i'
ii glusterfs-client 3.0.5-1 clustered file-system (client package)
ii glusterfs-server 3.0.5-1 clustered file-system (server package)
ii libglusterfs0 3.0.5-1 GlusterFS libraries and translator modulesНи одного падения и сбоя. Жалоб на скорость не имею. А вот количество UGC на GlusterFS:
/etc/glusterfs/SAS-glusterfs.vol
63G 180M 60G 1% /mnt/SAS-glusterfs
/etc/glusterfs/SATA-glusterfs.vol
252G 84G 156G 36% /mnt/SATA-glusterfsLA на машинах в среднем 0.01 (!).
Ну и до кучи кол-во объектов:# find /mnt/SATA-glusterfs | wc -l
661678
> Ну и до кучи кол-во объектов:
> # find /mnt/SATA-glusterfs | wc -l
> 661678Ага, только поясните, в качестве чего используется хранилище. Если главным образом на отдачу - то ничего удивительного. Попробуйте ее на задачах с частым изменением файлов/частым закачкам относительно небольших файлов - эффект будет совсем другой.
процесс обновления на новую версию как всегда с хардкором и даунтаймами?
кстати в ядре 3.10 запилил asynchronous IO для FUSE, тестили gluster-3.4alfa и профит был, по самым грубым оценкам выигрыш на lanetcy составил ~9-10%
кто нибудь сравнивал со связкой ocfs2+drbd?
это фс совершенно разного уровня и назначения. И для ocfs2 drbd как яйца размером с арбуз.
Оно уже стабильно?>Поддержка многопоточности в Glusterd;
это значит, что теперь производительность диска в виртуалке теперь можно будет повысить путем загрузки лентяющих процов??
хуже Hammerfs но и ядро Линух не готов к нему(тк "хуже", тоже, увы).