На проходящей в эти дни конференции Supercomputing 2012 представлен (http://xtreemfs.blogspot.ru/2012/11/xtreemfs-14-released-at-... релиз распределенной файловой системы XtreemFS 1.4 (http://www.xtreemfs.org/), реализация которой распространяется (http://code.google.com/p/xtreemfs/) под лицензией BSD (http://code.google.com/p/xtreemfs/source/browse/branches/Xtr.... С момента прошлого выпуска было внесено несколько тысяч изменений, на тестирование и стабилизацию которых был потрачен примерно год.
XtreemFS позволяет организовать работу хранилища с распределением данных по нескольким серверам. Для обеспечения отказоустойчивости и обеспечения параллельного доступа данные могут реплицироваться между узлами. Процесс репликации оптимизирован для использования низкоскоростных соединений и возможных временных обрывов связи. Например, при помощи XtreemFS можно обеспечить синхронизацию хранилища на нескольких серверах в разных дата-центрах. Для расширения размера хранилища достаточно подключить к распределенному хранилищу дополнительные узлы хранения. Предоставляется возможность гибкого контроля и управления работой ФС через подключение плагинов. Возможно создание снапшотов и бэкапа метаданных в асинхронном режиме. Для защиты передаваемых по сети данных от перехвата поддерживается использование SSL.
Серверная часть XtreemFS, обеспечивающая управление метаданными, написана (http://www.xtreemfs.org/download_sources.php) на языке Java. Клиент для работы с XtreemFS написан на С++ и доступен для Unix-подобных ОС, Windows и Mac OS X. Клиентская часть ФС работает в пространстве пользователя (user-space) с использованием FUSE. Для приложений работа с XtreemFS мало чем отличается от NFS (XtreemFS может использоваться как замена NFS), так же нет отличий от того, является ли файл реплицированным на локальную систему или доступен только с удаленного хоста.Из новшеств, добавленных в XtreemFS 1.4, можно отметить:
- Асинхронный режим записи. При монтировании раздела с опцией "--enable-async-writes" все операции записи будут выполнятся в фоне без блокировки до завершения записи, что позволяет добиться заметного увеличения пропускной способности;- Поддержка интеграции с открытой платформой для распределённой обработки данных Apache Hadoop. XtreemFS теперь может использоваться для замены HDFS в конфигурациях Hadoop;
- Поставка библиотеки libxtreemfs для языка Java, позволяющей (http://www.xtreemfs.org/userguide.php) получить доступ к разделам XtreemFS напрямую из Java-приложений;
- Интеграция алгоритма Vivaldi (http://en.wikipedia.org/wiki/Vivaldi_coordinates) для оптимального выбора хоста при осуществлении репликации данных в распределённой сети. Ближайший к клиенту хост выбирается на основании задержки доставки пакетов;
- Полностью переписанный клиент для платформы Windows. Новый клиент написан на языке C++ с использованием libxtreemfs и Callback FS (http://www.eldos.com/cbfs/) от компании EldoS;
- Увеличение стабильности работы клиентских и серверных частей. В частности, устранены наблюдаемые в прошлых выпусках крахи клиента при проблемах с передачей данных по сети и недоработки в реализации Read/Write репликации файлов;- Расширенные функции выбора хранилищ объектов (OSD). Для OSD можно привязывать собственные атрибуты, на основании которых определять лимиты на размещение файлов;
- Обновлённая реализация репликации DIR/MRC, в том числе с поддержкой механизмов обеспечения отказоустойчивости в процессе репликации DIR. Тем не менее, репликация DIR/MRC всё ещё имеет статус экспериментальной возможности;- Из областей, которые могут оказаться интересны для реализации силами сообщества отмечаются поддержка интеграции с chef или puppet для автоматизации развёртывания XtreemFS; разработка клиентского GUI на Qt; создание на базе libxtreemfs интерфейса, совместимого с API Amazon S3; интеграция с Qemu/KVM на базе C++ версии библиотеки libxtreemfs.
URL: http://xtreemfs.blogspot.ru/2012/11/xtreemfs-14-released-at-...
Новость: http://www.opennet.me/opennews/art.shtml?num=35328
Это аналог GPFS?
GPFS позиционируется как высокопроизводительная. В XtreemFS о такой ерунде не парятся.
Уважаемые, а есть ли решения для организации распределённой FS в FreeBSD?
HAST - пока не в счёт.
не считая csync2 и клиента openafs по сути больше ничего и нет, ну для полноты картины можно придумать костыли вокруг zfs send/recv но это все по большому счету игрушки. оно и не развивалось во фре никогда. а вот в DFBSD имеется вполне себе рабочая кувалдочка..
а HAST это вообще не DFS...
А в чём с этой же XtreemFS проблема? FUSE есть, собирай @ запускай.
всеб хорошо, но со старту имеем:
----------------------------------
Наступні пакунки мають незадоволені залежності:
xtreemfs-client : Залежності (Depends): libboost-program-options1.42.0 (>= 1.42.0-1) проте його неможливо встановити.
Залежності (Depends): libboost-regex1.42.0 (>= 1.42.0-1) котрий є віртуальним пакунком.
Залежності (Depends): libboost-system1.42.0 (>= 1.42.0-1) котрий є віртуальним пакунком.
Залежності (Depends): libboost-thread1.42.0 (>= 1.42.0-1) котрий є віртуальним пакунком.
Залежності (Depends): fuse-utils (>= 2.6) but it is not going to be installed.
Ці залежності можуть розв'язати такі дії:Зберегти поточні версії таких пакунків:
1) xtreemfs-client [Не встановлений]
-------------------------------------------Тобиш -- вещь конечно вкусная -- но нужно побождать... :)
У тебя что-то с локалью.
это что за богомерзские каракули на моих православных опеннетах? "Наступні", "Ці", 'залежності" "можуть" - тьфу, поубывал бы
Обновите систему. Глянул сейчас дебиан свой - 1.42.0-4 в stable (то есть сгодится), в testing вообще 1.49. Для fuse-utils - 2.8.4-1.1 в stable.
И не лень было раскладки переключать?
sudo apt-get install xtreemfs-*
Чтение списков пакетов… Готово
Построение дерева зависимостей
Чтение информации о состоянии… Готово
Заметьте, выбирается «xtreemfs-backend» для регулярного выражения «xtreemfs-*»
Заметьте, выбирается «xtreemfs-server» для регулярного выражения «xtreemfs-*»
Заметьте, выбирается «xtreemfs-tools» для регулярного выражения «xtreemfs-*»
Заметьте, выбирается «xtreemfs-client» для регулярного выражения «xtreemfs-*»
Будут установлены следующие дополнительные пакеты:
attr fuse-utils libboost-program-options1.48.0 libboost-regex1.48.0 libboost-system1.48.0
libboost-thread1.48.0
НОВЫЕ пакеты, которые будут установлены:
attr fuse-utils libboost-program-options1.48.0 libboost-regex1.48.0 libboost-system1.48.0
libboost-thread1.48.0 xtreemfs-backend xtreemfs-client xtreemfs-server xtreemfs-toolsОбновляйтесь уже.
Ну почему Java?!
Что - мало граблей на белом свете?