URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 50352
[ Назад ]

Исходное сообщение
"Анонсирован выход распределенного хранилища Elliptics 1.0.0"

Отправлено opennews , 07-Мрт-09 12:35 
Евгений Поляков анонсировал (http://www.ioremap.net/node/179) релиз нового хранилища Elliptics (http://www.ioremap.net/projects/elliptics) для устойчивого к сбоям распределенного хранения данных на нескольких машинах в сети. С целью повышения надежности хранения и для обеспечения независимости от ситуации выхода из строя узлов сети, в Elliptics поддерживается возможность дублирования хранимых блоков данных на нескольких узлах. При возвращении узла в сеть данные автоматически восстанавливаются из сохраненных на других узлах блоков.


Система реализована в виде распределенной хеш-таблицы, не требующей выделения отдельного узла для обработки мета-данных, выход из строя которого мог бы повлиять на работоспособность всего хранилища. Пользователь может осуществить соединение к любому из узлов сети и все его запросы будут автоматически переданы другим узлам, участвующим в обработке данного запроса.

Изначально код Elliptics разрабатывался как бэкенд к файловой системе POHMELFS (http://www.ioremap.net/projects/pohmelfs), но позднее был оформлен в виде отдельного проекта.


URL: http://www.ioremap.net/node/179
Новость: http://www.opennet.me/opennews/art.shtml?num=20652


Содержание

Сообщения в этом обсуждении
"Анонсирован выход распределенного хранилища Elliptics 1.0.0"
Отправлено q1q2q1 , 07-Мрт-09 12:35 
красота.
прелестная вещь.

"Анонсирован выход распределенного хранилища Elliptics 1.0.0"
Отправлено User294 , 08-Мрт-09 00:25 
>красота.

DHT вообще красивая идея само по себе.Ну и системы на их основе разумеется получаются симпатчными в большинстве случаев.


"Анонсирован выход распределенного хранилища Elliptics 1.0.0"
Отправлено Аноним , 07-Мрт-09 14:01 
Эх, не очень селен в английском. Но судя по описанию вещь весьма интересная.

"Анонсирован выход распределенного хранилища Elliptics 1.0.0"
Отправлено Аноним , 07-Мрт-09 14:04 
ПохмельФС ))))

"Анонсирован выход распределенного хранилища Elliptics 1.0.0"
Отправлено Аноним , 07-Мрт-09 14:27 
ничивоудивительново Parallel Optimized Host Message Exchange Layered File System

"Анонсирован выход распределенного хранилища Elliptics 1.0.0"
Отправлено root , 07-Мрт-09 15:35 
>ничивоудивительново Parallel Optimized Host Message Exchange Layered File System

и правда ничего в этом нет. к примеру есть такая вещь - зманда - Zmanda is the world’s leading provider of open source backup and recovery software. при утвеждении проекта с таким софтом многие будут приятно удивлены


"Анонсирован выход распределенного хранилища Elliptics 1.0.0"
Отправлено anonymous , 07-Мрт-09 18:33 
>>ничивоудивительново Parallel Optimized Host Message Exchange Layered File System
>
>и правда ничего в этом нет. к примеру есть такая вещь -
>зманда - Zmanda is the world’s leading provider of open source
>backup and recovery software. при утвеждении проекта с таким софтом многие
>будут приятно удивлены

А ещё есть ebXML (http://www.ebxml.org/), что очень весело звучит в устной речи.


"Анонсирован выход распределенного хранилища Elliptics 1.0.0"
Отправлено Artzab , 07-Мрт-09 18:45 
>>>ничивоудивительново Parallel Optimized Host Message Exchange Layered File System
>>
>>и правда ничего в этом нет. к примеру есть такая вещь -
>>зманда - Zmanda is the world’s leading provider of open source
>>backup and recovery software. при утвеждении проекта с таким софтом многие
>>будут приятно удивлены
>
>А ещё есть ebXML (http://www.ebxml.org/), что очень весело звучит в устной речи.
>

Вдогонку XEP и HAXEP (http://services.renderx.com/lists/xep-support/0970.html)


"Анонсирован выход распределенного хранилища Elliptics 1.0.0"
Отправлено Аноним , 07-Мрт-09 21:38 
Какие-то у них имена файлов (которые совсем не имена файлов) интересные.

Мало того, что ID объектов (файлов или кусков файлов) они берут как хэш от этого имени и про защиту от коллизий нигде не видно, так они еще и не POSIX-совместимые со всяким «/tmp/some_file[null byte]offset or content checksum».

В общем, на первый взгляд выглядит хорошо, но вызывает настороженность.


"Анонсирован выход распределенного хранилища Elliptics 1.0.0"
Отправлено Аноним , 07-Мрт-09 21:54 
>Какие-то у них имена файлов (которые совсем не имена файлов) интересные.
>
>Мало того, что ID объектов (файлов или кусков файлов) они берут как
>хэш от этого имени и про защиту от коллизий нигде не
>видно, так они еще и не POSIX-совместимые со всяким «/tmp/some_file[null byte]offset
>or content checksum».

А там вообще нет понятий файл, директория и т.п. И к POSIX это не имеет никакого отношения.
Это похоже скорее скорее на object storage, в описании часто это словосочетание употребляется.
Соответственно, собственный API, а POHMELFS - это как раз POSIX "клиент" для этого хранилища.

Коллизии разрешаются использованием двойного/тройного и т.д. хеширования, или правильнее наверное преобразования.

ID объекта может быть любая последовательность байт определенной длины, наверное поэтому функция преобразования была переименована из hash в transform :)
А идентификатором в примере в библиотеке служит либо хеш от имени, либо хеш от содержимого пакета. Функцию генерации ID можно подставить любую свою.

Выглядит очень интересно, будем смотреть.


"Анонсирован выход распределенного хранилища Elliptics 1.0.0"
Отправлено Аноним , 07-Мрт-09 22:09 
>А там вообще нет понятий файл, директория и т.п. И к POSIX
>это не имеет никакого отношения.
>Это похоже скорее скорее на object storage, в описании часто это словосочетание
>употребляется.
>Соответственно, собственный API, а POHMELFS - это как раз POSIX "клиент" для
>этого хранилища.

О как:
I will think on the idea of providing not only file based backends for the nodes, but also stackable solutions like with transformation functions, when server provides a callback to store data, and will place it either as a file in some dir, or database update or anything else.


"Практически не применимо"
Отправлено Rush , 08-Мрт-09 01:32 
Пока к эпилептику не прикрутят фронтенд в виде файловой системы массового применения не будет. Не потому, что коряво - идея с последовательностью клиентских хэш-функций для группировки трафика по датацентрам и географическим регионам очень хороша. А потому, что пока что этой библией может воспользоваться только программист, админу тут ловить нечего. К тому же не понятно, что происходит при попытке получения части файла, уже содержащейся в локальном кеше. Скорее всего (судя по краткому примеру) - получение заново, а это не то, чего хотелось бы.

"Практически не применимо"
Отправлено Аноним , 08-Мрт-09 01:52 
>Пока к эпилептику не прикрутят фронтенд в виде файловой системы массового применения
>не будет. Не потому, что коряво - идея с последовательностью клиентских
>хэш-функций для группировки трафика по датацентрам и географическим регионам очень хороша.
>А потому, что пока что этой библией может воспользоваться только программист,
>админу тут ловить нечего. К тому же не понятно, что происходит
>при попытке получения части файла, уже содержащейся в локальном кеше. Скорее
>всего (судя по краткому примеру) - получение заново, а это не
>то, чего хотелось бы.

Зачем запрашивать ту часть, которая уже есть в кэше?


"Практически не применимо"
Отправлено Rush , 08-Мрт-09 14:52 
>Зачем запрашивать ту часть, которая уже есть в кэше?

Rush>>А потому, что пока что этой библией может воспользоваться только программист,
Rush>>админу тут ловить нечего.

Собственно я уже ответил на этот вопрос. Но повторюсь - библия работает с объектами. Упрощённый интерфейс позволяет работать с файлами. Механизма кеширования нет как такового, эта работа ложится на программиста фронтенда. То бишь для создания кеша программисту фронтенда нужно реализовать как минимум карты кэша и гранулировать файлы. А так же предусмотреть интерлоки и прочая прочая связанная с многопользовательской составляющей любой ФС. Проще говоря - мне бы пригодился именно такой фронтенд, а подобный бэкенд я бы написал и сам, причём так, как мне надо (мне не подходит идеология облаков, у меня взвешенный граф).


"Практически не применимо"
Отправлено Аноним , 08-Мрт-09 16:50 

>Собственно я уже ответил на этот вопрос. Но повторюсь - библия работает
>с объектами. Упрощённый интерфейс позволяет работать с файлами. Механизма кеширования нет
>как такового, эта работа ложится на программиста фронтенда. То бишь для
>создания кеша программисту фронтенда нужно реализовать как минимум карты кэша и
>гранулировать файлы. А так же предусмотреть интерлоки и прочая прочая связанная
>с многопользовательской составляющей любой ФС. Проще говоря - мне бы пригодился
>именно такой фронтенд, а подобный бэкенд я бы написал и сам,
>причём так, как мне надо (мне не подходит идеология облаков, у
>меня взвешенный граф).

Для VFS кэша есть POHMELFS - используйте ее для своего бэкенда, протокол открыт.
Хотя у автора написано, что портирование POHMELFS сервера на эту библиотеку пока в TODO листе.

Для какого-то собственного кэша - можно считывать куски файлов. В том виде, в котором представлена библиотека с простейшим примером использования, да, пожалуй админам не разгуляться, хотя для какого-нибудь бэкапа на кучу машин или хранения редко-используемых данных - самое то.


"Практически не применимо"
Отправлено Анонимус , 11-Мрт-09 08:32 
>Для какого-то собственного кэша - можно считывать куски файлов. В том виде,
>в котором представлена библиотека с простейшим примером использования, да, пожалуй админам
>не разгуляться, хотя для какого-нибудь бэкапа на кучу машин или хранения
>редко-используемых данных - самое то.

сорри, скорее для редко "изменяемых/обновляемых" данных