The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Анонсирован выход распределенного хранилища Elliptics 1.0.0"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы Разговоры, обсуждение новостей (Public)
Изначальное сообщение [ Отслеживать ]

"Анонсирован выход распределенного хранилища Elliptics 1.0.0"  
Сообщение от opennews on 07-Мрт-09, 12:35 
Евгений Поляков анонсировал (http://www.ioremap.net/node/179) релиз нового хранилища Elliptics (http://www.ioremap.net/projects/elliptics) для устойчивого к сбоям распределенного хранения данных на нескольких машинах в сети. С целью повышения надежности хранения и для обеспечения независимости от ситуации выхода из строя узлов сети, в Elliptics поддерживается возможность дублирования хранимых блоков данных на нескольких узлах. При возвращении узла в сеть данные автоматически восстанавливаются из сохраненных на других узлах блоков.


Система реализована в виде распределенной хеш-таблицы, не требующей выделения отдельного узла для обработки мета-данных, выход из строя которого мог бы повлиять на работоспособность всего хранилища. Пользователь может осуществить соединение к любому из узлов сети и все его запросы будут автоматически переданы другим узлам, участвующим в обработке данного запроса.

Изначально код Elliptics разрабатывался как бэкенд к файловой системе POHMELFS (http://www.ioremap.net/projects/pohmelfs), но позднее был оформлен в виде отдельного проекта.


URL: http://www.ioremap.net/node/179
Новость: http://www.opennet.me/opennews/art.shtml?num=20652

Высказать мнение | Ответить | Правка | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Анонсирован выход распределенного хранилища Elliptics 1.0.0"  
Сообщение от q1q2q1 email on 07-Мрт-09, 12:35 
красота.
прелестная вещь.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

12. "Анонсирован выход распределенного хранилища Elliptics 1.0.0"  
Сообщение от User294 (ok) on 08-Мрт-09, 00:25 
>красота.

DHT вообще красивая идея само по себе.Ну и системы на их основе разумеется получаются симпатчными в большинстве случаев.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Анонсирован выход распределенного хранилища Elliptics 1.0.0"  
Сообщение от Аноним (??) on 07-Мрт-09, 14:01 
Эх, не очень селен в английском. Но судя по описанию вещь весьма интересная.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Анонсирован выход распределенного хранилища Elliptics 1.0.0"  
Сообщение от Аноним (??) on 07-Мрт-09, 14:04 
ПохмельФС ))))
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "Анонсирован выход распределенного хранилища Elliptics 1.0.0"  
Сообщение от Аноним (??) on 07-Мрт-09, 14:27 
ничивоудивительново Parallel Optimized Host Message Exchange Layered File System
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "Анонсирован выход распределенного хранилища Elliptics 1.0.0"  
Сообщение от root (??) on 07-Мрт-09, 15:35 
>ничивоудивительново Parallel Optimized Host Message Exchange Layered File System

и правда ничего в этом нет. к примеру есть такая вещь - зманда - Zmanda is the world’s leading provider of open source backup and recovery software. при утвеждении проекта с таким софтом многие будут приятно удивлены

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "Анонсирован выход распределенного хранилища Elliptics 1.0.0"  
Сообщение от anonymous (??) on 07-Мрт-09, 18:33 
>>ничивоудивительново Parallel Optimized Host Message Exchange Layered File System
>
>и правда ничего в этом нет. к примеру есть такая вещь -
>зманда - Zmanda is the world’s leading provider of open source
>backup and recovery software. при утвеждении проекта с таким софтом многие
>будут приятно удивлены

А ещё есть ebXML (http://www.ebxml.org/), что очень весело звучит в устной речи.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "Анонсирован выход распределенного хранилища Elliptics 1.0.0"  
Сообщение от Artzab on 07-Мрт-09, 18:45 
>>>ничивоудивительново Parallel Optimized Host Message Exchange Layered File System
>>
>>и правда ничего в этом нет. к примеру есть такая вещь -
>>зманда - Zmanda is the world’s leading provider of open source
>>backup and recovery software. при утвеждении проекта с таким софтом многие
>>будут приятно удивлены
>
>А ещё есть ebXML (http://www.ebxml.org/), что очень весело звучит в устной речи.
>

Вдогонку XEP и HAXEP (http://services.renderx.com/lists/xep-support/0970.html)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "Анонсирован выход распределенного хранилища Elliptics 1.0.0"  
Сообщение от Аноним (??) on 07-Мрт-09, 21:38 
Какие-то у них имена файлов (которые совсем не имена файлов) интересные.

Мало того, что ID объектов (файлов или кусков файлов) они берут как хэш от этого имени и про защиту от коллизий нигде не видно, так они еще и не POSIX-совместимые со всяким «/tmp/some_file[null byte]offset or content checksum».

В общем, на первый взгляд выглядит хорошо, но вызывает настороженность.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

9. "Анонсирован выход распределенного хранилища Elliptics 1.0.0"  
Сообщение от Аноним (??) on 07-Мрт-09, 21:54 
>Какие-то у них имена файлов (которые совсем не имена файлов) интересные.
>
>Мало того, что ID объектов (файлов или кусков файлов) они берут как
>хэш от этого имени и про защиту от коллизий нигде не
>видно, так они еще и не POSIX-совместимые со всяким «/tmp/some_file[null byte]offset
>or content checksum».

А там вообще нет понятий файл, директория и т.п. И к POSIX это не имеет никакого отношения.
Это похоже скорее скорее на object storage, в описании часто это словосочетание употребляется.
Соответственно, собственный API, а POHMELFS - это как раз POSIX "клиент" для этого хранилища.

Коллизии разрешаются использованием двойного/тройного и т.д. хеширования, или правильнее наверное преобразования.

ID объекта может быть любая последовательность байт определенной длины, наверное поэтому функция преобразования была переименована из hash в transform :)
А идентификатором в примере в библиотеке служит либо хеш от имени, либо хеш от содержимого пакета. Функцию генерации ID можно подставить любую свою.

Выглядит очень интересно, будем смотреть.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

10. "Анонсирован выход распределенного хранилища Elliptics 1.0.0"  
Сообщение от Аноним (??) on 07-Мрт-09, 22:09 
>А там вообще нет понятий файл, директория и т.п. И к POSIX
>это не имеет никакого отношения.
>Это похоже скорее скорее на object storage, в описании часто это словосочетание
>употребляется.
>Соответственно, собственный API, а POHMELFS - это как раз POSIX "клиент" для
>этого хранилища.

О как:
I will think on the idea of providing not only file based backends for the nodes, but also stackable solutions like with transformation functions, when server provides a callback to store data, and will place it either as a file in some dir, or database update or anything else.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

13. "Практически не применимо"  
Сообщение от Rush (??) on 08-Мрт-09, 01:32 
Пока к эпилептику не прикрутят фронтенд в виде файловой системы массового применения не будет. Не потому, что коряво - идея с последовательностью клиентских хэш-функций для группировки трафика по датацентрам и географическим регионам очень хороша. А потому, что пока что этой библией может воспользоваться только программист, админу тут ловить нечего. К тому же не понятно, что происходит при попытке получения части файла, уже содержащейся в локальном кеше. Скорее всего (судя по краткому примеру) - получение заново, а это не то, чего хотелось бы.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

14. "Практически не применимо"  
Сообщение от Аноним (??) on 08-Мрт-09, 01:52 
>Пока к эпилептику не прикрутят фронтенд в виде файловой системы массового применения
>не будет. Не потому, что коряво - идея с последовательностью клиентских
>хэш-функций для группировки трафика по датацентрам и географическим регионам очень хороша.
>А потому, что пока что этой библией может воспользоваться только программист,
>админу тут ловить нечего. К тому же не понятно, что происходит
>при попытке получения части файла, уже содержащейся в локальном кеше. Скорее
>всего (судя по краткому примеру) - получение заново, а это не
>то, чего хотелось бы.

Зачем запрашивать ту часть, которая уже есть в кэше?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

15. "Практически не применимо"  
Сообщение от Rush (??) on 08-Мрт-09, 14:52 
>Зачем запрашивать ту часть, которая уже есть в кэше?

Rush>>А потому, что пока что этой библией может воспользоваться только программист,
Rush>>админу тут ловить нечего.

Собственно я уже ответил на этот вопрос. Но повторюсь - библия работает с объектами. Упрощённый интерфейс позволяет работать с файлами. Механизма кеширования нет как такового, эта работа ложится на программиста фронтенда. То бишь для создания кеша программисту фронтенда нужно реализовать как минимум карты кэша и гранулировать файлы. А так же предусмотреть интерлоки и прочая прочая связанная с многопользовательской составляющей любой ФС. Проще говоря - мне бы пригодился именно такой фронтенд, а подобный бэкенд я бы написал и сам, причём так, как мне надо (мне не подходит идеология облаков, у меня взвешенный граф).

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

16. "Практически не применимо"  
Сообщение от Аноним (??) on 08-Мрт-09, 16:50 

>Собственно я уже ответил на этот вопрос. Но повторюсь - библия работает
>с объектами. Упрощённый интерфейс позволяет работать с файлами. Механизма кеширования нет
>как такового, эта работа ложится на программиста фронтенда. То бишь для
>создания кеша программисту фронтенда нужно реализовать как минимум карты кэша и
>гранулировать файлы. А так же предусмотреть интерлоки и прочая прочая связанная
>с многопользовательской составляющей любой ФС. Проще говоря - мне бы пригодился
>именно такой фронтенд, а подобный бэкенд я бы написал и сам,
>причём так, как мне надо (мне не подходит идеология облаков, у
>меня взвешенный граф).

Для VFS кэша есть POHMELFS - используйте ее для своего бэкенда, протокол открыт.
Хотя у автора написано, что портирование POHMELFS сервера на эту библиотеку пока в TODO листе.

Для какого-то собственного кэша - можно считывать куски файлов. В том виде, в котором представлена библиотека с простейшим примером использования, да, пожалуй админам не разгуляться, хотя для какого-нибудь бэкапа на кучу машин или хранения редко-используемых данных - самое то.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

19. "Практически не применимо"  
Сообщение от Анонимус on 11-Мрт-09, 08:32 
>Для какого-то собственного кэша - можно считывать куски файлов. В том виде,
>в котором представлена библиотека с простейшим примером использования, да, пожалуй админам
>не разгуляться, хотя для какого-нибудь бэкапа на кучу машин или хранения
>редко-используемых данных - самое то.

сорри, скорее для редко "изменяемых/обновляемых" данных


Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру