https://www.opennet.me/openforum/vsluhforumID3/50352.html Евгений Поляков анонсировал (http://www.ioremap.net/node/179) релиз нового хранилища Elliptics (http://www.ioremap.net/projects/elliptics) для устойчивого к сбоям распределенного хранения данных на нескольких машинах в сети. С целью повышения надежности хранения и для обеспечения независимости от ситуации выхода из строя узлов сети, в Elliptics поддерживается возможность дублирования хранимых блоков данных на нескольких узлах. При возвращении узла в сеть данные автоматически восстанавливаются из сохраненных на других узлах блоков.<br><br><br>Система реализована в виде распределенной хеш-таблицы, не требующей выделения отдельного узла для обработки мета-данных, выход из строя которого мог бы повлиять на работоспособность всего хранилища. Пользователь может осуществить соединение к любому из узлов сети и все его запросы будут автоматически переданы другим узлам, участвующим в обработке данного запроса.<br><br><br><br>Изначально код Elliptics разрабатывался как бэкенд к файловой системе POHMELFS (http://www.ioremap.net/projects https://www.opennet.me/openforum/vsluhforumID3/50352.html#19 Wed, 11 Mar 2009 05:32:25 GMT &gt;Для какого-то собственного кэша - можно считывать куски файлов. В том виде, <br>&gt;в котором представлена библиотека с простейшим примером использования, да, пожалуй админам <br>&gt;не разгуляться, хотя для какого-нибудь бэкапа на кучу машин или хранения <br>&gt;редко-используемых данных - самое то. <br><br>сорри, скорее для редко "изменяемых/обновляемых" данных<br><br><br> https://www.opennet.me/openforum/vsluhforumID3/50352.html#16 Sun, 08 Mar 2009 13:50:36 GMT <br>&gt;Собственно я уже ответил на этот вопрос. Но повторюсь - библия работает <br>&gt;с объектами. Упрощённый интерфейс позволяет работать с файлами. Механизма кеширования нет <br>&gt;как такового, эта работа ложится на программиста фронтенда. То бишь для <br>&gt;создания кеша программисту фронтенда нужно реализовать как минимум карты кэша и <br>&gt;гранулировать файлы. А так же предусмотреть интерлоки и прочая прочая связанная <br>&gt;с многопользовательской составляющей любой ФС. Проще говоря - мне бы пригодился <br>&gt;именно такой фронтенд, а подобный бэкенд я бы написал и сам, <br>&gt;причём так, как мне надо (мне не подходит идеология облаков, у <br>&gt;меня взвешенный граф). <br><br>Для VFS кэша есть POHMELFS - используйте ее для своего бэкенда, протокол открыт.<br>Хотя у автора написано, что портирование POHMELFS сервера на эту библиотеку пока в TODO листе.<br><br>Для какого-то собственного кэша - можно считывать куски файлов. В том виде, в котором представлена библиотека с простейшим примером использования, да, пожалуй админам не разгуляться, хотя для к https://www.opennet.me/openforum/vsluhforumID3/50352.html#15 Sun, 08 Mar 2009 11:52:09 GMT &gt;Зачем запрашивать ту часть, которая уже есть в кэше? <br><br>Rush&gt;&gt;А потому, что пока что этой библией может воспользоваться только программист, <br>Rush&gt;&gt;админу тут ловить нечего.<br><br>Собственно я уже ответил на этот вопрос. Но повторюсь - библия работает с объектами. Упрощённый интерфейс позволяет работать с файлами. Механизма кеширования нет как такового, эта работа ложится на программиста фронтенда. То бишь для создания кеша программисту фронтенда нужно реализовать как минимум карты кэша и гранулировать файлы. А так же предусмотреть интерлоки и прочая прочая связанная с многопользовательской составляющей любой ФС. Проще говоря - мне бы пригодился именно такой фронтенд, а подобный бэкенд я бы написал и сам, причём так, как мне надо (мне не подходит идеология облаков, у меня взвешенный граф).<br> https://www.opennet.me/openforum/vsluhforumID3/50352.html#14 Sat, 07 Mar 2009 22:52:46 GMT &gt;Пока к эпилептику не прикрутят фронтенд в виде файловой системы массового применения <br>&gt;не будет. Не потому, что коряво - идея с последовательностью клиентских <br>&gt;хэш-функций для группировки трафика по датацентрам и географическим регионам очень хороша. <br>&gt;А потому, что пока что этой библией может воспользоваться только программист, <br>&gt;админу тут ловить нечего. К тому же не понятно, что происходит <br>&gt;при попытке получения части файла, уже содержащейся в локальном кеше. Скорее <br>&gt;всего (судя по краткому примеру) - получение заново, а это не <br>&gt;то, чего хотелось бы. <br><br>Зачем запрашивать ту часть, которая уже есть в кэше?<br> https://www.opennet.me/openforum/vsluhforumID3/50352.html#13 Sat, 07 Mar 2009 22:32:30 GMT Пока к эпилептику не прикрутят фронтенд в виде файловой системы массового применения не будет. Не потому, что коряво - идея с последовательностью клиентских хэш-функций для группировки трафика по датацентрам и географическим регионам очень хороша. А потому, что пока что этой библией может воспользоваться только программист, админу тут ловить нечего. К тому же не понятно, что происходит при попытке получения части файла, уже содержащейся в локальном кеше. Скорее всего (судя по краткому примеру) - получение заново, а это не то, чего хотелось бы.<br> https://www.opennet.me/openforum/vsluhforumID3/50352.html#12 Sat, 07 Mar 2009 21:25:05 GMT &gt;красота. <br><br>DHT вообще красивая идея само по себе.Ну и системы на их основе разумеется получаются симпатчными в большинстве случаев.<br> https://www.opennet.me/openforum/vsluhforumID3/50352.html#10 Sat, 07 Mar 2009 19:09:49 GMT &gt;А там вообще нет понятий файл, директория и т.п. И к POSIX <br>&gt;это не имеет никакого отношения. <br>&gt;Это похоже скорее скорее на object storage, в описании часто это словосочетание <br>&gt;употребляется. <br>&gt;Соответственно, собственный API, а POHMELFS - это как раз POSIX "клиент" для <br>&gt;этого хранилища. <br><br>О как:<br>[i]I will think on the idea of providing not only file based backends for the nodes, but also stackable solutions like with transformation functions, when server provides a callback to store data, and will place it either as a file in some dir, or database update or anything else.[/i]<br> https://www.opennet.me/openforum/vsluhforumID3/50352.html#9 Sat, 07 Mar 2009 18:54:19 GMT &gt;Какие-то у них имена файлов (которые совсем не имена файлов) интересные. <br>&gt;<br>&gt;Мало того, что ID объектов (файлов или кусков файлов) они берут как <br>&gt;хэш от этого имени и про защиту от коллизий нигде не <br>&gt;видно, так они еще и не POSIX-совместимые со всяким &#171;/tmp/some_file[null byte]offset <br>&gt;or content checksum&#187;. <br><br>А там вообще нет понятий файл, директория и т.п. И к POSIX это не имеет никакого отношения.<br>Это похоже скорее скорее на object storage, в описании часто это словосочетание употребляется.<br>Соответственно, собственный API, а POHMELFS - это как раз POSIX "клиент" для этого хранилища.<br><br>Коллизии разрешаются использованием двойного/тройного и т.д. хеширования, или правильнее наверное преобразования.<br><br>ID объекта может быть любая последовательность байт определенной длины, наверное поэтому функция преобразования была переименована из hash в transform :)<br>А идентификатором в примере в библиотеке служит либо хеш от имени, либо хеш от содержимого пакета. Функцию генерации ID можно подставить https://www.opennet.me/openforum/vsluhforumID3/50352.html#8 Sat, 07 Mar 2009 18:38:06 GMT Какие-то у них имена файлов (которые совсем не имена файлов) интересные.<br><br>Мало того, что ID объектов (файлов или кусков файлов) они берут как хэш от этого имени и про защиту от коллизий нигде не видно, так они еще и не POSIX-совместимые со всяким &#171;/tmp/some_file[null byte]offset or content checksum&#187;.<br><br>В общем, на первый взгляд выглядит хорошо, но вызывает настороженность.<br>