Евгений Поляков сообщил (https://lkml.org/lkml/2012/2/8/293) в списке рассылки разработчиков ядра Linux о готовности для включения в состав ядра Linux кода новой реализации сетевой распределённой файловой системы POHMELFS. Грег Кроу-Хартман (Greg Kroah-Hartman), курирующий экспериментальный "staging" раздел ядра Linux, в котором начиная с выпуска 2.6.30 поставляется код POHMELFS, уже удалил (https://lkml.org/lkml/2012/2/9/325) из ветки 3.3-rc3 код старой реализации POHMELFS, вместо которой в ближайшие дни будет добавлена новая версия. Таким образом, код новой реализации POHMELFS, основанный на работе поверх распределённого хранилища Elliptics (http://www.ioremap.net/projects/elliptics), войдёт в состав ядра Linux 3.3.
Одновременно сообщается (http://www.ioremap.net/node/533) о том, что размер одного из кластеров Elliptics, используемый в компании Яндекс для хранения небольших объектов (от сотен байт до нескольких килобайт), таких как аватары, превысил отметку в 5 миллиардов храни...
URL: http://www.ioremap.net/node/534
Новость: http://www.opennet.me/opennews/art.shtml?num=33066
Он наконец-то склеил файловую систему и elliptics! Ура, молодец Евгений!!
Да здравствуют кластерные технологии хранения в широком доступе =)
"Они такие, какими должны были бы быть с самого начала".
А как расшифорвывается "POHMEL"? Это хоть акроним или словесная аббревиатура?..
Parallel Optimized Host Message Exchange Layered File System
Вместо ехидных и бессмысленных замечаний по поводу названия, лучше бы присоединились к тестингу. Много ли стоит развернуть это чудо на нескольких машинах и тестировать? Как по мне то будущее у такой системы есть и силы потрачены не даром. Вот кстати почему бы не её применить для хранилища большого числа ODF файлов внутри организации в пределах Private Cloud?
> Вместо ехидных и бессмысленных замечаний по поводу названия, лучше бы присоединились к
> тестингу. Много ли стоит развернуть это чудо на нескольких машинах и
> тестировать? Как по мне то будущее у такой системы есть и
> силы потрачены не даром. Вот кстати почему бы не её применить
> для хранилища большого числа ODF файлов внутри организации в пределах Private
> Cloud?Там в бложике есть пример конфигов для network raid1: http://ioremap.net/node/535
А мне elliptics нравится...Вот только применить где-нибудь не удаётся пока что, специфичен уж. Но всё равно, сделан зачётно, респект.
Похмелка - ждём тестов.
Чем специфичен? Его позиционируют так же как mongodb и остальные nosql системы
Не "так же" и не пишите глупости.
Нет, не так же? Чем же elliptics не любая другая nosql?
> Нет, не так же? Чем же elliptics не любая другая nosql?Не позорьтесь.
У него нет MapReduce. У него только один индекс/он же PK - по имени файла. У него хранится в чистом виде Value - без структуры. Для его правильной работы нужно, чтобы весь индекс для хранимых данных помещался в оперативку, тогда производительность будет очень хорошей. Это FS-like in-memory-indexed key-value storage, ориентированный на распределённость и хранение файлов для последующей раздачи. До "классических" map-reduce-ных NoSQL-решений ему далеко.
> У него нет MapReduce.Ммм, а назовите, где он есть?
В hbase и cassandra его нет, hadoop - это внешнее приложение
В mongodb есть, но судя по тому, что коллекцию можно заменить "работой в памяти" для небольших объемов, настоящий reduce на отдельные хосты не делаетсяА map-итераторы и так есть - их результат можно положить в тот же эллиптикс или в отдельную колонку, а потом на отдельных reduce хостах прочитать эти временные "таблицы"
> У него только один индекс/он же PK - по имени файла.
Ну это же совсем глупость, что PK по имени файла
Во-первых, ключ можно самому задавать, а во-вторых, можно делать вторичные индексы по любому собственному параметру на серверных скриптах, где-то я видел пример, как строится вторичный индекс по части заливаемого урла> У него хранится в чистом виде Value - без структуры.
Так всегда и делают - в SQL это называется schema, которую все не любят менять :)
> Для его правильной работы нужно, чтобы весь индекс для хранимых данных помещался в оперативку, тогда производительность будет очень хорошей.
Глупости какие, вон там пример на 5 миллиардов ключей, каждый по 512 бит - памяти надо всего 300 гигабайт
В общем, надо бы вам еще бложик почитать :)
У couch, например, есть. Да и монго, вроде, как раз на разные инстансы параллелит (по кранйней мере вторая).
> У couch, например, есть. Да и монго, вроде, как раз на разные
> инстансы параллелит (по кранйней мере вторая).Так это же не каноничнi mapreduce - там просто view который бежит по всем данным и может какие-то пропустить а какие-то взять
Такое много где есть - что в монге что в коуче
Как в couchdb view удалить данные? Или смержить их с результатом работы на другой ноде?
И почему я сразу подумал, что разработчик - русский?
Мне вот тоже кажется, что акроним был придуман раньше, чем его расшифровка)
Кластер из новости, кстати, изначально был в конфигурации "3 машины в 3 разных дц", потом добавили ещё по 1 машине в каждую группу, получилось "по 2 машины в 3 разных дц". Степень репликации = 3.
чем бы детя не тешилось..
А он уже научилось писать с разных нод в один файл по разным смещениям?
Или до сих пор один глобальный i_mutex like семафор?
оно еще и читать через мастер сервер только может