Компания Sun Microsystems представила (https://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_SM...) релиз кластерной файловой системы Lustre 1.8.0 (http://wiki.lustre.org/index.php/Lustre_1.8), используемой в Linux кластерах, входящих в десятку самых мощных суперкомпьютеров мира (http://www.top500.org/).Из новшеств (http://wiki.lustre.org/index.php/Use:Change_Log_1.8), появившихся в версии 1.8, можно отметить:
- Переход на Linux ядра: 2.6.22.14 с kernel.org, RHEL5 kernel-2.6.18-92.1.17.el5 и SLES10 SP2 kernel-2.6.16.60-0.31;
- Поддержка кеширования на стороне OSS сервера;
- Адаптивные таймауты (adaptive timeouts) включены по умолчанию;
- Добавлена возможность использования блоков OST в файлах в групповом порядке (1,3,4,7,8), а не в строго последовательном, как это было ранее (1,2,3,4,5,6,7,8) (OST Pools support);
- Улучшения в инструменте управления квотами;
- Раздельный запуск серв...URL: https://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_SM...
Новость: http://www.opennet.me/opennews/art.shtml?num=21644
Как всегда... С более новыми ядрами оно не работает. =(
Суровый энтерпрайз в лице RHEL-5.2 EUS есть - значит, всё хорошо.
Patchless client - работает до .27 ядра (лично делал эту задачу).
Сервера - работают, на .22 - работа по поддержке .27 в процессе, там основная проблема в миграции ldiskfs патчей на ext4, так как ext4 это практически то что люстра использует в качестве backend storage - уже года 2-4.
Но в тоже время существуют некоторые отличия, существовании дополнительных callback вызываемых по концу каждой транзакции, некоторый тюнинг и тп.
ну вот если будет держать апстрим ядра то будет хорошо.
я вообще хотел когда то поддержку люстры в генту закомитеть но как то не срослось с ней.ЗЫ вообще есть железо где 22 ядро работать не сможет. так что жаль что нет поддержки новых ядер
Any patches are welcome.PPS. дебиановцы как-то собирают пакеты и ничего, а в генте нельзя выясняется..
А с glusterfs кто нибудь сравнивал новую люстру ?
Старая (1.6 ) сливала вчистую ...
>А с glusterfs кто нибудь сравнивал новую люстру ?
>Старая (1.6 ) сливала вчистую ...А пацаны в Cray и HP (серия стораджей SFS) то не знают :) На каких операциях, можно поинтересоваться?
http://gluster.org/docs/index.php/GlusterFS_1.3.pre2-VERGACI...
если об этом.. то давайте посмотрим внимательно
1) тест env описано не вменяемое - 10 серверов, 20 клиентов.. и все?
2) Настройки люстры никто не показал, как и glusterfs. Да если люстра выставить lnet.debug=-1 / lnet.subsystem_debug=-1, у нее падает производительность раза в 3-4, по сравнению с установкой теж же переменных в 0.
Размер журнала не указан, не указан какой страйпинг используется - сразу на все oss или на 1, не понятно.
3) время посчитали, а где io load, или cpu load с серверных и тп нод?
странный бенчмарк..спорим я сделаю бенчмарк где люстра будет рвать в клочья gluster ? ;-)
>спорим я сделаю бенчмарк где люстра будет рвать в клочья gluster ? ;-)а если у люстры пара нод сдохнет во время теста, как рвалка, не отвалится?
>>спорим я сделаю бенчмарк где люстра будет рвать в клочья gluster ? ;-)
>
>а если у люстры пара нод сдохнет во время теста, как рвалка,
>не отвалится?Не отвалится. механизмы failover / failout + recovery значильно более правильный чем у glusterfs.
А как там со страйпингом в gluster - оно уже научилось утилизировать всю полосу сетевой? или все так же striping is bad - потому как мы его и рековери для этого случая реализовать не можем ?PS. покажите хоть один кластер в TOP500 с glusterfs?
PPS. усложним задачу - покажите хоть один в top100, и top10.
А люстра вот стоит на 7 из TOP10.
А пацаны , где бы они не сидели , тут вообще не к месту .
У люстры есть ( были в 1.6 ) проблемы с туевой хучей фаилов , mds напрягается :)
У *меня* сложилось мнение , что чтобы люстру раскачать - надо много ( видимо сотни ) нодов и относительно большие файлы .Glusterfs , по *моему* мнению , раскачивается на десятках машин относительно без проблем .
>[оверквотинг удален]
>не к месту .
>У люстры есть ( были в 1.6 ) проблемы с туевой
>хучей фаилов , mds напрягается :)
>У *меня* сложилось мнение , что чтобы люстру раскачать -
>надо много ( видимо сотни ) нодов и относительно
>большие файлы .
>
>Glusterfs , по *моему* мнению , раскачивается на десятках машин
>относительно без проблем .
>Дебаг - который включен практически по максиуму в деволтовом варианте - не пробывали выключить ?:)
Опять же общие слова "с туевой кучей файлов", хотелось бы уточнений - параметры FS, какие операции?
Есть ли shared доступ к файлу, или каждая нода работает со своими файлами и тп.
Что используется в роли интерконекта - обычный зернет с tcp поверх (сакс) или 10gigE, или IB (что самое лучшее)?PPS. собственный overhead mds над ext3/ext4 - очень маленький, больше влияет сетевой транспорт ибо он дает задержки на мелком обмене.