The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Новый выпуск кластерной файловой системы Lustre 1.8"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы Разговоры, обсуждение новостей (Public)
Изначальное сообщение [ Отслеживать ]

"Новый выпуск кластерной файловой системы Lustre 1.8"  +/
Сообщение от opennews on 08-Май-09, 18:42 
Компания Sun Microsystems представила (https://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_SM...) релиз кластерной файловой системы Lustre 1.8.0 (http://wiki.lustre.org/index.php/Lustre_1.8), используемой в Linux кластерах, входящих в десятку самых мощных суперкомпьютеров мира (http://www.top500.org/).

Из новшеств (http://wiki.lustre.org/index.php/Use:Change_Log_1.8), появившихся в версии 1.8, можно отметить:

-  Переход на Linux ядра: 2.6.22.14 с kernel.org, RHEL5 kernel-2.6.18-92.1.17.el5 и SLES10 SP2 kernel-2.6.16.60-0.31;
-  Поддержка кеширования на стороне OSS сервера;
-  Адаптивные таймауты (adaptive timeouts) включены по умолчанию;
-  Добавлена возможность использования блоков OST в файлах в групповом порядке (1,3,4,7,8), а не в строго последовательном, как это было ранее (1,2,3,4,5,6,7,8) (OST Pools support);
-  Улучшения в инструменте управления квотами;
-  Раздельный запуск серв...

URL: https://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_SM...
Новость: http://www.opennet.me/opennews/art.shtml?num=21644

Высказать мнение | Ответить | Правка | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Новый выпуск кластерной файловой системы Lustre 1.8"  +/
Сообщение от alexxy on 08-Май-09, 18:42 
Как всегда... С более новыми ядрами оно не работает. =(
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Новый выпуск кластерной файловой системы Lustre 1.8"  +/
Сообщение от mv (??) on 09-Май-09, 00:39 
Суровый энтерпрайз в лице RHEL-5.2 EUS есть - значит, всё хорошо.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "Новый выпуск кластерной файловой системы Lustre 1.8"  +/
Сообщение от _umka_ (??) on 09-Май-09, 17:09 
Patchless client - работает до .27 ядра (лично делал эту задачу).
Сервера - работают, на .22 - работа по поддержке .27 в процессе, там основная проблема в миграции ldiskfs патчей на ext4, так как ext4 это практически то что люстра использует в качестве backend storage - уже года 2-4.
Но в тоже время существуют некоторые отличия, существовании дополнительных callback вызываемых по концу каждой транзакции, некоторый тюнинг и тп.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "Новый выпуск кластерной файловой системы Lustre 1.8"  +/
Сообщение от alexxy on 09-Май-09, 19:15 
ну вот если будет держать апстрим ядра то будет хорошо.
я вообще хотел когда то поддержку люстры в генту закомитеть но как то не срослось с ней.

ЗЫ вообще есть железо где 22 ядро работать не сможет. так что жаль что нет поддержки новых ядер

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

9. "Новый выпуск кластерной файловой системы Lustre 1.8"  +/
Сообщение от _umka_ (??) on 10-Май-09, 22:56 
Any patches are welcome.

PPS. дебиановцы как-то собирают пакеты и ничего, а в генте нельзя выясняется..

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Новый выпуск кластерной файловой системы Lustre 1.8"  +/
Сообщение от rstone on 09-Май-09, 12:13 
А с glusterfs кто нибудь сравнивал новую люстру ?
Старая (1.6 ) сливала  вчистую ...
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "Новый выпуск кластерной файловой системы Lustre 1.8"  +/
Сообщение от _umka_ (??) on 09-Май-09, 17:26 
>А с glusterfs кто нибудь сравнивал новую люстру ?
>Старая (1.6 ) сливала  вчистую ...

А пацаны в Cray и HP (серия стораджей SFS) то не знают :) На каких операциях, можно поинтересоваться?
http://gluster.org/docs/index.php/GlusterFS_1.3.pre2-VERGACI...
если об этом.. то давайте посмотрим внимательно
1) тест env описано не вменяемое - 10 серверов, 20 клиентов.. и все?
2) Настройки люстры никто не показал, как и glusterfs. Да если люстра выставить lnet.debug=-1 / lnet.subsystem_debug=-1, у нее падает производительность раза в 3-4, по сравнению с установкой теж же переменных в 0.
Размер журнала не указан, не указан какой страйпинг используется - сразу на все oss или на 1, не понятно.
3) время посчитали, а где io load, или cpu load с серверных и тп нод?
странный бенчмарк..

спорим я сделаю бенчмарк где люстра будет рвать в клочья gluster ? ;-)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "Новый выпуск кластерной файловой системы Lustre 1.8"  +/
Сообщение от аноним on 09-Май-09, 18:32 
>спорим я сделаю бенчмарк где люстра будет рвать в клочья gluster ? ;-)

а если у люстры пара нод сдохнет во время теста, как рвалка, не отвалится?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

10. "Новый выпуск кластерной файловой системы Lustre 1.8"  +/
Сообщение от _umka_ (??) on 10-Май-09, 23:00 
>>спорим я сделаю бенчмарк где люстра будет рвать в клочья gluster ? ;-)
>
>а если у люстры пара нод сдохнет во время теста, как рвалка,
>не отвалится?

Не отвалится. механизмы failover / failout  + recovery значильно более правильный чем у glusterfs.
А как там со страйпингом в gluster - оно уже научилось утилизировать всю полосу сетевой? или все так же striping is bad - потому как мы его и рековери для этого случая реализовать не можем ?

PS. покажите хоть один кластер в TOP500 с glusterfs?
PPS. усложним задачу - покажите хоть один в top100, и top10.
А люстра вот стоит на 7 из TOP10.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "Новый выпуск кластерной файловой системы Lustre 1.8"  +/
Сообщение от rstone on 10-Май-09, 10:36 
А пацаны  , где бы они не сидели , тут вообще не к месту .
У люстры  есть ( были в 1.6 ) проблемы с туевой хучей фаилов , mds  напрягается :)
У *меня* сложилось мнение  , что  чтобы люстру раскачать - надо  много ( видимо сотни ) нодов  и относительно большие файлы .

Glusterfs ,  по *моему* мнению ,  раскачивается на десятках машин относительно без проблем .
  

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

11. "Новый выпуск кластерной файловой системы Lustre 1.8"  +/
Сообщение от _umka_ (??) on 10-Май-09, 23:07 
>[оверквотинг удален]
>не к месту .
>У люстры  есть ( были в 1.6 ) проблемы с туевой
>хучей фаилов , mds  напрягается :)
>У *меня* сложилось мнение  , что  чтобы люстру раскачать -
>надо  много ( видимо сотни ) нодов  и относительно
>большие файлы .
>
>Glusterfs ,  по *моему* мнению ,  раскачивается на десятках машин
>относительно без проблем .
>

Дебаг - который включен практически по максиуму в деволтовом варианте - не пробывали выключить ?:)
Опять же общие слова "с туевой кучей файлов", хотелось бы уточнений - параметры FS, какие операции?
Есть ли shared доступ к файлу, или каждая нода работает со своими файлами и тп.
Что используется в роли интерконекта - обычный зернет с tcp поверх (сакс) или 10gigE, или IB (что самое лучшее)?

PPS. собственный overhead mds над ext3/ext4 - очень маленький, больше влияет сетевой транспорт ибо он дает задержки на мелком обмене.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру