URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 77096
[ Назад ]

Исходное сообщение
"Компания SGI объявила о поддержке кластерной ФС Lustre"

Отправлено opennews , 12-Май-11 20:22 
Компания SGI объявила (http://www.sgi.com/company_info/newsroom/press_releases/2011... о присоединении к некоммерческой организации OpenSFS (http://www.opensfs.org/), основанной группой производителей кластерных систем, заинтересованных в дальнейшем развитии и независимой поддержке файловой системы Lustre (http://www.lustre.org/).  По заявлению SGI отныне компания готова предоставлять клиентам полный спектр возможных услуг поддержки кластерных решений на базе Lustre. Отдельно отмечается, что поддержка  Lustre будет оказываться на том же уровне, что осуществляется поддержка  собственной кластерной ФС SGI - CXFSTM.

Среди членов OpenSFS можно отметить компанию Cray, Ливерморскую национальную лабораторию (http://ru.wikipedia.org/wiki/%D0%9B%D0%B... и Национальный вычислител...

URL: http://www.sgi.com/company_info/newsroom/press_releases/2011...
Новость: http://www.opennet.me/opennews/art.shtml?num=30544


Содержание

Сообщения в этом обсуждении
"Компания SGI объявила о поддержке кластерной ФС Lustre"
Отправлено ананим , 12-Май-11 20:22 
народ! а кто в курсе, чё там в оракловом? с zfs скрестить планы ещё есть?
этот сабж то понятен, по ссылке линух в апстриме.

"Компания SGI объявила о поддержке кластерной ФС Lustre"
Отправлено non anon , 13-Май-11 17:43 
Запуском люстры поверх zfsовского менеджера томов в линаксе занимается Белендорф, без участия оракла.
Ораклу люстра пока неинтересна.

"Компания SGI объявила о поддержке кластерной ФС Lustre"
Отправлено Аноним , 14-Май-11 20:15 
вобще этим занимался Sun до покупки Ораклом - а потом стало сложно.
Ибо народу даже в WC не так что бы много.

"Компания SGI объявила о поддержке кластерной ФС Lustre"
Отправлено pavlinux , 12-Май-11 23:35 
Открыли бы они CXFS, было бы чудно.
---
Ораклов уже жалко становиться - OpenOffice просрали, недавно Hudson, теперь Люстру,
OpenSolaris закопали, BTRFS превратилась из FS в Систему резервного хранения данных,
кому нужен Oracle Linux, при живом-то RHEL, не ясно!? Гугла Жаву ворует и ещё судится.
ОpenJDK не дают закрыть. ... как жить,... как жить... :)


"Компания SGI объявила о поддержке кластерной ФС Lustre"
Отправлено Аноним , 12-Май-11 23:57 
От люстры они сами отказались уже как несколько месяцев назад

"Компания SGI объявила о поддержке кластерной ФС Lustre"
Отправлено Мяут , 13-Май-11 01:48 
Зато саппорт MySQL подорожал. А ненужное выкидывают, да.

"Компания SGI объявила о поддержке кластерной ФС Lustre"
Отправлено НихтАрбайтен , 13-Май-11 13:05 
>>ненужное выкидывают

Совершенно верно. В настоящее время все эти распределенные кластерные файловые системы натуральная петриковщина. Т.е. мошенничество, где клиента обувают с помощью высокотехнологичной фразеологии.

Т.е. клиент, когда слышит про файловые системы, думает про POSIX-совместимость (это, если клиент юниксоид, умеют ли думать вендузятнеги наука пока не установила), или, грубо говоря, он надеется, что его любимая программа не будет вылетать с жалобами на ошибки при записи/чтении файла. А на самом-то деле производители распределённых "файловых систем" подразумевают при этом что-то совсем своё. Т.е. в настоящее время наука не знает способов синхронизации доступа к носителям, контролирумыми разными системами (т.е. с шаред-дисками всё нормально, там непосредственную запись на диск выполняет одна система), чтобы оно натягивалось на POSIX-семантику. Видимо, Ларри Эллисон это тоже понимает.

А что там на top500 крутится, это ещё не показатель. На top500 работает весьма специальное ПО, и ему что POSIX, что не POSIX ... Достаточно MPI-IO стандарта, чтоб фактически программа сама (ну, разумеется, с помощью весьма недешевого штата админов) контролировала доступ к файлу.


"Компания SGI объявила о поддержке кластерной ФС Lustre"
Отправлено Аноним , 14-Май-11 20:19 
>>>ненужное выкидывают
> А что там на top500 крутится, это ещё не показатель. На top500
> работает весьма специальное ПО, и ему что POSIX, что не POSIX
> ... Достаточно MPI-IO стандарта, чтоб фактически программа сама (ну, разумеется, с
> помощью весьма недешевого штата админов) контролировала доступ к файлу.

Люстра является POSIX совместимой. И при этом имела native клиентов для Linux/Win32, старый порт на OS/X. И все где может работать Fuse.
И очень много усилий тратилось именно на поддержку  POSIX семантики.
А что до синхронизации.. надеюсь мисье может прочитать в wiki расшифровку DLM и почитает на wiki.lustre.org о LDLM.


"Компания SGI объявила о поддержке кластерной ФС Lustre"
Отправлено Нихт Арбайтен , 14-Май-11 22:38 
# POSIX compliance: The full POSIX test suite passes with _limited exceptions_ on Lustre clients. In a cluster, _most operations are atomic_ so that clients never see stale data or metadata. Lustre supports mmap() file I/O.


"Компания SGI объявила о поддержке кластерной ФС Lustre"
Отправлено Омоним , 14-Май-11 22:52 
>with _limited exceptions_

Ага. Например, если клиент читает данные из своего кэша, то другие клиенты не увидят обновление atime. Потому что иначе сеть ляжет. Впрочем, насколько я помню, планировалось реализовать (и, возможно, уже реализован) в полном объеме relatime.


"Компания SGI объявила о поддержке кластерной ФС Lustre"
Отправлено Аноним , 14-Май-11 23:01 
atime давно уже можно заставить обновлять.

"Компания SGI объявила о поддержке кластерной ФС Lustre"
Отправлено Нихт Арбайтен , 15-Май-11 14:10 
Вот только не надо мне что-то впаривать, всё равно я не ваш клиент. Основное моё возражение против распределенных файловых систем - что они не полностью POSIX-совместимы и иногда это очень сильно выходит боком. Тут меня начали окучивать, что, де, это всё не так, а оно всё POSIX-совместимо, на что была продемонстрирована цитата с домашней страницы. После этого окучивание перешло на следующий уровень, типа, эта несовместимость она совсем-совсем маленькая и вы её практически никогда не увидите. Спасибо, конечно, но я знаю, что когда я её увижу мне будет очень-очень больно.  

top500 - это очень специальные системы и очень специальные задачи. POSIX-совместимость там ни разу никому не интересна. Может там вообще ни шелла, ни пользователей нету, а задачи выставляются туда через толстый PBS, типа, слёрма и торка, который позаботится, чтобы в каждый конкретный момент на каждом конкретном процессоре выполнялась ровно одна вычислительная задача (а нефиг контексты переключать). Вон, pvfs2 вообще никакой POSIX-совместимости не обещает, но одной ROMIO-библиотеки для её типичных применений оказывается вполне достаточно. А файловая система там -- это всё равно, что, к примеру, sshfs поверх fuse, типа, кому вообще в голову придёт от такой примочки требовать полной POSIX-совместимости.


"Компания SGI объявила о поддержке кластерной ФС Lustre"
Отправлено Аноним , 16-Май-11 10:09 
как смешно читать ваш бред.
все машины из top10 (и большинство из top500) имеют login node, c которых таки запускают и отлаживают программы.

А еще смешнее читать - учитывая что Linux местами очень не совместим с POSIX ;-)


"Компания SGI объявила о поддержке кластерной ФС Lustre"
Отправлено Омоним , 16-Май-11 20:22 
Честно говоря, не понял, к чему эти лозунги. Пользователи Lustre - это крупнейшие производители и/или пользователи суперкомпьютеров. Вы лично с вашими познаниями в распределенных ФС и попытками прицепиться к тексту, смысл которого вам был разъяснен, никому не интересны.

"Компания SGI объявила о поддержке кластерной ФС Lustre"
Отправлено Омоним , 14-Май-11 20:24 
>Т.е. в настоящее время наука не знает способов синхронизации доступа к носителям, контролирумыми разными системами

Всегда удивлялся, почему некоторые люди так любят делать утверждения вселенского масштаба, не имея представления даже об азах.


"Компания SGI объявила о поддержке кластерной ФС Lustre"
Отправлено pofig , 13-Май-11 04:23 
Ага, вот такие оряклы до чужого добра жадные.

Тока чего-то я в ванильном ядре драйверов люстры не видел (как и CXFS, к слову), а вот ocfs2 - скока угодно!


"Компания SGI объявила о поддержке кластерной ФС Lustre"
Отправлено Аноним , 14-Май-11 20:22 
> Ага, вот такие оряклы до чужого добра жадные.
> Тока чего-то я в ванильном ядре драйверов люстры не видел (как и
> CXFS, к слову), а вот ocfs2 - скока угодно!

Наверно по тому что - для быстрой работы люстры нужна была стопка патчей - которые не очень вязались и идеологией linux VFS (как было и у рейсерФС) - кроме того у люстры совершенно свой сетевой стек и не самый маленький ее кусок.
К слову принято решение о том что lustre client будет в vanila kernel и работы в этом направлении идут.


PS. а скажите внутренний формат OCFS2 до сих пор не умеет адресовать болье 256 нод? а как OCFS2 будет работать на кластере с 6 000 нод используемых к слову в NASA и обслуживаемый SGI?