Компания SGI объявила (http://www.sgi.com/company_info/newsroom/press_releases/2011... о присоединении к некоммерческой организации OpenSFS (http://www.opensfs.org/), основанной группой производителей кластерных систем, заинтересованных в дальнейшем развитии и независимой поддержке файловой системы Lustre (http://www.lustre.org/). По заявлению SGI отныне компания готова предоставлять клиентам полный спектр возможных услуг поддержки кластерных решений на базе Lustre. Отдельно отмечается, что поддержка Lustre будет оказываться на том же уровне, что осуществляется поддержка собственной кластерной ФС SGI - CXFSTM.Среди членов OpenSFS можно отметить компанию Cray, Ливерморскую национальную лабораторию (http://ru.wikipedia.org/wiki/%D0%9B%D0%B... и Национальный вычислител...
URL: http://www.sgi.com/company_info/newsroom/press_releases/2011...
Новость: http://www.opennet.me/opennews/art.shtml?num=30544
народ! а кто в курсе, чё там в оракловом? с zfs скрестить планы ещё есть?
этот сабж то понятен, по ссылке линух в апстриме.
Запуском люстры поверх zfsовского менеджера томов в линаксе занимается Белендорф, без участия оракла.
Ораклу люстра пока неинтересна.
вобще этим занимался Sun до покупки Ораклом - а потом стало сложно.
Ибо народу даже в WC не так что бы много.
Открыли бы они CXFS, было бы чудно.
---
Ораклов уже жалко становиться - OpenOffice просрали, недавно Hudson, теперь Люстру,
OpenSolaris закопали, BTRFS превратилась из FS в Систему резервного хранения данных,
кому нужен Oracle Linux, при живом-то RHEL, не ясно!? Гугла Жаву ворует и ещё судится.
ОpenJDK не дают закрыть. ... как жить,... как жить... :)
От люстры они сами отказались уже как несколько месяцев назад
Зато саппорт MySQL подорожал. А ненужное выкидывают, да.
>>ненужное выкидываютСовершенно верно. В настоящее время все эти распределенные кластерные файловые системы натуральная петриковщина. Т.е. мошенничество, где клиента обувают с помощью высокотехнологичной фразеологии.
Т.е. клиент, когда слышит про файловые системы, думает про POSIX-совместимость (это, если клиент юниксоид, умеют ли думать вендузятнеги наука пока не установила), или, грубо говоря, он надеется, что его любимая программа не будет вылетать с жалобами на ошибки при записи/чтении файла. А на самом-то деле производители распределённых "файловых систем" подразумевают при этом что-то совсем своё. Т.е. в настоящее время наука не знает способов синхронизации доступа к носителям, контролирумыми разными системами (т.е. с шаред-дисками всё нормально, там непосредственную запись на диск выполняет одна система), чтобы оно натягивалось на POSIX-семантику. Видимо, Ларри Эллисон это тоже понимает.
А что там на top500 крутится, это ещё не показатель. На top500 работает весьма специальное ПО, и ему что POSIX, что не POSIX ... Достаточно MPI-IO стандарта, чтоб фактически программа сама (ну, разумеется, с помощью весьма недешевого штата админов) контролировала доступ к файлу.
>>>ненужное выкидывают
> А что там на top500 крутится, это ещё не показатель. На top500
> работает весьма специальное ПО, и ему что POSIX, что не POSIX
> ... Достаточно MPI-IO стандарта, чтоб фактически программа сама (ну, разумеется, с
> помощью весьма недешевого штата админов) контролировала доступ к файлу.Люстра является POSIX совместимой. И при этом имела native клиентов для Linux/Win32, старый порт на OS/X. И все где может работать Fuse.
И очень много усилий тратилось именно на поддержку POSIX семантики.
А что до синхронизации.. надеюсь мисье может прочитать в wiki расшифровку DLM и почитает на wiki.lustre.org о LDLM.
# POSIX compliance: The full POSIX test suite passes with _limited exceptions_ on Lustre clients. In a cluster, _most operations are atomic_ so that clients never see stale data or metadata. Lustre supports mmap() file I/O.
>with _limited exceptions_Ага. Например, если клиент читает данные из своего кэша, то другие клиенты не увидят обновление atime. Потому что иначе сеть ляжет. Впрочем, насколько я помню, планировалось реализовать (и, возможно, уже реализован) в полном объеме relatime.
atime давно уже можно заставить обновлять.
Вот только не надо мне что-то впаривать, всё равно я не ваш клиент. Основное моё возражение против распределенных файловых систем - что они не полностью POSIX-совместимы и иногда это очень сильно выходит боком. Тут меня начали окучивать, что, де, это всё не так, а оно всё POSIX-совместимо, на что была продемонстрирована цитата с домашней страницы. После этого окучивание перешло на следующий уровень, типа, эта несовместимость она совсем-совсем маленькая и вы её практически никогда не увидите. Спасибо, конечно, но я знаю, что когда я её увижу мне будет очень-очень больно.top500 - это очень специальные системы и очень специальные задачи. POSIX-совместимость там ни разу никому не интересна. Может там вообще ни шелла, ни пользователей нету, а задачи выставляются туда через толстый PBS, типа, слёрма и торка, который позаботится, чтобы в каждый конкретный момент на каждом конкретном процессоре выполнялась ровно одна вычислительная задача (а нефиг контексты переключать). Вон, pvfs2 вообще никакой POSIX-совместимости не обещает, но одной ROMIO-библиотеки для её типичных применений оказывается вполне достаточно. А файловая система там -- это всё равно, что, к примеру, sshfs поверх fuse, типа, кому вообще в голову придёт от такой примочки требовать полной POSIX-совместимости.
как смешно читать ваш бред.
все машины из top10 (и большинство из top500) имеют login node, c которых таки запускают и отлаживают программы.А еще смешнее читать - учитывая что Linux местами очень не совместим с POSIX ;-)
Честно говоря, не понял, к чему эти лозунги. Пользователи Lustre - это крупнейшие производители и/или пользователи суперкомпьютеров. Вы лично с вашими познаниями в распределенных ФС и попытками прицепиться к тексту, смысл которого вам был разъяснен, никому не интересны.
>Т.е. в настоящее время наука не знает способов синхронизации доступа к носителям, контролирумыми разными системамиВсегда удивлялся, почему некоторые люди так любят делать утверждения вселенского масштаба, не имея представления даже об азах.
Ага, вот такие оряклы до чужого добра жадные.Тока чего-то я в ванильном ядре драйверов люстры не видел (как и CXFS, к слову), а вот ocfs2 - скока угодно!
> Ага, вот такие оряклы до чужого добра жадные.
> Тока чего-то я в ванильном ядре драйверов люстры не видел (как и
> CXFS, к слову), а вот ocfs2 - скока угодно!Наверно по тому что - для быстрой работы люстры нужна была стопка патчей - которые не очень вязались и идеологией linux VFS (как было и у рейсерФС) - кроме того у люстры совершенно свой сетевой стек и не самый маленький ее кусок.
К слову принято решение о том что lustre client будет в vanila kernel и работы в этом направлении идут.
PS. а скажите внутренний формат OCFS2 до сих пор не умеет адресовать болье 256 нод? а как OCFS2 будет работать на кластере с 6 000 нод используемых к слову в NASA и обслуживаемый SGI?