https://www.opennet.ru/openforum/vsluhforumID3/112421.html Состоялся (https://www.mail-archive.com/lustre-announce@lists.lustre.org/msg00129.html) релиз кластерной файловой системы Lustre 2.10.1 (http://lustre.org/), используемой в большей части крупнейших (http://top500.org) Linux-кластеров, содержащих десятки тысяч узлов. Масштабируемость на столь крупных системах достигается благодаря многокомпонентной архитектуре. Ключевыми компонентами Lustre являются серверы обработки и хранения метаданных (MDS, MDT), управляющие серверы (MGT, MGS), серверы хранения объектов (OSS), серверы размещения объектов (OST, поддерживается работа поверх ext4 и ZFS) и клиенты (код клиента входит в состав штатного ядра Linux).<br><br><br>В новой версии добавлена (http://wiki.lustre.org/Lustre_2.10.1_Changelog) поддержка использования дистрибутива RHEL 7.4 для серверных и клиентских компонентов Lustre, а также поддержка Ubuntu 16.04 и RHEL 6.9 для клиентских компонентов. Код ZFS обновлён до выпуска ZFS on Linux 0.7.1. В клиентских компонентах добавлена поддержка ядра Linux 4.9. Предоставлена воз https://www.opennet.ru/openforum/vsluhforumID3/112421.html#21 Mon, 09 Oct 2017 03:30:17 GMT в истории люстры был момент когда она жила на ext3+большая стопка патчей (в районе 1.4). Потом эти патчи влили в kernel.org и появилось ext4. C тех пор так и живет.<br> https://www.opennet.ru/openforum/vsluhforumID3/112421.html#20 Sat, 07 Oct 2017 21:31:47 GMT Ты, наверное, что-то путаешь.<br><br>Lustre просто непригодна для использования в больних датацентрах т.к. это довольно топорная ФС и у неё нет крайне важных функций: избыточность хранением данных в географически разнесённых хранилищах и автоматическая репликация. Так, по крайней мере, было минимум лет 10 и какое-то время назад обещали сделать простое избыточное хранение на уровне ФС, но судя по описаниям архитектуры, их всё ещё нет.<br><br>Надёжность и доступность данных в Lustre обеспечивается SAN, RAID'амим и прочими костылями. В компаниях врде гугла на больших кластерах не используют SAN, а вместо этого поднимают специальный софт на куче обычных хостов (см. https://en.wikipedia.org/wiki/Commodity_computing).<br><br>В общем, в гугле для этого использовали google file system (https://en.wikipedia.org/wiki/Google_File_System) и она совсем не похожа на Lustre. С тех пор они наделали ещё много чего.<br> https://www.opennet.ru/openforum/vsluhforumID3/112421.html#19 Sat, 07 Oct 2017 17:07:04 GMT У меня устаревшая на примерно полтора года информация, но в таком случае использования Ceph что-то дурное чудил с датами создания файлов. Осиливал, но чудил.<br>Как сейчас &#8212; не знаю, отошли от Ceph.<br> https://www.opennet.ru/openforum/vsluhforumID3/112421.html#18 Sat, 07 Oct 2017 08:43:28 GMT не было у гугля никакой ext3, разьве что где-то в побочных проектах - они, похоже, с самого начала поняли, что оно мертворожденное.<br>гугль развивал в качестве подложки под люстру свой форк ext2, пока не объявил что переходит на 4 w/o journal. Но, судя по некоторым признакам (включая вылезающие на свет патчи), по сей день не перешел окончательно (или вообще без шума и пыли отменил переход).<br><br>pdf с анонсом того перехода и сравнительным анализом характеристик, вероятно, ищущий еще может найти. Год примерно 2010-11, читать осторожно, поскольку сравнивается не-мэйнстримная ext2 с ext4 восьмилетней давности.<br><br>видимо, emc его читать не стала, и продолжила все ту же тему - но вот они информацией официально не делятся, поэтому очень интересно было бы услышать что-то от инсайдера.<br><br><br> https://www.opennet.ru/openforum/vsluhforumID3/112421.html#17 Fri, 06 Oct 2017 20:46:03 GMT люстра + ext2 это что-то новое ;-)<br><br>Лана было с ext3 - но очень давно.. а вот ext2.. <br> https://www.opennet.ru/openforum/vsluhforumID3/112421.html#15 Fri, 06 Oct 2017 06:20:02 GMT &gt;&gt; google ...<br>&gt; навряд ли, у них своих, более лучших, подeлий достаточно.<br><br>это и есть их свое более лучшее подeлие. И используют они его - с 2000х годов. То есть как написали, так и используют.<br><br><br><br><br> https://www.opennet.ru/openforum/vsluhforumID3/112421.html#14 Fri, 06 Oct 2017 05:50:00 GMT &gt; dell emc storages(lustre+ext2, сам в этом немного участвовал)<br><br>а можно подробностей - как участвовал, чего пилил, чего в результате получилось?<br>А то с гугля (они, кстати, тоже изначально делали на ext2, и, судя по тому что по сей день что-то в ней допиливают, часть нод так на ней и осталась) толку хрен, они очень не любят делиться внутренними подробностями.<br><br> https://www.opennet.ru/openforum/vsluhforumID3/112421.html#13 Thu, 05 Oct 2017 20:36:41 GMT &gt; google ...<br><br>навряд ли, у них своих, более лучших, поделий достаточно.<br> https://www.opennet.ru/openforum/vsluhforumID3/112421.html#12 Thu, 05 Oct 2017 18:59:43 GMT Ах да, за одно - можно ли создавать на Ceph - порядка 20000-30000 файлов в секунду?<br>При теоритическом пределе в 100к create/s<br>