The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Выпуск кластерной ФС Lustre 2.15"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от opennews (??), 17-Июн-22, 14:16 
Опубликован релиз кластерной файловой системы Lustre 2.15, используемой в большей части крупнейших Linux-кластеров, содержащих десятки тысяч узлов.  Ключевыми компонентами Lustre являются серверы обработки и хранения метаданных (MDS), управляющие серверы (MGS), серверы хранения объектов (OSS), хранилище объектов (OST, поддерживается работа поверх ext4 и ZFS) и клиенты.  Код проекта распространяется под лицензией GPLv2...

Подробнее: https://www.opennet.me/opennews/art.shtml?num=57369

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Выпуск кластерной ФС Lustre 2.15"  –3 +/
Сообщение от Аноним (1), 17-Июн-22, 14:16 
А почему BTRFS не поддерживается? Слишком клёвая/стабильная или забыли в анонсе?
Ответить | Правка | Наверх | Cообщить модератору

2. "Выпуск кластерной ФС Lustre 2.15"  –1 +/
Сообщение от Аноним (2), 17-Июн-22, 14:27 
Я вот тоже не понял, линукс и зфс и оксюморон.
Ответить | Правка | Наверх | Cообщить модератору

6. "Выпуск кластерной ФС Lustre 2.15"  +3 +/
Сообщение от n00by (ok), 17-Июн-22, 14:49 
ZFS же работает в Linux, берите и ставьте. Свободы что ли не хватает? :)
Ответить | Правка | Наверх | Cообщить модератору

10. "Выпуск кластерной ФС Lustre 2.15"  –2 +/
Сообщение от Аноним (10), 17-Июн-22, 16:26 
Геморроя по впихиванию стороннего кода в ядро избыточно.
Ответить | Правка | Наверх | Cообщить модератору

25. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (25), 18-Июн-22, 02:58 
Включается одним фагом в конфиге. Ты о чём вообще?
Ответить | Правка | Наверх | Cообщить модератору

41. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (41), 18-Июн-22, 15:17 
Вот прям вот можно теми пачами пропатчить совсем-совсем любой версии ядро, даже не LTS?
Ответить | Правка | Наверх | Cообщить модератору

45. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от n00by (ok), 18-Июн-22, 17:01 
Если не видели предмет в глаза, не смогли даже документацию найти, где написано про dkms, то зачем вообще лезете?
Ответить | Правка | Наверх | Cообщить модератору

55. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от anonymous (??), 20-Июн-22, 17:17 
Можно модулями собрать. Даже патчить ничего не надо.
Ответить | Правка | К родителю #41 | Наверх | Cообщить модератору

42. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (41), 18-Июн-22, 15:21 
Хочу Reiser4. Ну а чё? Условия её существования в Linux точно такие же.
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

46. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от n00by (ok), 18-Июн-22, 17:06 
Ну да, "точно" такие же. Я ставил и ZFS, и R4. А кто-то всё хочет. Как в той автономной ОС с вечным "хорошо бы кто-то это сделал за нас".
Ответить | Правка | Наверх | Cообщить модератору

4. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (4), 17-Июн-22, 14:31 
Это такой намек что это нестабильное ненужно не нужно.  
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

8. "Выпуск кластерной ФС Lustre 2.15"  –1 +/
Сообщение от Аноним (2), 17-Июн-22, 15:00 
> Это такой намек что это нестабильное ненужно не нужно.

ZoneFS не хватит всем.

Ответить | Правка | Наверх | Cообщить модератору

9. "Выпуск кластерной ФС Lustre 2.15"  +1 +/
Сообщение от Аноним (9), 17-Июн-22, 15:41 
>  А почему BTRFS не поддерживается? Слишком клёвая/стабильная или забыли в анонсе?

Есть два варианта: "с тормозами" и "без тормозов".
ZFS тормозит ничуть не хуже btrfs, а большего от неё и не требуется (в данном контексте применения).

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

16. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от maximnik0 (?), 18-Июн-22, 00:05 
>А почему BTRFS не поддерживается?

И будете весь обьем набирать через LVM или OSS/OST ?Не забыли то что raid на BTRFS определенных вариантов только 1,5 года как более менее стабильным стал ? А с стабильностью по прежнему есть проблеммы-к примеру сжатие отвалиться на плохо сжимаемых данных,баг плохо воиспроизводиться и его ловят уже давно.А как же ... (вставить компанию) используют- а так же как Гугл ext4 -горы падчей,не отданных в основную ветку ядра(по слухам в гугловском ext4 даже сжатие есть и упаковка мелких данных в инод.)

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

43. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (41), 18-Июн-22, 15:28 
>сжатие отвалиться на плохо сжимаемых данных

Так, может, это не баг, а фича? Попытка сжатия плохо сжимаемых данных часто приводит к увеличению размера сжатого, по сравнению с исходным.

Ответить | Правка | Наверх | Cообщить модератору

48. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от maximnik0 (?), 18-Июн-22, 23:07 
>Так, может, это не баг, а фича?

Поясню как работает алгоритм на Btrfs.Если включено сжатие то перед записью пытаеться  блок данных сжать выставленным алгоритмом.После обработки сравниваеться размер- если сжалось то на блок выставляеться флаг сжатый и он записываеться.Если размер не изменился или больше (да бывает и такое) записываеться незжатый блок.Баг состоит в том что часть модуля фс  отвечающие за  сжатие отваливаеться что не должно происходить,т.к это часто приводит к ошибке на ФС.Предпологают из за того что данные плохо сжимаються- а)проблемма где то в железе у юзеров что возможно в связи с антиспектровскими мерами б)Дольше происходит обработка и возникает где то рассинхронизация или утечка памяти.

Ответить | Правка | Наверх | Cообщить модератору

17. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (-), 18-Июн-22, 02:21 
Надо знать и понимать, что такое BTRFS. Я использую BTRFS на HDD. Из всех функция BTRFS я пользуюсь сжатие, авто дефрагмитацией и проверками файловой системы на ошибки. https://habr.com/ru/post/476414/
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

18. "Выпуск кластерной ФС Lustre 2.15"  –1 +/
Сообщение от Аноним (-), 18-Июн-22, 02:22 
Из всех функция BTRFS
Ответить | Правка | Наверх | Cообщить модератору

19. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (-), 18-Июн-22, 02:23 
функциий
Ответить | Правка | Наверх | Cообщить модератору

20. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (-), 18-Июн-22, 02:34 
И это виртуальный диск 16Гб с опер системой. Я для не виртуального диска с опер ситемой использовал  20Г тоже использовал BTRFS, но для доступа к разделу из Win, на рельном разделе перешол на EXT4. Всё на HDD.
Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

21. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (-), 18-Июн-22, 02:44 
К EXT4 у меня доступ из Win без записи, только чтение и копирование (экспорт).
Ответить | Правка | Наверх | Cообщить модератору

22. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (-), 18-Июн-22, 02:47 
С записью и чтением у мен EXT2 и NTFS.
Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

26. "Выпуск кластерной ФС Lustre 2.15"  –1 +/
Сообщение от Аноним (-), 18-Июн-22, 02:59 
20ГиБ это раздел а не диск.
Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

27. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (-), 18-Июн-22, 03:09 
А для flash USB extfat с пониженым кластером. Размер кластера зависит от задачь.
Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

28. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (-), 18-Июн-22, 03:10 
Или так: с уменьшенным кластером.
Ответить | Правка | Наверх | Cообщить модератору

23. "Выпуск кластерной ФС Lustre 2.15"  –1 +/
Сообщение от Аноним (-), 18-Июн-22, 02:51 
Мой выбор файловых ситем был ограничен тем, что включено в ядро и видят опер системы. Я попробовал и выбрал. ZFS я не пробол в использовании. Сюдя по иписаниям мне ZFS и не нужна.
Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

24. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (-), 18-Июн-22, 02:52 
Судя
Ответить | Правка | Наверх | Cообщить модератору

44. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (41), 18-Июн-22, 15:32 
На локалхосте она 120% ненужна.
Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

30. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от maximnik0 (?), 18-Июн-22, 04:18 
>Надо знать и понимать, что такое BTRFS.

Я только знаю одно- по прежнему хреново чиниться она и где то совместимость с старой версией сломана.Специально проверял 6 летний проблемный диск с архивом,ошибка коннтрольных сумм.Данные целые,диск только чтение,контольные суммы архивов совподают (есть еще 2 этих архива на других дисках с ext4 с контролльной суммой и данными для востановления-par2),не чем не чиниться,даже сбос контрольной суммы не помогает,утилиты тупо падают.Проверил формат на этом диске-нет block groups ,включал все равно не помогает.Похоже бэкап с данными для востановления-единственный способ ченить эту фс без головного секса.

Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

31. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от maximnik0 (?), 18-Июн-22, 04:50 
Ошибся при копирование skinny-metadata вместо block groups
Ответить | Правка | Наверх | Cообщить модератору

32. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (-), 18-Июн-22, 10:36 
В году 17 вроде в 2017 в какой-то части планеты Земля в Google датацентр в один день два раза попала молния. Вроде что-то восстановили, а что-то нет. Компьторные системы работающие постояно с огромным количеством информации это хрупкие ситемы. Например раз, и тока нет, что с кеша успело то и записалось. Два, фины влезли у которых в финляндии находятся датацентр Яндекс, сказали всё электричество мы вам постовлять в ваш датацентр не будем в прошлом месяце было. Ладно, в Яндекс запустили дизель генератор или генераторы. https://habr.com/ru/news/t/668142/
Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

33. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (-), 18-Июн-22, 10:36 
Данные на дисках вроде что-то восстановили, а что-то нет.
Ответить | Правка | Наверх | Cообщить модератору

35. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от maximnik0 (?), 18-Июн-22, 12:49 
> Данные на дисках вроде что-то восстановили, а что-то нет.

Что то странное.По идее катострофоустойчивое хранилище данных должно географически разнесено.Выход 2 из 3 центров не должен приводить к утере информации,и из за этого с востановлением инфы Гугл не заморачиваеться.Как призошел серьезный сбой запускаються резерные стойки и запускаеться процедура автоматического залития с уцелевшей стойки.Как писали специалисты гугла это быстрее чем проверять диски и инфу на ошибки.Видать совсем страшный сбой случился что с этим заморочились.

Ответить | Правка | Наверх | Cообщить модератору

36. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (-), 18-Июн-22, 13:21 
Подробностей у меня нет я это коротко на радио слышал.
Ответить | Правка | Наверх | Cообщить модератору

37. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (-), 18-Июн-22, 13:23 
Без подобностей было сказано.
Ответить | Правка | Наверх | Cообщить модератору

38. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (-), 18-Июн-22, 14:03 
Я уже плохо помню, что было с информацией. Логика подсказывает, а смысл это довать в эфир еслибы всё было нормально. Но уже непомню точно.
Ответить | Правка | К родителю #36 | Наверх | Cообщить модератору

39. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (-), 18-Июн-22, 14:14 
Пишут. Не два, а четыре раза подряд и в 2015 году. Часть даных востановили чать потеряли. В Бельги было.

"13 августа во время грозы в Бельгии молния четыре раза ударила в дата-центр Google, поддерживающий работу The Google Computer Engine (GCE) — сервиса, который позволяет пользователям хранить данные и запускать виртуальные машины из «облака». Сразу же после инцидента некоторые клиенты компании потеряли доступ к своим файлам: часть дисков была повреждена. Со временем информация была восстановлена, но не полностью. Как утверждают в Google, в редчайшем инциденте было потеряно около 0,000001% данных"

https://infocity.az/2015/08/%D0%B2-%D0%B.../

Ответить | Правка | К родителю #35 | Наверх | Cообщить модератору

40. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (-), 18-Июн-22, 14:22 
   " Несмотря на то, что автоматические вспомогательные системы восстановили напряжение быстро, и хранилище было создано с возможностью резервного питания от батареи, некоторые свежезаписанные данные находились на восприимчивых к усиленным или многократным перепадам напряжения дисковых системах.
    из официального заявления Google

В Google заверили, что продолжат совершенствовать своё оборудование, чтобы предусмотреть даже такие редкие инциденты. Представитель компании Future-Tech, консультирующей Google в вопросах создания дата-центров отметил, что такая агрессивная «атака» не могла пройти бесследно.

    В дата-центре всё между собой, так или иначе, связано. Если вы получите целых четыре удара молнии, я не удивлюсь, если это каким-то образом повлияет на предприятие.
    представитель Future-Tech

" даже хорошо защищённый дата-центр может попасть под действие молнии, если та ударит в линии электропередач или телекоммуникационные кабели, поэтому крупные компании по-прежнему оставляют возможность для пользователей сохранять данные у себя на компьютере"

Ответить | Правка | Наверх | Cообщить модератору

34. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (-), 18-Июн-22, 10:40 
Ох и много шума от работающего дизель генератора, а если он не один.
Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

51. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от пох. (?), 19-Июн-22, 22:35 
Не сцы, из Еревана не слышно!

Ответить | Правка | Наверх | Cообщить модератору

50. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от username (??), 19-Июн-22, 10:11 
А начерта тебе BTRFS? ОС и файловая система выбираются из требований софта, который ты будешь ставить, а не наоборот
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

53. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (53), 20-Июн-22, 03:13 
> А почему BTRFS не поддерживается?

Ругательное слово потому что.

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

3. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (4), 17-Июн-22, 14:30 
На самом деле вот как надо ключевое слово RAIDIX https://habr.com/ru/company/croc/blog/246155/
Ответить | Правка | Наверх | Cообщить модератору

13. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (53), 17-Июн-22, 17:52 
Лучше бы они дальше грибы ели :)
Ответить | Правка | Наверх | Cообщить модератору

15. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от пох. (?), 17-Июн-22, 23:19 
Судя по сумбурности текста и отсутствию хоть какого-то технического правдоподобия - они их есть и не переставали никогда.

Т.е. чуваки выпилили на коленке то что делает интеловская isa-l (да, я вижу что они додумались в 2008м когда ее еще не было) плюс какой-то непонятного вида непонятно чего менеджмент дисков на непонятном уровне (сами писали драйверы? Хммм... что-то не очень верится.) и взгромоздили поверх непонятный рейд (видимо, имелось в виду ec(7,3) хотя это несколько странное комбо) на неведомых (!) полиномах.

А потом их купил croc "и вот все об этом человеке".

Полагаю, надо быть очень смелым и отважным чтобы решиться такое поставить. С кроковской поддержкой в том числе (то есть в первую очередь из-за нее, потому что вряд ли люди умеющие в поля Галуа пойдут в Крок техподдержкой).

Ответить | Правка | Наверх | Cообщить модератору

5. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Анонимemail (5), 17-Июн-22, 14:47 
А есть сравнение с HAMMER2?
Ответить | Правка | Наверх | Cообщить модератору

7. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (7), 17-Июн-22, 14:50 
Сравни и будет.
Ответить | Правка | Наверх | Cообщить модератору

11. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (10), 17-Июн-22, 16:29 
А толку от сравнения? Где вы найдёте кластер сплошь на Стрекозах?
Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

12. "Выпуск кластерной ФС Lustre 2.15"  +1 +/
Сообщение от 1 (??), 17-Июн-22, 16:51 
портани молоток под линукс и сравним
Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

29. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от Аноним (-), 18-Июн-22, 03:23 
https://www.youtube.com/watch?v=n1BIbSI5vNs
Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

14. "Выпуск кластерной ФС Lustre 2.15"  +2 +/
Сообщение от Аноним (14), 17-Июн-22, 20:44 
Lustre — хорошая блэк-метал-группа. Заслушиваюсь.
Ответить | Правка | Наверх | Cообщить модератору

47. "Выпуск кластерной ФС Lustre 2.15"  +1 +/
Сообщение от ананим.orig (?), 18-Июн-22, 20:02 
эта фс.
фолк стрит.
Ответить | Правка | Наверх | Cообщить модератору

54. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от nebularia (ok), 20-Июн-22, 13:06 
Таки это один человек, не группа)
Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

49. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от InuYasha (??), 18-Июн-22, 23:57 
Как ни спрашивал у "крупняков" - всё какой-то долгострой "мы хотим/собираемся/щупаем", и как-то глухо ) Хотя, знал один ДЦ, где был вариант "люстра собирается", причём, на проде и клиенты ждали этого представления ... долго. ) Жду каментов от поха )
Ответить | Правка | Наверх | Cообщить модератору

52. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от пох. (?), 19-Июн-22, 22:37 
Э... про что тебе камменты? Ты себе область применения люстры вообще-то представляешь?

Оно надо гуглю, гуглю и гуглю. И больше в общем-то никому.

Ответить | Правка | Наверх | Cообщить модератору

56. "Выпуск кластерной ФС Lustre 2.15"  +/
Сообщение от InuYasha (??), 23-Июн-22, 14:51 
Шизики со своими Ломоносами кринжуют в сторонке )
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру