Ted Ts'o, основной разработчик файловых систем ext2, ext3 и ext4, отметил (http://thunk.org/tytso/blog/2010/11/01/i-have-the-money-shot.../) в своем блоге, что последние оптимизации кода файловой системы Ext4 позволили (http://free.linux.hp.com/~enw/ext4/2.6.36-rc6/) вплотную приблизиться по производительности создания больших файлов к файловой системе XFS. Тест производительности был выполнен на 4-процессорном сервере, укомплектованном 6-ядерными CPU AMD (в сумме 48 ядер), 256 Гб ОЗУ и 24-дисковым SAS-хранилищем. Ранее бесспорным лидером при организации подобных хранилищ (тест проводился на дисковом разделе, размером 7 Тб) была файловая система XFS, теперь и ФС Ext4 продемонстрировала подобные возможности масштабирования.<center><a href="http://free.linux.hp.com/~enw/ext4/2.6.36-rc6/large_file_cre... src="http://www.opennet.me/opennews/pics_base/28498_1288692241.jp... style="border-style: solid; border-color: #e9ead6; border-width: 15px;" title="" b...
URL: http://thunk.org/tytso/blog/2010/11/01/i-have-the-money-shot.../
Новость: http://www.opennet.me/opennews/art.shtml?num=28498
Зато со стабильностью все еще никак. Уже обжагался несколько раз на ext4. Проблемы вплоть до потери данных и самой ФС были начиная с ext4dev и кончая текущим ее состоянием.
У меня один production server на Ext4 CentOS стандартный build. Все пашет уже больше года.
берём 200л бочку, заполняем парафином, спускаем канат до дна, держим какое-то время, ставим полученную свечку и надеемся, что прокатит, с ext4
И я эту свечку поставлю за здравие этой фс и ее разработчиков.
А у меня как-то раз стеклянный стакан с 9 этажа упал и не разбился. Какой надо сделать вывод?
> А у меня как-то раз стеклянный стакан с 9 этажа упал и
> не разбился. Какой надо сделать вывод?Думаю, что стакан оказался не из стекла. Или что он упал на мягкую поверхность. У вас другие варианты?
> Думаю, что стакан оказался не из стекла. Или что он упал на
> мягкую поверхность. У вас другие варианты?Судя по вашей предыдущей реплике вывод должен быть о практической неразбиваемости стеклянных стаканов.
> Судя по вашей предыдущей реплике вывод должен быть о практической неразбиваемости
> стеклянных стаканов.Ровно в той же степени, что и вывод daemonpnz, не так ли? Только я-то в своем мнении опираюсь, например, на Google: http://arstechnica.com/open-source/news/2010/01/google-upgra...
А на что опирается daemonpnz?
>> Судя по вашей предыдущей реплике вывод должен быть о практической неразбиваемости
>> стеклянных стаканов.
> Ровно в той же степени, что и вывод daemonpnz, не так ли?
> А на что опирается daemonpnz?Опираюсь исключительно на личный опыт. Вывод один: на моих и компах близких и родственников ext4 фейлилась с потерей данных. reiserfs и btrfs работают нормально.
>ext4 фейлилась с потерей данных. reiserfs и btrfs работают нормально.на райзере терял файлы, на экст4 - нет (т.е., в данном контексте - не показатель), бтрфс - ну не знаю, наскока это решение можно считать массовым ;)
а вот то, что РХ поддерживает экст4, в своих решениях - это +
факты в студию ?
> Проблемы вплоть до потери данных и самой ФС были начиная с
> ext4dev и кончая текущим ее состоянием.Не знаю у кого там что было а я юзаю ext4 уже и постепенно на нее везде переползаю и пока от этого ни разу не пострадал. А ext4dev на то и dev чтобы быть сырым, не так ли? :)
>> Проблемы вплоть до потери данных и самой ФС были начиная с
>> ext4dev и кончая текущим ее состоянием.
> Не знаю у кого там что было а я юзаю ext4 уже
> и постепенно на нее везде переползаю и пока от этого ни
> разу не пострадал. А ext4dev на то и dev чтобы быть
> сырым, не так ли? :)У меня btrfs дома работает надежнее этой ваше ext4. А все компы в продакшене используют исключительно reiserfs.
> У меня btrfs дома работает надежнее этой ваше ext4.А что вы включаете в понятие надежности? В лично *моем* понимании надежность включает в себя и возможность восстановления частично разрушенного тома с частично некорректными или нечитабельными структурами. С минимально возможной потерей данных - в идеале выпасть должно только то что реально разрушено. Так, мало ли. На случай аварии.(бэкапы - это круто, но обычно бэкапать удается только наиболее ценную инфу из-за затрат на средства хранения бэкапов). BTRFS в этом плане пока нечем особо покозырять: если не повезет и ФС развалится, врядли у вас выйдет отскрести ее от асфальта. Это стоит понимать. А так то да - CoW дизайн сам по себе принципиально надежнее классического. За счет недеструктивной записи. Только вот это один из возможных сценариев, допускающий что винч - идеален, бэдов и сбоев железа - нет, etc.
А случаи - они разные бывают. Конкретный пример: был винч у юзеря. Древненький. С ext3. Винч слегонца пошел бэдами, сугубо от старости. Фирмваре диска почему-то тупануло и не стало релокейтить проблемные сектора на запасные, предоставив юзера на произвол судьбы (FAIL!). Ну, я пободался да и слил образ ФС утилями которые продвинуто читают с плохих дисков. В итоге поимел образ где выпал всего с ~десяток 512-байтных секторов (они отказались читаться даже после множества повторных попыток чтения). Extовский fsck без особых проблем привел сие в моунтабельное состояние и разрушения оказались небольшие. Тем не менее - слегка зацепило метаданные ФС. Но все-таки, почти все данные с тома удалось отколупать (несколько файлов отлетело в lost and found, etc). Вот где-то так и должна работать реальная ФС для реального мира.
> А все компы в продакшене используют исключительно reiserfs.
Флаг вам в руки и барабан на шею. А я как-то многовато предъяв видел к рейзерским тулзам восстановления ФС. При том крутых таких предъяв: вылезает какая-то пролема, том выпадает в ридонли. При попытке fsck'нуть - рейзеровский fsck почему-то окончательно гробит том, к бурной радости его обладателей. Ну вот например одни из победителей данной лотереи: http://forum.amule.org/index.php?topic=16620.0
>> У меня btrfs дома работает надежнее этой ваше ext4.
> А что вы включаете в понятие надежности?Надежность, это то, что не падает и не гробит данные, а не костыли для лечения постоянных падений и разрушений. Ваш КО.
Ну, меня не интересуют сферические кони в вакууме. Абсолютно надежного оборудования - не бывает: реальное оборудование вполне может подкинуть сюрпризов. Впрочем, товарисч который несколько раз выигрывал в лотерею имени Рейзера, утверждает что рейзер у него давал дуба и на совершенно исправном оборудовании. См длинный, злой и не очень цензурный пост на http://forum.amule.org/index.php?topic=16620.0 с описанием злоключений чувака по части рейзера.При том я понимаю еще если бы он такой один был. Но чувак привел минимум 4 инцедента встретившиеся за его жизнь. А гугл еще и намекает что таких победителей лотереи попадается достаточно много, и это при том что тех кто юзает рейзера - еще поискать.
Для лично меня вал подобных сообщений служит достаточным пруфом хотя-бы того что утилиты рекавери ФС у рейзера оставляют желать много лучшего.
> Ну, меня не интересуют сферические кони в вакууме. Абсолютно надежного оборудования -
> не бывает: реальное оборудование вполне может подкинуть сюрпризов.Я периодически пробую ext4 и пока каждая попытка заканчивалась фейлом с потерей данных. С btrfs и reiserfs фейлов с потерей данных У МЕНЯ не случалось.
> Я периодически пробую ext4 и пока каждая попытка заканчивалась фейлом с потерей данных.А чего с ним надо сделать, чтобы данные потерять? Чтобы рейзер допустим в том же случае с аналогичными по смыслу настройками и действиями не потерял бы данные, а ext4 - потерял? Мне известно несколько ошибок которые вели к потере данных в EXT4, но они давно починены и вообще, вылезали в весьма редких ситуациях. Ах ну да, развмеется кернел меньше .32 с EXT4 будет использовать только мазохист - оно окончательно застабилизировалось где-то в начале .30 ядер. Алсо, могу себе представить дистроклепателей которые ввинтят какие-нить неудачные дефолты.
> С btrfs и reiserfs фейлов с потерей данных У МЕНЯ не случалось.
Один человек - не статистика (хотя и повод изучить инцеденты - вдруг там натурально баг?!). За стабильность btrfs могу только порадоваться, в принципе подумываю о попытке поюзать ее гденить в неответственном месте уже более-менее всерьез. Вот чего в ней хорошо - ей по идее слеты питания будут более-менее пофигу за счет недеструктивной записи. Однако ж пока там все довольно плохо с утилями для восстановления ФС. А что если на винче бэд вылезет, например?
> Вот чего в ней хорошо - ей по идее слеты питания будут более-менее пофигу за счет недеструктивной записиЯ сейчас пытаюсь выяснить причины неудачного засыпания ноутов самсунг на ядрах 2.6.34+, соответственно фс уже выдержала не один десяток аппаратных poweroff при неудачных wakeup'ах, и всё живо-здорово.
> пока там все довольно плохо с утилями для восстановления ФС
По ридмям утверждается, что потеряться могут данные (файлы) при краше/потере питания в определённых действиях - переименовании (перемещении) или перезаписи файлов. Сама фс при этом не должна страдать. Выйдет fsck.btrfs - поглядим, насколько всё плёхо :)
> А что если на винче бэд вылезет, например?
Ну, во-первых смотря где вылезет, во-вторых btrfs держит метаданные в нескольких копиях в разных местах, так что, думаю, всё будет хорошо (для фс).
> wakeup'ах, и всё живо-здорово.Да кто б спорил - именно вот такое btrfs должен бы выдерживать на ура, за счет своей природы.
> По ридмям утверждается, что потеряться могут данные (файлы) при краше/потере питания в
> определённых действиях - переименовании (перемещении) или перезаписи файлов.А что за ридми такое? Где оно обитает? А то интересно, как перезапись файлов может вызвать проблемы.
>Сама фс при этом не должна страдать. Выйдет fsck.btrfs - поглядим, насколько всё плёхо :)
Ну вот хотелось бы утиль проверяющий корректность структур ФС и умеющий отскребать от асфальта останки ДО того как реальные данные на ФС грузить. Потому что бэкапы конечно рулят, но бэкапать все и вся - геморно и долго :).
>> А что если на винче бэд вылезет, например?
> Ну, во-первых смотря где вылезет, во-вторых btrfs держит метаданные в нескольких копиях
> в разных местах, так что, думаю, всё будет хорошо (для фс).Я в курсе, однако ж случаи разные бывают. Мало ли - оперативка сбойнет например или проц перегреется и метаданные кривые запишутся. Утиль проверяющий логическую корректность структур и пытающийся отскрести от асфальта то что отскребается - лишним не бывает.
> Я периодически пробую ext4 и пока каждая попытка заканчивалась фейлом с потерей
> данных.Использую ext4 больше года. Ни разу не фейлился.
>Тест производительности был выполнен на 4-процессорном сервере, укомплектованном 6-ядерными CPU AMD (в сумме 48 ядер), 256 Гб ОЗУ и 24-дисковым SAS-хранилищем.Линукс точно готов для десктопа
>4-процессорном сервере, укомплектованном 6-ядерными CPU AMD (в сумме 48 ядер6 х 4 = 24 не?
> Supports up to eight 6 core AMD Opteron™ 8400 Series processors8 процессоров x 6 ядер = 48.
> These benchmarks were done on a 48-core AMD system (4 sockets, 6 cores/socket)4 сокета, по 6 ядер на сокет, получаем 24 ядра. Или на АМД есть гипертрейдинг и он считается за ядро?
>> These benchmarks were done on a 48-core AMD system (4 sockets, 6 cores/socket)
> 4 сокета, по 6 ядер на сокет, получаем 24 ядра. Или на
> АМД есть гипертрейдинг и он считается за ядро?Откуда 4 сокета? На HP ProLiant DL785 G6 их 8.
> Откуда 4 сокета? На HP ProLiant DL785 G6 их 8.Отсюда - http://thunk.org/tytso/blog/2010/11/01/i-have-the-money-shot.../
>> Откуда 4 сокета? На HP ProLiant DL785 G6 их 8.
> Отсюда - http://thunk.org/tytso/blog/2010/11/01/i-have-the-money-shot.../Действительно, видимо там ошибка я смотрел только http://free.linux.hp.com/~enw/ext4/2.6.36-rc6/ и datashit на HP ProLiant DL785 G6
И скока из этих ядер учавствовали в копировании? Прям что, в 24 ядра копёж?
Ага. Только дырка одна.
> И скока из этих ядер учавствовали в копировании? Прям что, в 24
> ядра копёж?А чо.
24 SAS диска.
По ядру на диск =)
>>4-процессорном сервере, укомплектованном 6-ядерными CPU AMD (в сумме 48 ядер)
> Линукс точно готов для десктопаТолько не надо завидовать! Ну похвастался Тэд в блоге своим десктопом %) -- ему можно! :D
большие файлы по их мнению это сколько десятков гиг?
> большие файлы по их мнению это сколько десятков гиг?Это когда дискетами переносить уже неудобно)
для массового применения гораздо интереснее показатели при работе на типовом десктопе (2 ядра, 4ГБ озу, парочка SATA дисков)
Так никто ж не проплатил для десктопа, зато для сервера пожалуйста ;)
А статью прочесть? На "типовом десктопе" у XFS особых преимуществ перед Ext4 нет (как и перед Ext3, кстати), и это уже много раз показывали - она хорошо себя показывает в больших хранилищах, на Raid, где есть возможность рапаллельной записи. Теперь же и Ext4 научили масштабироваться.
> для массового применения гораздо интереснее показатели при работе на типовом десктопе (2
> ядра, 4ГБ озу, парочка SATA дисков)Поставьте себе на десктоп - узнаете =)
За почти год использования на ноуте с похожей конфигурацией - проблем не заметил.
В том числе, не заметил проблем с обнулением файлов при внезапном выключении (помните, про конфиги KDE была новость?).
Отличная, шустрая, безглючная да ещё и мейнстримная файловая система.
Решает проблему выбора фс для десктопа.А для сервера - "от каждого по возможностям, каждому по потребностям" =)
> В том числе, не заметил проблем с обнулением файлов при внезапном выключении
> (помните, про конфиги KDE была новость?).Ну так скажите спасибо убунтуйцам - за то что они изловили проблему, и Теодору - за то что он ее починил.
Неинтересно. После версионных на журналируемые недоФС даже смотреть не хочется.
погнул пальцы? полегчало?
иди дальше на версионные смотри.
Не забываем, что нынешние версионные фс зело тормозят, и за xfs/ext4 им не угнаться.Посему в продакшене применение версионок сейчас сильно ограничено. Это только фанбои по форумам орут "Поставил zfs/nilfs2/ufs2 на боевой сервак, полет нормальный". А на самом деле боевой сервак тот - домашний роутер, списанный десктоп с соляркой/убунтой/фряхой на борту.
Версионная FS - штука ограниченной применимости. Она просто не имеет достаточно информации, поэтому приходится делать слепки на каждый чих, и 90% этих слепков никакой ценноси не несут, так как не имеют логической целостности. Версионность хороша в приложении, которое знает, когда состояние данных пригодно для слепка.
> Версионная FS - штука ограниченной применимости. Она просто не имеет достаточно информации,
> поэтому приходится делать слепки на каждый чих, и 90% этих слепков
> никакой ценноси не несут, так как не имеют логической целостности. Версионность
> хороша в приложении, которое знает, когда состояние данных пригодно для слепка.Извиняйте, а вы уверены, что знаете что такое Версионная ФС?
да хватит свою пропоганду травить.
дураку ясно, что речь идет про линух, бсд,... винду. можешь предложить что-то в указанномдиапазон?
или может расскажешь как на твоей идет самба? с автосохранением ворда в 3 минуты? и чтобы на одном ssd?
не?
>> Версионная FS - штука ограниченной применимости. Она просто не имеет достаточно информации,
>> поэтому приходится делать слепки на каждый чих, и 90% этих слепков
>> никакой ценноси не несут, так как не имеют логической целостности. Версионность
>> хороша в приложении, которое знает, когда состояние данных пригодно для слепка.
> Извиняйте, а вы уверены, что знаете что такое Версионная ФС?Знаю, не тревожьтесь. И знаю, что логическая целостность только в самых примитивных случаях нужна на уровне одного файла, а не множества. А поддержки транзакций для явно указанных множеств объектов FS я пока нигде не видел.
Допустим, данные хранятся в десятке файлов, и должны быть в консистентном состоянии. При перезаписи каждого файла имеем его слепок - но не имеем никакого представления, с какими слепками остальных 9 файлов этот слепок можно использовать. Конечно, это лучше, чем вообще версий не иметь - но ненамного, так как при сколько-нибудь сложной системе вы консистентный набор искать замучаетесь.А вот в другом сценарии, когда софт, работающий с этими файлами, явно делает снапшот всех 10 в логически непротиворечивом состоянии - мы имеем полезный функционал.
> Допустим, данные хранятся в десятке файлов, и должны быть в консистентном состоянии.
> При перезаписи каждого файла имеем его слепок - но не имеем
> никакого представления, с какими слепками остальных 9 файлов этот слепок можно
> использовать.Какие слепки!!! В файловой системе, файл - это независимая, самостоятельная величина.
Содержание файла зависит только от файла и никакие внешние или внутренние воздействия
и события не должны влиять на содержание, иначе это называется нарушение целостности.
А то что Вам для /etc/passwd за 1 ноября, нужен такой же /etc/group, так это ваши проблемы.
Для группирования по каким либо признакам, а тем более известным только Вам, используют
прикладные задачи. Например MySQL, сам этим занимается и хранит всё это в одном
файле - каталоге! Да, да, да, каталог это тоже файл.Собственно это одна из причин, - функционал UNIX, почему версионные ФС не прижились вообще,
не только в UNIX. Но вот подросло новое поколение разработчиков, и они опять изобретают свой велик.
самое главное - судя по рк6 это уже в релизе 36.
я главного не понял: через сколько лет эта fs будет готова для работы или хотя бы до стабильности ext3?
ана на пенсию уйдет и можно будет пользоваться нтфс
> ана на пенсию уйдет и можно будет пользоваться нтфсНТФСу до EXT4 по скорости как раком до китая. Древнючая ФС без особых преимуществ.
>Древнючая ФС без особых преимуществ.Ext(2) древнее, и с тем же лимитом инодов, т.е. фактическим расходованием дискового пространства впустую
>>Древнючая ФС без особых преимуществ.
> Ext(2) древнее, и с тем же лимитом инодов, т.е. фактическим расходованием дискового
> пространства впустуюEXT4 зато очень даже недурен. По сравнению с ext2 у него появились хешироанные диры, так что он уже не тупит на больших дирах с тысячами файлов. И экстенты, благодаря которым скорость работы изрядно увеличилась под большинством нагрузок. А в нтфс никто ничего кардинально переделывать не стал, как я понимаю. Поэтоу они бойко педалят здоровенные битмапы, тупят на больших директориях и что там еще. И аллокация места оставляет много лучшего: довольно склонная к фрагментации ФС. Технологии начала девяностых - во весь рост. Со всеми их проблемами, от которых более нормальные ФС нынче более-менее избавлены. Если вам нравится это тормозилово сделанное по технологиям начала девяностых - кушайте наздоровье. А мне как-то XFS и EXT4 больше доставляют. Они не идеальные, но их поведение мне нравится куда больше. А на будущее есть btrfs, который прикольная штука. Микрософт ничего такого в ближайшие лет 5 выкатить точно не сможет. А может и вообще не сможет. Они ж теперь только судиться могут, а реально крутые и инновационные разработки им уже слабо.
>По сравнению с ext2 у него появились хешироанные диры, так что он уже не тупит на больших дирах с тысячами файлов.лишь дополнительная информация, помогает лишь при поиске entry по имени, формат же direntry такой как и в ext2-3 соотв. и тормоза при заходе в каталог на месте
>И экстенты, благодаря которым скорость работы изрядно увеличилась под большинством нагрузок.
в NTFS изначально, если что
>Поэтоу они бойко педалят здоровенные битмапы
Что-то клинит тебя на "педалить битмапы" =) Какие это битмапы, потрудить объяснить
>тупят на больших директориях и что там еще.
поиск/вставка - B-Tree, в остальном также как и у всех
>И аллокация места оставляет много лучшего: довольно склонная к фрагментации ФС
Как и где выделять место для следующего файла определяет _исключительно_ драйвер (-его реализация) FS, а не её логическая структура лол - в некоторых драйверах можно даже выбрать политику выделения места, учи матчасть, клоун
>Технологии начала девяностых - во весь рост.
Фиксированное число инодов, хаки на уровне ядра (Lazy Inode Initialization) чтобы хоть как-то компенсировать врождённые недостатки - это всё про ext* :)
> я главного не понял: через сколько лет эта fs будет готова для
> работы или хотя бы до стабильности ext3?А как вы определили "стабильность ext3"?
По тому, как она работает в винде? =)
Вообще не понял о чём комментарии. Создаётся впечатление что я читаю коменты 10 летней давности. Какой вообще может быть гон на ext4
идеальная и стабильная файловая система, которой пользуюсь постоянно, я и мои родственники и приятели. Ubuntu 10.04Просто не понимаю, о чём вы тут.
> Просто не понимаю, о чём вы тут.Попробовали бы вы её год-полтора назад... =)
А ещё тут люди *nix системы ставят не только на десктопы, но и на серверы.
А там требования к стабильности другие.
На машине с Windows, XFS использую на скрытом разделе, на котором храню бэкапы системных разделов.
Использую ext4 на 6 серверах и собственном ноуте уже больше года.1 раз после жесткого ребута потерял несколько каталогов и фаилов, пришлось запускать fsck в ручном режиме.
На ext3 на этом же сервере после каждого второго выключения света приходилось это делать, на ext4 их было около 8, и всего один сбой.
Преимущество в скорости буквально видно на глаз, даже на ноуте.
