Ресурс Phoronix провел (http://www.phoronix.com/scan.php?page=article&item=linux_37_...) очередное сравнение файловых систем XFS, BTRFS и EXT4. В данном случае в тестовой конфигурации накопителем являлся SSD и было проверено поведение как версии ядра 3.5, так и версии 3.7, находящейся в разработке.- В тесте "Flexible IO tester (Intel IOMeter) - file server access pattern", с большим отрывом победил EXT4. На втором месте был XFS, проигравший EXT4 в 2 раза, а BTRFS в конфигурации по умолчанию проиграл в 6 раз. Можно также отметить, что в ядре 3.7 все три файловые системы улучшили свои результаты, относительно ядра 3.5.
- В тестах FS-Mark файловые системы показали производительность примерно на одинаковом уровне, тем не менее, EXT4 был немного быстрее остальных.
- В тесте dbench с приличным отрывом от остальных победил ext4, тогда как XFS и BTRFS показали примерно одинаковые результаты. Интересно также отметить что EXT4 ухудшил результат этого теста в версии ядра 3.7, в то время как остальные соперники напротив улучшили свои результаты.
- В тестах семейства IOZone файловые системы вели себя достаточно похоже, но победителем в конечном итоге стал EXT4. В ядре 3.7 все три файловых системы продемонстрировали небольшое снижение результата (регрессии).
- В тесте "threaded I/O tester - random write" с ядром 3.5 победил XFS, а с ядром 3.7 вперед вырвался EXT4. В основном это связано с тем, что в 3.7 EXT4 прибавил в скорости, а соперники наоборот испытали некоторую регрессию. Тем не менее, в целом поведение файловых систем в этом тесте отличалось не сильно.
- В тесте "compile bench - initial create", XFS и EXT4 опять устроили ожесточенную борьбу. И опять в ядре 3.5 выиграл XFS, а в 3.7 - EXT4, что связано с тем, что EXT4 в ядре 3.7 на этом тесте ускорился, а XFS напротив испытал небольшую регрессию. BTRFS в данном тесте продемонстрировал значительно более низкий результат, чем соперники, тем не менее продемонстрировав достаточно существенное улучшение поведения в ядре 3.7.
Дополнительно можно отметить публикацию (http://www.phoronix.com/scan.php?page=article&item=ext4_linu...) результатов оценки производительности монтирования файловой системы EXT4 в режимах "nobarrier", "data=journal", "data=writeback", "nodelalloc" и "discard". В тесте Flexible IO Tester во всех режимах, кроме "data=journal" были продемонстрированы близкие результаты, использование "data=journal" замедлило прохождение теста в более чем 3 раза. Похожие результаты были получены в тестах FS-Mark и Dbench, но отставание при использовании "data=journal" сократилось до двух раз, также на 15% и 50% замедлилось выполнение теста в режиме "nodelalloc". В тесте IOZone были получены неодназначниые результаты, при оценке производительности чтения данных режим "data=journal" показал самую высокую пропускную способность, но при тестировании записи отстал от остальных режимов более чем в два раза. В тесте "Threaded I/O tester" режим "data=journal" отстал в два раза, а в тесте Compile Bench почти в 5 раз.URL: http://www.phoronix.com/scan.php?page=article&item=linux_37_...
Новость: http://www.opennet.me/opennews/art.shtml?num=35385
> ...но при тестировании записи отстал от остальных режимов более чем в два раза.Линейная и случайная запись есть самые важные показатели!
> Линейная и случайная запись есть самые важные показатели!Да все-равно видно что с полным журналингом у ext4 слив в 2-3 раза. Что ожидаемо ибо данные пишутся 2 раза - в журнал и на диск. В этом плане CoW поинтереснее смотрится - пишет 1 раз, а по свойствам - как полный журнал с доп. наворотами :). Другое дело что слабые места у btrfs пока остались.
Склько еще десятокв лет она будет жутко тормозить от первого же sync? Сколько десятков лет пройдет до того как заработает fsck, и будет возможность хотябы пару лет после этого набрать статистику поломанных домашних файловых систем?
> Склько еще десятокв лет она будет жутко тормозить от первого же sync?
> Сколько десятков лет пройдет до того как заработает fsck, и будет
> возможность хотябы пару лет после этого набрать статистику поломанных домашних файловых
> систем?fsck у них уже вроде полгода как работает.
> Склько еще десятокв лет она будет жутко тормозить от первого же sync?Слоупоки они такие. А фороникс 3.7 не просто так взял - там прилетели патчи "turbo-charge fsync". И да, минимум в 1 тесте btrfs в 3.7 относительно 3.5 весьма конкретно прибавил. Но то что там еще куча мест для оптимизации - однозначно.
с каким состоянием опции CONFIG_CFQ_GROUP_IOSCHED были собраны ядра? - жалко что не написали про это...
> с каким состоянием опции CONFIG_CFQ_GROUP_IOSCHED были собраны ядра? - жалко что не написали про это...Дефолтный убунтовский конфиг, очевидно же. Это фороникс.
>> с каким состоянием опции CONFIG_CFQ_GROUP_IOSCHED были собраны ядра? - жалко что не написали про это...
> Дефолтный убунтовский конфиг, очевидно же. Это фороникс.а я хз какое оно дефолтное-то?
>> с каким состоянием опции CONFIG_CFQ_GROUP_IOSCHED были собраны ядра? - жалко что не написали про это...
> Дефолтный убунтовский конфиг, очевидно же. Это фороникс.а - нашел - включено...
Это +100500! :)
> Это +100500! :)(мечтательно) Вот все бы так!
А что оно на практике даёт?
> А что оно на практике даёт?успокоение души и увеличение уверенности в том, что при включении этой опции, сгруппированные для ввода/вывода процессы будут более справедливо делить между собой ресурсы устройств...
Печально это для btrfs, а я то уже понадеялся по заголовку.. Кто следит за это ФС и в теме - оно ещё реально? Или заведомо мертво и нет шансов перед Ext5?
Пред ext5 шансы есть у любого - это ФС не существует в природе, и в ближайшие годы не появится.
Скажем так, это условно ext.next, будущее развитие ext4, т.к. она активно развивается, назвал именно Ext5 по причине учёта будущего и перспектив ФС, а не сравнения с текущей Ext4.
> Скажем так, это условно ext.next, будущее развитие ext4, т.к. она активно развивается,
> назвал именно Ext5 по причине учёта будущего и перспектив ФС, а
> не сравнения с текущей Ext4.А у ext4 есть какие-то перспективы развития, кроме дальнейшего вылизывания яиц (которое вряд ли сильно что-то изменит)?
Да, по масштабированию не так давно были крупные изменения и представлены планы по развитию ФС. Просто меня удивляет, что такой концепцией и с такими разработчиками, финансовой поддержкой btrfs до сих пор находится где-то в облаках и сказках, хотя есть реальные опыты применения. Что удерживает её от роста, вылизывания и использования как основной в популярных дистрибутивах?
Ходят упорные слухи, что баги в ДНК некоторых разрабов.
Врут, поди. Наговаривают, покусанные Шишкиным проклятые хейтеры.
> Врут, поди. Наговаривают, покусанные Шишкиным проклятые хейтеры.Так у Шишкина как раз и есть баги в ДНК, не дающие ему кодить рейзер4, но не мешающие балаболить налево и направо.
> от роста, вылизывания и использования как основной в популярных дистрибутивах?То что btrfs довольно сложная и фичастая конструкция. Ее как раз заканчивают обезжучивать и начинают вылизывать. Как вы понимаете, чем больше набор фич - тем больше потенциально багов может порыться.
> ext5 только с нуля писать, сколько к запорожцу турбину не цепляй, не
> взлетит :)))Пока весь мир юзает ext'ы, нагулял предлагает переписать его с нуля. Типичный подход упоротого BSD'шника (бывают и нормальные, но к данному индивиду это не относится) xD
> сколько к запорожцу турбину не цепляй, не взлетит :)))Вот UFS2 и не взлетело :)
>> сколько к запорожцу турбину не цепляй, не взлетит :)))
> Вот UFS2 и не взлетело :)Только не врите что пробовали :)) вы и линукс то с трудом ставите.
> Только не врите что пробовали :))Можно оставить в стороне вопрос, пробовал ли я лично.
"Взлетело или не взлетело" определяется больше мировой статистикой.> вы и линукс то с трудом ставите.
Телепат из вас... ну вы поняли :)
> Только не врите что пробовали :)) вы и линукс то с трудом ставите.Я как-то и без личного пилотирования запорожца с обрыва вижу что аэродинамические качества у него - "не фонтан".
> ext5 только с нуля писать, сколько к запорожцу турбину не цепляй, не взлетит :)))Ну да, весь гугл на запорожцах ездит. Нуачо - мелкая подвальная конторка, да.
Не то что локалхост с третьих пеньком и ZFS у вас под столом :)
> Печально это для btrfs, а я то уже понадеялся по заголовку..Во первых под рядом нагрузок он выступил весьма на уровне. Во вторых, если посмотреть то на 3.7 ядре он как минимум в 1 тесте сильно улучшил результат. Да, ему еще есть куда расти, но в целом результаты вполне приличные. Все-таки в соперники взяли самых сильных оппонентов, которых буквально недавно как раз допилили на предмет улучшения производительности. Это тяжелые соперники. И замечу что они журнялят только метаданные. А что будет с данными - им пофиг. А CoW журналит все. Если посмотреть на ext4 в режиме полного журнала - вот это печально выглядит, да. Сразу в 2-3 раза скисает.
> Печально это для btrfs, а я то уже понадеялся по заголовку.. Кто
> следит за это ФС и в теме - оно ещё реально?
> Или заведомо мертво и нет шансов перед Ext5?Не расстраивайтесь но оракл похоронит и zfs и btrfs и mysql и все до чего дотянутся потные рученки ...
> все до чего дотянутся потные рученки ...Насчет btrfs - лапки коротки: Крис нынче работает в FusionIO вообще. А больше работников от оракла как-то и не было. Пилит все это нынче целая толпа разработчиков, а Крис координатором усилий выступает. Этот процесс уже не зависит от приходи одной конкретной корпорации и на данный момент его уже не получится остановить. В общем то достаточно логи коммитов посмотреть. Впрочем, чего это я? Это ж нагуал, ламерский пиндеж - его визитная карточка.
Подумаешь, Ext5. Вот когда четвертый рейзер войдет в ядро, то у таких морально устаревших ФС, на подобии семейки Ext, JFS, btrFS и прочего хлама, просто не останется шансов. Останутся только две достойных ФС: reiser4 и XFS.
> reiser4 и XFS.Научная фантастика у нас на другом этаже, сэр.
> Подумаешь, Ext5. Вот когда четвертый рейзер войдет в ядро, то у таких
> морально устаревших ФС, на подобии семейки Ext, JFS, btrFS и
> прочего хлама, просто не останется шансов. Останутся только две достойных ФС:
> reiser4 и XFS.reiser4 пилит один разработчкик, который с тудом успевает допиливать до актуального ядра ...
> Останутся только две достойных ФС:
> reiser4 и XFS.Вспомнилось почему-то: "Галантерейщик и Кардинал - это сила!" (С) ;)
BtrFS мог бы и не называть, этому го..ну даже до третей екстихи далеко, поэтому только одна вменяемая ФС остается - XFS. Хотя с интересом слежу за судьбой рейсер4
> далеко, поэтому только одна вменяемая ФС остается - XFS.Только вот она не умеет полное журналирование. Совсем. Небольшая такая разница. По поводу чего без упсы ее лучше не юзать. Да и рекурсивно грохнув диру с файлами - на автоснапшот там не отмотаешь, просирак полный и необратимый.
Я, конечно, бенчил на 3.2 и невесть какой версии mkfs.xfs, но на них дефолтно созданная/подмонтированная XFS отставала от аккуратно сконфигурированной процентов на 30...
Они на ноуте тестировали: Lenovo ThinkPad W510 with an Intel Core i7 720QM — 4-х ядерник с Hyperthreading. На сервере с большим количеством ядер XFS бы выиграла у EXT4 :)
настолько скоростная XFS, что упирается в процессор?)))
Она в него не упирается. Она in designe оптимизирована на использование многопоточности. Поэтому чем больше ядер, тем она эффективнее работает. Это вовсе не значит что она процессор потребляет больше.
> Она в него не упирается. Она in designe оптимизирована на использование многопоточности.
> Поэтому чем больше ядер, тем она эффективнее работает. Это вовсе не
> значит что она процессор потребляет больше.Пока что 4 ведра даже на серверах более актульны чем 8-12-16 и тд. А на всяких супермашинках используют все равно ext4 (гугль и пр)
Из противостояния интел с амд видно, что то, что быстрее на 4-х ядрах быстрее и на 8-и.
на всяких машинках - используется ZFS, а ext4 оттуда выпиливают.
смотрим последную редакцию top500 и ищем в списке слово секвоя - да да.. ZFS based...
1/500 - это да, показатель... на винде столько же. маргинализмом попахивает
это смотря как посмотреть. TOP2 он. так что даже если брать - 1 из 10. уже что-то значит :)
> это смотря как посмотреть. TOP2 он. так что даже если брать -
> 1 из 10. уже что-то значит :)А на втором месте он вообще 1/1 - и что это значит?
> А на втором месте он вообще 1/1 - и что это значит?Месье открыл для себя арифметику :)))
>> А на втором месте он вообще 1/1 - и что это значит?
> Месье открыл для себя арифметику :)))И я так же думаю. Иначе к чему эти потуги про 1/10. Есть TOP500, от него и пляшем.
> 1/500 - это да, показатель... на винде столько же. маргинализмом попахиваетНа винде там вроде даже 2 или 3. Получается что "винды в два раза больше ZFS". Маркетинговый буллшит в ответ на маркетинговый буллшит :)
> на всяких машинках - используется ZFS, а ext4 оттуда выпиливают.То-то, я смотрю, гугл резко побежал менять ext4 на ZFS :)
> смотрим последную редакцию top500 и ищем в списке слово секвоя - да да.. ZFS based...
И примерно столько же (1шт) - на NTFS, да.
>> на всяких машинках - используется ZFS, а ext4 оттуда выпиливают.
> То-то, я смотрю, гугл резко побежал менять ext4 на ZFS :)достаточно почитать что гуглу от FS надо - тогда поймете.
пока что отправлю читать на тему "почему гуглу не нужна журналируемая файловая система" и "почему гугл сделал возможность запуска ext4 без журнала".
прочитаете - поговорим дальше.
И гугл это не самая большая помойка - а тем более не posix fs.
>> смотрим последную редакцию top500 и ищем в списке слово секвоя - да да.. ZFS based...
> И примерно столько же (1шт) - на NTFS, да.напомните мне сколько с NTFS находится в первой 10ке? а секвоя - top2 вроде как..
> "почему гугл сделал возможность запуска ext4 без журнала".Гугл сделал - какое напыщенное ламерство :). А ничего что Теодор работал до гугли в редхате и свалил в гугель когда дело было уже на мази и ext4 был заявлен стабильным? :)
а ничего что ext4 делал совсем не теодор а наш с вами соотечественик Alex Tomas в компании с Andreas Dilger? А теодор просто хороший маинтейнер и не более того.
flex_bg, uint_gr, extents - это все к алексу...и ext4 фактически подарили linux kernel в живом состоянии из продакшена....
что вы там о стабильности говорили?
советовал бы ознакомиться с историей возникновения ext4 в ядре.....
> хороший маинтейнер и не более того.
> flex_bg, uint_gr, extents - это все к алексу...Ах, так вы решили помочь мне оспорить ваш же исходный тезис? :) Ну там где какой-то буллшит про гугл был. Тоже варинт, спасибо за уточнения. Правда, когда индивид помогает опровергнуть его же предыдущий тезис, любезно выкатив доказательства обратного - это выглядит довольно странно, но в конце концов, мне же лучше :)
> и ext4 фактически подарили linux kernel в живом состоянии из продакшена....
Подарили - это аттракционы невиданной щедрости типа вываливания ZFS-а целиком и его привинчивание в *bsd. А это так, патчиков подкинули. Т.к. это патчики и были, собственно. Нет, патчики неплохие, но приписывать двум индивидам вообще все заслуги - не очень правильно, особенно учитывая что это надстройка над ext3. Майнтайнеру в принципе тоже, но он как крайний просто на виду - работа у него такая.
> что вы там о стабильности говорили? советовал бы ознакомиться с историей возникновения
> ext4 в ядре.....Думаю это излишне: я уже понял что у вас истина - вертится как флюгер на ветру. Ну то-есть когда нечто делает сан - это кул и рулез (во всяком случае, претензий саням и тем кого они скупили я не вижу). А когда майнтайнер ушел работать в гугл - это превращается в отстой и суксь. Хотя рассматриваемый объект не менялся столь существенным образом чтобы оправдать такие вращения флюгера мировоззрений :)
> а секвоя - top2 вроде как..Доброго полёта и полного отсутствия развалов вроде joyent'овских. Серьёзно.
говорят работает лучше чем с ext4 based.
> говорят работает лучше чем с ext4 based.Еще пусть скажут что быстрее. Маркетинговый буллшит - так по полной. Саночники это умеют, да.
Зря смеётесь, именно так. Только не упирается, а масштабируется.
Что значит "масштабируется" в терминах XFS? А то непонятно, то ли столь высокий оверхед, что 100500 ядер надо, то ли какая-то хрень )
Это значит, что нагрузка будет раскидана на несколько ядер. Оверхед невысок, не btrfs, чай.
> Зря смеётесь, именно так. Только не упирается, а масштабируется.Простите, проца или хватило, или нет. Если хватило - наращивание мощности сверх этого картину не меняет. Уж не хотите ли вы сказать что тамошнего проца не хватило на один не сильно то и шустрый SSD?
Тамошнего проца для тамошнего SSD - понятное дело, хватило. Но сделать систему, на которой IO настолько велико, что одного ядра на его обеспечение не хватит - нынче невелико искусство.
> на которой IO настолько велико, что одного ядра на его обеспечение не хватит - нынче невелико искусство.Особенно с XFS, известным неторопливым педалингом метаданных в ряде ситуаций. Хотя как раз это недавно и подтянули. По поводу чего он и рубается с ext4 теперь :)
Это у EXT4 так было до недавнего времени, сколько процессоров не добавляй, она всё время на одном работает :) Сейчас получше, но до XFS ещё на дотягивает.
вообще-то месяц тому назад Фороникс во многих тестах намерял несколькикратное ускорение на бтрфс со сжатием. Странно, что этим не дополнили результаты.
http://www.phoronix.com/scan.php?page=article&item=btrfs_lin...
Ноут тот же самый.
купленный тест
> купленный тестИ кто его проплатил? oO
>> фороникс это что 1,5 инвалида и группа поддержки с лора?да, давай сделаем свой тест с zfs и фряхой
а почему не с zfs & linux ?KO напоминает что тестировать надо на одинаковой системе.
> а почему не с zfs & linux ?Подозреваю что вам очень не понравятся результаты этого самого. XFS и EXT4 это весьма тяжелые соперники на данный момент. Дрища без нормальных экстентов там просто затопчут в грязюку.
>> а почему не с zfs & linux ?
> Подозреваю что вам очень не понравятся результаты этого самого. XFS и EXT4
> это весьма тяжелые соперники на данный момент. Дрища без нормальных экстентов
> там просто затопчут в грязюку.создайте пожалуйста файлик размером больше 16Т на ext4 размером в 128T (типовая дисковая полка 5U84)
когда создадите - поговорим.
> создайте пожалуйста файлик размером больше 16Т на ext4 размером в 128T (типовая
> дисковая полка 5U84)
> когда создадите - поговорим.Простите, зачем вам файлик такого размера?
> создайте пожалуйста файлик размером больше 16Т на ext4 размером в 128TСбеайте пожалуйста на вершину горы Арарат и обратно. И пудовую гирю на вершину затащите, главное. На кой хрен это надо - придумаем как-нибудь потом :)
>> а почему не с zfs & linux ?
> Подозреваю что вам очень не понравятся результаты этого самого. XFS и EXT4
> это весьма тяжелые соперники на данный момент. Дрища без нормальных экстентов
> там просто затопчут в грязюку.за одно предложу оценить сколько будет выполняться fsck на таком разделе.
>> XFS и EXT4
> за одно предложу оценить сколько будет выполняться fsck на таком разделе.Технически говоря, время выполнения fsck.xfs -- O(0).
> Технически говоря, время выполнения fsck.xfs -- O(0).Наверное все-таки O(1)?
Тестировать систему форониксом при помощи ПХП скриптов, Это АртХаус господа.
> Тестировать систему форониксом при помощи ПХП скриптов, Это АртХаус господа.А какая разница какие именно скрипты пнут тест? Ну пых и пых, такой же интерпретер как и все остальные.
лимитирование и уловки нагрузочного тестирования ляжет на пхп
ты думаешь exec() работает нормально? xDDDD
> лимитирование и уловки нагрузочного тестирования ляжет на пхп
> ты думаешь exec() работает нормально? xDDDDЯ думаю что время работы пыховского скрипта ничтожно по сравнению с собственно бенчами и потому отличиями пыха от шелла или чего там еще можно принебречь.
> Тестировать систему форониксом при помощи ПХП скриптов, Это АртХаус господа.Есть время, потестируйте :)
https://github.com/nagual2/Test
> Есть время, потестируйте :)
> https://github.com/nagual2/TestЛучше уж фороникс, чем это.
>> Есть время, потестируйте :)
>> https://github.com/nagual2/Test
> Лучше уж фороникс, чем это.Мне одному кажется что некоторые из присутствующих коментаторов не способны запустить готовые тесты :))) ?
Ну например оно 8 гиг оперативки хочет.
> Ну например оно 8 гиг оперативки хочет.При таком размере оперативки результаты тестов будут другими.
> Ну например оно 8 гиг оперативки хочет.Ой вы наверно про тесты фс в оперативке :)) там есть два скрипта для тестов HD.
> Ну например оно 8 гиг оперативки хочет.Ого, ну и аппетит. Он порвал форониксовый пых на британский флаг.
> Ну например оно 8 гиг оперативки хочет.Этот чудик рамдиск мучает, как я понимаю. Правда в чем пойнт этого действа я если честно не врубился.
проверить максимальную скорость шины между цпу и памятью
> проверить максимальную скорость шины между цпу и памятьюфокус-то в том, что оно честно считает этот тест "тестом файловой системы"
единственное, что здорово показывают его результаты - так это ущербность ядрышка одной ОС, где не сподобились даже zero-copy реализовать
"Тесты под ваши результаты. Недорого. Без СМС."
(Пойду-ка я попркорном затарюсь).
а будут ли эти же тесты проводиться когда-нибудь опять? А то как известно,- в течение срока жизни в любую ветку ядра вносится достаточно много изменений. Так что интересно, насколько другим будет (или был бы) результат этого же тестирования потом (и тем более- релиз ветки 3.7 уже не за горами. Так что чего новаго с этим делом думаю там тоже будет).
> а будут ли эти же тесты проводиться когда-нибудь опять?Если на офис фороникса не упадет ядерная бомба - будут. Только с другими ядрами. Еще вы в вашем праве скачать PTS и протестировать что вам там будет угодно лично. С хоть там какими ядрами.