Несколько дней назад в инсталляторе экспериментальной версии Ubuntu 10.10 была реализована (https://lists.ubuntu.com/archives/ubuntu-devel/2010-June/030...) поддержка установки системы на дисковые разделы с файловой системой Btrfs. Ресурс Phoronix не упустил шанс провести (http://www.phoronix.com/scan.php?page=article&item=ubuntu_10...) тестирование производительности Btrfs в последней тестовой сборке Ubuntu 10.10, базирующейся на Linux-ядре 2.6.35 (релиз ожидается через несколько месяцев).
Тестирование показало, что разработчики Btrfs не теряли зря времени и провели в Linux-ядре 2.6.35 большую работу по оптимизации производительности - во всех проведенных тестах (IOzone, Dbench, FS-Mark и PostMark), Btrfs не только не отстала от EXT4, но и обогнала последнюю в 5 тестах. При включении в Btrfs встроенной поддержки хранения данных в сжатом виде, наблюдавшийся небольшой разрыв в несколько процентов в 4 тестах сменился значительным превосходством. Например, в тесте...URL: http://www.phoronix.com/scan.php?page=article&item=ubuntu_10...
Новость: http://www.opennet.me/opennews/art.shtml?num=27082
На ноутбуках (читай: быстрый процессор, медленный жесткий диск) сжатие очень востребовано.
Осталось только узнать как у btrfs со стабильностью и можно потихоньку переползать на неё.
Сжатие сжатию рознь. Сколько ресурсов процессора потребуется для его осуществления? Не такие уж и мощные процы на ноутах: атомы и целероны.
>Сжатие сжатию рознь. Сколько ресурсов процессора потребуется для его осуществления? Не такие
>уж и мощные процы на ноутах: атомы и целероны.Я говорил не про нетбуки, а про обычные ноутбуки. На нетбуках IMHO должен стоять SSD накопитель, скорость которого вполне приемлема и без сжатия.
Честно, искал нетбук с SSD. Ни в одном из двух Кемеровских магазинов не нашлось ни одного. А жаль... Интересно, а бонусные гигабайты свбодного мечта остались в современных моделях? А то я после Asus EEE 701 и 900 ничего не знаю - отстал от времени
>Честно, искал нетбук с SSD. Ни в одном из двух Кемеровских магазинов
>не нашлось ни одного. А жаль... Интересно, а бонусные гигабайты свбодного
>мечта остались в современных моделях? А то я после Asus EEE
>701 и 900 ничего не знаю - отстал от времениу меня Asus 1005PE, и жёсткий диск там проблемным местом совсем не является.
А как это определялось?И на каких нагрузках?
Celeron - самое то для сжатия. Даже если ему уже много лет и это ноутбук.
Честно говоря, сейчас найти ноут на целероне - это ещё надо вырыть такой... Сейчас давно все уже на Core2Duo или Athlon X2. Причём идёт уверенный переход на Core i* и Phenom II X*. Изредка, на худой случай, ещё попадаются Core Solo, но я думаю, и на мин. (холостой) частоте с одним ядром это сжатие вряд ли съест больше пары % ЦПУ (мне кажется, что даже на Pentium III и AMD K6 это сжатие просто не было б и заметно), зато ускорит работу диска, как уже показано и доказано, в разы + место.
Скажем, NTFS использует очень быстрый алгоритм с маленьким окном. Более того, в ней несжимающиеся данные записываются как есть.
На NTFS сжатие всегда тормозило систему.
Пруфы будут или как всегда?
NTFS тормозила вообще всем чем могла.
>На NTFS сжатие всегда тормозило систему.Чушь. Или вы хотите сказать про Пентиум 1 с 16 (ну ладно, скажем, 32) МБ ОЗУ на борту???
На штуках типа n900 I/O с флешдиском жрет столько проца что сжимать чего доброго выгоднее окажется. Наверное потому meego и юзает эту ФС как дефолтную...
Со стабильностью много вопросов:
1. в ядре 2.6.32 неправильно показывает свободное место (что то типа -64Z)
2. в ядре 2.6.34 как и в 2.6.32 у меня намертво вешается комп при балансировке (btrfs-vol -b)
3. в 2.6.35 (которое ещё не зафиналило даже) пока проблем не было, но возможно покаЗЫ Данные пока не портились ни разу
по месту в 2.6.32 -- подтверждаю. что характерно, самодельная утилитка, которая просто анализирует суперблок, used/free space определяет правильно.
...и ограниченный заряд аккумулятора.
>...и ограниченный заряд аккумулятора.Или (а скорее) наоборот - увеличенный, за счёт уменьшения времени рыпания головок ЖД и разгрузки I/O. Это ещё плюс свободное место! И вообще, неужели каждый тут действительно наивно полагает, что ЕГО мнение гораздо умнее всех просчётов лучших инженеров, программеров и компьютерных гениев, создающих и так активно развивающих всё это, видимо, не без причин на то???
Лучшие умы Планеты работали над нейтронной бомбой... и чего я до сих пор не воспользовался?>>...и ограниченный заряд аккумулятора.
>
>Или (а скорее) наоборот - увеличенный, за счёт уменьшения времени рыпания головок
>ЖД и разгрузки I/O. Это ещё плюс свободное место! И вообще,
>неужели каждый тут действительно наивно полагает, что ЕГО мнение гораздо умнее
>всех просчётов лучших инженеров, программеров и компьютерных гениев, создающих и так
>активно развивающих всё это, видимо, не без причин на то???
>Лучшие умы Планеты работали над нейтронной бомбой... и чего я до сих
>пор не воспользовался?Может быть, потому что обычных термоядерных всем хватило с большим запасом? Ими даже пользовались, если что :)
>>Лучшие умы Планеты работали над нейтронной бомбой... и чего я до сих
>>пор не воспользовался?
>
>Может быть, потому что обычных термоядерных всем хватило с большим запасом? Ими
>даже пользовались, если что :)(да я даже не запускал и плутоний в деление.)
Если лучшие умы чем-то озабочены, не факт, что мне оно _надо_. А использовать чей-то авторитет для _доказательства_ своей правоты - неспортивно.
Как можно использовать для постоянных нужд ФС, в которой даже нет работающего fsck? Только если для тестовых целей.
>Как можно использовать для постоянных нужд ФС, в которой даже нет работающего
>fsck? Только если для тестовых целей.Представляешь себе, сколько времени потребуется на fsck файловой системы рамером в сотню терабайт с сотней-другой миллионов файлов?
В рекламных роликах про ZFS пугали цифрами порядка пары минут, кажется. Сам не видел.
> В рекламных роликах про ZFS пугали цифрами порядка пары минут, кажется. Сам не видел.Ага, сам не видел, Мойша напел. Для ZFS нет fsck.
>Ага, сам не видел, Мойша напел. Для ZFS нет fsck.Мой фейл. С чем-то спутал.
>> В рекламных роликах про ZFS пугали цифрами порядка пары минут, кажется. Сам не видел.
>
>Ага, сам не видел, Мойша напел. Для ZFS нет fsck.Однако, zpool scrub никто не отменял...
>Как можно использовать для постоянных нужд ФС, в которой даже нет работающего
>fsck? Только если для тестовых целей.Вот представляешь, скажем, пользователь записывает систему на БТРФС (пускай случайно или он энтузиаст), успешно её пользует и радуется быстрой работе. Как вдруг случайно попадает на опеннет и читает в комменте, что, оказывается его система не поддерживает какой то fuck, то есть, fsck. О какой ужас! Значит его система неполноценна, а значит и он, как бы, неадекватен?! А что это такое вообще этот fu.. fsck? И вроде без него работало.. но... наверное очень нужен?! Чёрт, ай-яй-яй, какая проблема, что делать теперь, конец света...
Вот используют люди может быть, а вы им только нервы портите мистическими запугиваниями...
Ну, вообще-то - нужен. Скажем сыпанется у вас хренадцать секторов в малопредсказуемом месте винча, и не прочтутся, или прочтется ересь. И?
как-то не очень понятно написано.
BTRFS быстрее ext4. При сжатии местами еще быстрее.
ждем, когда хомячки оттестируют
хомячки - это такие перцы, которые только щеки надувать и умеют. и толку от которых 0.
есть еще и другая крайность - леминги - те в продакшн все самое новое пихают.
>ждем, когда хомячки оттестируютТогда придут бесполезные овощи, на все готовенькое?Ха, ну это на овощей похоже, культ потреб-ццва им близок по духу :)
Интересное про мелкие файлы в btrfs, как то не очень :)
http://my2ndhead.blogspot.com/2010/06/btrfs-or-how-to-lose-s...
Думаю, не страшно. Сейчас диски - самый тормозной элемент системы, так что выжать максимум - первоочередная задача, а уж объёмы... звиняйте, но на моём _домашнем_ компе уже стоит 2ТБ винт в дополнение к 3х500ГБ, так что спэйса - завались. :)Кроме того, как автор пишет, у них там mail platform, хранящая, неожиданно, много маленьких файлов! :) Что это за УГ платформа, думаю, объяснять не нужно - ребята ещё не доросли до СУБД. :)
>Думаю, не страшно. Сейчас диски - самый тормозной элемент системы, так что
>выжать максимум - первоочередная задача, а уж объёмы... звиняйте, но на
>моём _домашнем_ компе уже стоит 2ТБ винт в дополнение к 3х500ГБ,
>так что спэйса - завались. :)
>
>Кроме того, как автор пишет, у них там mail platform, хранящая, неожиданно,
>много маленьких файлов! :) Что это за УГ платформа, думаю, объяснять
>не нужно - ребята ещё не доросли до СУБД. :)Есть задачи (например, low-cost шаред-хостинг) когда все-таки много файлов в одной директории на локальном raid-массиве неизбежны (в озвученном примере быдло-код клиентов насоздает миллион-другой временных файлов, которые забудет удалить, пока сервер не вывалится в мониторинге по занятым инодам на ФС), так что, это все-таки важно, имхо.
А что это за тест такой PostMark, кто знает?
Это такой тест, придуманный NetApp, для эмуляции нагрузки, содаваемой почтовым пулом в /var/mail
В тестах не хватает средней процессора во время теста.
не волнуйтесь -- не жрет.
не, все-таки с компрессией было бы интересно.
> поддержка установки системы на дисковые разделы с файловой системой BtrfsGRUB2 еще не научился грузится с btrfs. Месяц назад выбирал между бтрфс и лвм на рейде, отсутствие поддержки переломило ситуацию.
А разве GRUB умеет грузиться с LVM?
>А разве GRUB умеет грузиться с LVM?grub2 умеет гразить даже с raid -> lvm -> ext4 -> ядро. Так я и сделал.
у федоры первый граб, и лвм2 она насильно впихивает при установке, все грузится.
Вот только требует создать /boot вне LVM
Зато /boot можно на md уровня 1 (10,5,6 нельзя, так как Bios не знает, что это)
На софтовом рейде можно все и биос ни при чем. Граб умеет все уровни рейда, которые есть.
>На софтовом рейде можно все и биос ни при чем. Граб умеет
>все уровни рейда, которые есть.Вставьте в PC-к, например, три HDD, сделайте из sd[abc]1 /boot уровня 5 с помощью md, а потом попробуйте загрузить это с помощью BIOS
BIOS вообще не знает, что такое mdraid, и зеркало умеет грузить только по той причине, что оно зеркало (просто грузит первый диск из BIOS)
Если хочется md уровня 5,10,6 имеет смысл сделать так:
1. /boot из всех дисков sd[a-z]1, сколько бы их не было, уровня 1
2. md требуемого уровня из sd[a-z]2. Для удобного руления последним, сверху имеет смысл сделать LVM
3. Не забыть прописать загрузчик на каждый диск, что бы при смерти одного из HDD, после ребута машина загрузилась.Мы делаем вот так: http://blog.shaggy-cat.ru/2010/01/redhat-mdraid.html
>>На софтовом рейде можно все и биос ни при чем. Граб умеет
>>все уровни рейда, которые есть.
>
>Вставьте в PC-к, например, три HDD, сделайте из sd[abc]1 /boot уровня 5
>с помощью md, а потом попробуйте загрузить это с помощью BIOSОчевидно, я уже сделал это. И даже более того. Не мог же я грузится в обход биоса.
>
>BIOS вообще не знает, что такое mdraid, и зеркало умеет грузить только
>по той причине, что оно зеркало (просто грузит первый диск из
>BIOS)Начальный код загрузчика - в мбр. Там еще нет рейда и грузатся оно без всяких заморочек. Дальнейшая загрузка - проблема загрузчика а не биоса, и граб2 с ней справляется.
а /воот в отдельный раздел (который можно и в екст2, и вообще отмонтировать после загрузки) не?
Некрасиво же. Так на рейде все, кроме загрузчика, да и он в двух экземплярах. И если придется менять диски, то никаких заморочек с /boot не понадобится - все переедет средствами лвм-а, только загрузчик установи.
а что мешает в рейд ext2 засунуть? Вот не понимаю я стремление /boot держать вместе с /
>а что мешает в рейд ext2 засунуть? Вот не понимаю я
>стремление /boot держать вместе с /Раньше тоже держал бут отдельно, теперь вот не понимаю, зачем. Зачем создвавать еще один раздел, если можно не создавать?
>>а что мешает в рейд ext2 засунуть? Вот не понимаю я
>>стремление /boot держать вместе с /
>
>Раньше тоже держал бут отдельно, теперь вот не понимаю, зачем. Зачем создвавать
>еще один раздел, если можно не создавать?с отдельным бутом можно спокойно форматировать / и груб не перестанет работать :)
Вынесите /boot на CF или просто на флешку.
А можно пояснения про выбор БРТФС ИЛИ ЛВМ?Могу понять "БРТФС ИЛИ ЛВМ+ЧТО-ТО" (где ЧТО-ТО, например EXT3 или еще какая файловая система).
>А можно пояснения про выбор БРТФС ИЛИ ЛВМ?
>
>Могу понять "БРТФС ИЛИ ЛВМ+ЧТО-ТО" (где ЧТО-ТО, например EXT3 или еще какая
>файловая система).btrfs на двух дисках vs softraid 1 -> lvm -> ext4
Есть что сказать?
>>А можно пояснения про выбор БРТФС ИЛИ ЛВМ?
>>
>>Могу понять "БРТФС ИЛИ ЛВМ+ЧТО-ТО" (где ЧТО-ТО, например EXT3 или еще какая
>>файловая система).
>
>btrfs на двух дисках vs softraid 1 -> lvm -> ext4
>Есть что сказать?А btrfs на двух дисках делает адекватную "softraid 1" защиту?
(не в качестве троллинга, а чтобы понять коллег-конкурентов)
>>btrfs на двух дисках vs softraid 1 -> lvm -> ext4
>>Есть что сказать?
>
>А btrfs на двух дисках делает адекватную "softraid 1" защиту?
>(не в качестве троллинга, а чтобы понять коллег-конкурентов)В зависимости от параметров. Если попросить зеркалирование данных и метаданных, то за счет контрольных сумм btrfs дает даже более адекватную защиту, чем softraid1, а именно защищает от неявных ошибок дисков
to User294: Ты на чем btrfs гоняешь? Интересует ttx серверов (ноута, компьютера),
объемы информации и дистр с версией ядра.
У него Ext4 штатная ФС.
> Ты на чем btrfs гоняешь? Интересует ttx серверов (ноута, компьютера),Пока ФС не заявлена как стабильная - в продакшне и всерьез я ее ессно НИГДЕ не юзаю, по всем понятным причинам. Хотя честно говоря - особого дестороя при обычных операциях - я как-то не заметил. Мучалось в основном на убунте 10.04 с ее родным ядром 2.6.32 (как ни странно, даже на нем работает достаточно культурно, без гигантских грабель), и потом - на альфе 10.10 с ее 2.6.35 RC. Больше всего мучал ессно на своем десктопе, это 4-ядерник с 8 гигз оперативы, сначала гоняя в файле через loop девайс а потом и банально выделив отдельный винч без ценных данных на нем "для научных экспериментов" (прикольная ФС, интересно же посмотреть на то что будет "завтра" уже сегодня и посмотреть как оно). Сервера? А смысл в ДАННЫЙ момент на них пихать btrfs? Я не приветствую тесты на рабочих данных от которых что-то зависит. Заявят стабильной - посмотрю на объем воплей - потестю сам - тогда и буду думать насчет серверов и т.п. уже. В принципе есть идея пхнуть на btrfs торенты и посмотреть что выйдет, благо, ошибки детектабельны а сбойные блоки можно перекачать.Заодно можно посмотреть как оно справится с потенциально жопной фрагментацией и прочая :)
Эдуард Шишкин - один из разработчиков Reiser4, на данный момент является сотрудником RedHat. Эдуард опубликовал на lkml результаты тестирования и ревью исходного кода входящей в состав ядра linux-2.6.33 файловой системы Btrfs.Было обнаружено следующее:
При заполнении пустого 659-мегабайтного раздела Btrfs файлами размером в 2 килобайта, лишь 17% дискового пространства отводится под собственно содержимое файлов, а оставшиеся 83% Btrfs расходует на свои служебные данные.
Столь низкая эффективность использования дискового пространства, похоже, является фундаментальным свойством тех алгоритмов, которые положены в основу Btrfs. А именно, Btrfs пытается хранить блоки переменного размера ("inline extents", xattr, и тд) в структуре данных "B-tree". Однако B-tree предоставляет гарантии эффективного использования памяти лишь для блоков постоянного размера.(c) LOR.
И что по этому поводу скажет User294 - так же будет преподносить как офигенную FS ?
>[оверквотинг удален]
>Столь низкая эффективность использования дискового пространства, похоже, является фундаментальным свойством тех алгоритмов,
>которые положены в основу Btrfs. А именно, Btrfs пытается хранить блоки
>переменного размера ("inline extents", xattr, и тд) в структуре данных "B-tree".
>Однако B-tree предоставляет гарантии эффективного использования памяти лишь для блоков постоянного
>размера.
>
>(c) LOR.
>
>И что по этому поводу скажет User294 - так же будет преподносить
>как офигенную FS ?Имхо, ни ZFS, ни BTRFS, в обозримом будущем не вытеснят ни ext4/xfs, ни даже UFS, ни, тем более, параллельные ФС. Для определенного, нишевого применения же они будут непревзойденными, в остальных случаях будет рулить, как и раньше, device-mapper(lvm) и geom(когда подтянется по кластерным расширениям), а сверху них более "традиционная" ФС.
Глупость.
Уже сейчас в ext4 пытается вытягивать разную служебную информацию из device-mapper что бы более оптимально работать в ситуации когда создано поверх рейда.
Значит таки пытаются найти методы интеграции?
>Глупость.Почему?
>Уже сейчас в ext4 пытается вытягивать разную служебную информацию из device-mapper
mdraid не работает через device-mapper, а dmraid, имхо, какой-то мусор, не имеющий ценности.
>что бы более оптимально работать в ситуации когда создано поверх рейда.
>
>Значит таки пытаются найти методы интеграции?А как это противоречит моему посту?
>Было обнаружено следующее:
>При заполнении пустого 659-мегабайтного раздела Btrfs файлами размером в 2 килобайта, лишь
>17% дискового пространства отводится под собственно содержимое файлов, а оставшиеся 83%
>Btrfs расходует на свои служебные данные.JFYI, раньше вообще-то в их mkfs был лимит ... вообще не позволяющий создать том менее ~гига или двух. Я уж не знаю, выпилили ли его, но раньше mkfs чертыхался и я банально юзаю тома более адекватных для этой ФС и современных реалий размеров. Прикиньте, это нифига не ФС для дискет и сидюков набитых мелкими файлами, так что если вы грезили о флоппике с btrfs, придется вам имхо обломаться ;)
>И что по этому поводу скажет User294 - так же будет преподносить
>как офигенную FS ?В заницу так или иначе можно загнать любую ФС, если постараться. Ну да, чувакам это удалось - условия для поливания ФС грязью они подогнали хорошо, это заметно ;). Или они всерьез утверждают что всем позарез нужны CD-sized тома с btrfs, забитые 2 кб файлами? Есть только одна "маленькая" проблема: подобрать крайне неудобный и неудачный use scenario на котором скорость работы ФС упадет в хлам, где ФС уделается в фрагментации или метаданные займут больше данных, или еще чего прикольного ... можно для почти любой ФС. Потому что слабые места есть у всех. Следует ли отсюда что все вообще ФС - полное говно? ;)
ЗЫ они б еще ZFS на дискету бы впихнуть попытались, померяв эффективность, после ревью кода, разумеется. А то что-то скромно как-то поднасрали ФС, раньше вообще-то оно в таких условиях не работало СОВСЕМ, если что :)
>JFYI, раньше вообще-то в их mkfs был лимит ... вообще не позволяющий
>создать том менее ~гига или двух. Я уж не знаю, выпилили
>ли его, но раньше mkfs чертыхался и я банально юзаю тома
>более адекватных для этой ФС и современных реалий размеров.И что? Описываемое поведение не зависит от размера раздела. Все будет точно также плохо даже на разделе большего размера.
>ЗЫ они б еще ZFS на дискету бы впихнуть попытались, померяв эффективность,
ZFS то ты к чему тут помянул? Ее на дискету не запихнешь - минимальный размер требуемого устройства - 64 MiB, и из них большая часть уйдет на оверхед (4.5MiB) и резерв (32 MiB), так что такие размеры никто, кроме ztest'а не использует.