URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 72695
[ Назад ]

Исходное сообщение
"Оценка производительности ZFS на уровне ядра в Linux"

Отправлено opennews , 22-Ноя-10 17:51 
Ресурс Phoronix провел (http://www.phoronix.com/scan.php?page=article&item=linux_kqz...) тестирования недавно представленной (http://www.opennet.me/opennews/art.shtml?num=27996) нативной поддержки ZFS для Linux, работающей в виде модуля ядра. В тестировании также приняли участие файловые системы Ext4, XFS, Btrfs и реализация ZFS в виде FUSE-модуля, работающего в пространстве пользователя.


-  В большинстве тестов производительность ZFS в виде модуля ядра оказалась в несколько раз быстрее FUSE-модуля ZFS.
-  При сравнении с Btrfs нативная реализация ZFS (далее просто ZFS) оказалась быстрее в 3 тестах (SQLite, FS-Mark, Threaded I/O Tester) из 9.
-  В тесте Apache Benchmark ZFS примерно на 10% отстала от Ext4, XFS и Btrfs.
-  В тесте SQLite ФС ZFS в три раза обогнала Btrfs, но на 12% отстала от Ext4 и на 40% от ZFS;
-  При оценке скорости сборки (Compile Bench) ZFS опередила XFS на 10%, но отстала от Btrfs в два раза, а от Ext4 - в 2.5 раза;
-  В тесте IOzone на ...

URL: http://www.phoronix.com/scan.php?page=article&item=linux_kqz...
Новость: http://www.opennet.me/opennews/art.shtml?num=28724


Содержание

Сообщения в этом обсуждении
"Запрашивает Миша Рыцаревъ"
Отправлено ua9oas , 22-Ноя-10 17:54 
Ну а тогда как по производительности и другим качеством она отличается от виндовых файловых систем?

"Запрашивает Миша Рыцаревъ"
Отправлено zazik , 22-Ноя-10 17:59 
> Ну а тогда как по производительности и другим качеством она отличается от
> виндовых файловых систем?

От древней как говно мамонта FAT или насквозь проприетарной NTFS?


"Запрашивает Миша Рыцаревъ"
Отправлено Bocha , 22-Ноя-10 18:00 
да не важно. Они обе фунционально ничем не интересны в отличие от любой из тестируемых.

"Запрашивает Миша Рыцаревъ"
Отправлено zazik , 23-Ноя-10 14:29 
> да не важно. Они обе фунционально ничем не интересны в отличие от
> любой из тестируемых.

Я на это и намекал.


"Запрашивает Миша Рыцаревъ"
Отправлено Zenitur , 22-Ноя-10 18:51 
Что именно? ext? Быстрее, а ещё почти никогда серьёзно не фрагментируется. NTFS конечно другая FS, не FAT, многих проблем там нет. Но поколение FS всё то же, то есть более старое, чем EXT2/3/4. Новое, но не последнее. ZFS как раз одна из файловых систем последнего поколения. Причём я это писал здесь и раньше, до того как он в Linux появился.

"Запрашивает Миша Рыцаревъ"
Отправлено User294 , 22-Ноя-10 21:38 
Виндовые файловые системы - это аж фат по крутым технологиям 1980х. И нтфс - по технологиям начала 1990-х. По современным меркам это ОКАМЕНЕЛОСТИ. А то что их продают хренадцать лет - ну так это ж Майкрософт.

"Запрашивает Миша Рыцаревъ"
Отправлено Аноним , 23-Ноя-10 18:18 
что может предложить linux? ext2 1980х годов, ext3 недопиленая 1990х.
А все остальное имеет статус экперементального.
Какие же окаменелости вы используете? не стыдно ?
Хотя что там - вы еще и кричать своей крутизной будете :)

"Запрашивает Миша Рыцаревъ"
Отправлено Клыкастый , 24-Ноя-10 15:25 
> что может предложить linux?

XFS, reiserfs.

во FreeBSD - ZFS, уже стабильная. Репликация файловой системы, снапшоты, тома, поддержка рейда. В общем всё то, что ntfs даже не снилось.

Кстати, об ext3 - что именно недопилено и какую из своих задач вы не смогли реализовать на ext3?


"Запрашивает Миша Рыцаревъ"
Отправлено User294 , 26-Ноя-10 18:11 
> что может предложить linux? ext2 1980х годов, ext3 недопиленая 1990х.

Вы из какой криокамеры вылезли, сэр? :)

> А все остальное имеет статус экперементального.

Поздравляю с успешной разморозкой, сэр! Хладагент недурным был? :) Пока вы там размораживались, появились 4 и даже 6-ядерные процы, а EXT4 уже был объявлен стабильным, если что. Кстати даже не вчера. И стал полностью юзабелен где-то в районе .30...32 ядра. А XFS какойнить достаточно стабильным был уже давно. Последние неприятные баги в нем доубивали где-то в районе .28 ядер, IIRC. Все это относительно ваниллы, за всякие там редхаты с их патчеными-перепатчеными ядрами пусть редхатчики расскажут.

> Какие же окаменелости вы используете? не стыдно ?

Я использую в основном EXT4 и XFS нынче. Обе юзают экстенты, у обоих довольно эффективная работа с большими дирами. XFS еще и фрагментации сопротивляется очень недурно. А там вон btrfs уже на горизонте появился. В виндузе как-то все куда более уныло - выбор из ископаемого FAT эпохи доса и NTFS задезигненного в 90е прошлого века. С битовыми картами и прочими старинными артефактами, "способствующими" производительности :)

> Хотя что там - вы еще и кричать своей крутизной будете :)

Нет, КО просто намекнет что в 80-х и 90-х не было схем с экстентами и b-деревьями, например. А если кто прощелкал клювом прогресс в области и забил на развитие своих ФС - ну туда ему и дорога, пусть свои ископаемые тормозилки еще 20 лет впаривают. Впариварие разнообразного шита - это единственное что MS умеет делать хорошо.


"Запрашивает Миша Рыцаревъ"
Отправлено nuclight , 08-Янв-11 23:10 
294, ты прежде чем херню нести, ознакомился бы с предметом для начала. Есть в NTFS и экстенты, и B+-деревья. А поскольку MS проектировать NTFS и ядро NT приглашала не абы кого (это потом уже у индусов получилось как всегда), то и многое другое, на что в юниксовых системах до сих пор только Ганс и замахивается - несколько равноправных атрибутов данных у файла, произвольные атрибуты и индксация по ним, и т.д.

NTFS вообще сильно похожа на БД в этом плане, и не зря M$ планировал создать WinFS - возможность-то была, в отличие от "неокаменелых" ext3 сотоварищи.


"Запрашивает Миша Рыцаревъ"
Отправлено Клыкастый , 26-Апр-11 20:12 
> 294, ты прежде чем херню нести, ознакомился бы с предметом для начала.
> Есть в NTFS и экстенты, и B+-деревья. А поскольку MS проектировать
> NTFS и ядро NT приглашала не абы кого

Мы помним IBM, HPFS и os2krnl в NT/W2K. Но и скорбим по ним уже давно.

> в юниксовых системах до сих пор только Ганс и замахивается -
> несколько равноправных атрибутов данных у файла, произвольные атрибуты и индксация по
> ним, и т.д.

Ганс молодчина и умничка, но вам тут кроме reiserfs тычут в XFS и ZFS. В отличии от NTFS, которую потом индусы пилили, по вашим словам), это очень динамичные проекты.


> NTFS вообще сильно похожа на БД в этом плане, и не зря
> M$ планировал создать WinFS - возможность-то была, в отличие от "неокаменелых"
> ext3 сотоварищи.

я может и не до конца проникся количеством атрибутов, и их индексацией, но прочтите на досуге возможности ZFS. Реальные. Они уже есть и применяются. И давайте сравним с NTFS. ИМХО _далеко_ не в пользу последнего сравнение.


"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено Bocha , 22-Ноя-10 17:58 
Тест показывает, что для тех функций, которые есть у других FS, ZFS в общем-то не нужна. Но ZFS имеет набор уникальных фич, и интересна в первую очередь тем, что в других ФС не реализовано. Юзать ZFS для вышеперечисленного можно, но учитывая её потребление памяти - довольно бессмысленно. А вот всякие там защиты от репликации данных, RAIDZ3 и прочие вкусности - это да, тут выбор очевиден. Правда другие FS всё равно будут обрастать этим функционалом со временем, но пока ZFSу в некоторых функциях равных нет, как бы медленно она их не исполняла.

"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено iZEN , 22-Ноя-10 18:04 
`zfs rollback poolname/fsname@snapshotname` выполняется моментально, чего нельзя сказать о других современных ФС, поддерживающих снапшоты. ;)

"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено User294 , 22-Ноя-10 21:40 
> `zfs rollback poolname/fsname@snapshotname` выполняется моментально, чего нельзя сказать
> о других современных ФС, поддерживающих снапшоты. ;)

А чему такому сильно тормозить в бтрфс при работе со снапшотами? oO


"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено iZEN , 22-Ноя-10 23:20 
А Btrfs вообще умеет rollback к снапшоту или всё ограничивается монтированием последнего и копированием содержимого в чистый  subvolume?

"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено Stax , 23-Ноя-10 16:47 
Умеет конечно.
В плане работы снапшотов и других особенностей этого уровня он примерно эквивалентен zfs - что, в общем-то, логично, учитывая похожие идеи при проектировании.

Наверное единственное крупное, что есть в zfs и нет в btrfs это raid-z. Все остальное, с некоторыми допущениями (не всегда в пользу zfs, кстати ;) имеется.


"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено iZEN , 27-Ноя-10 14:21 
> Умеет конечно.
> В плане работы снапшотов и других особенностей этого уровня он примерно эквивалентен zfs - что, в общем-то, логично, учитывая похожие идеи при проектировании.

Продемонстрируйте, пожалуйста, последовательность команд, которые необходимо ввести в терминале, чтобы:
1) получить снапшот;
2) произвести какие-то "деструктивные" действия над файловой системой (например, rm -rf /btrfsfilesystem/*);
3) благополучно откатиться к предыдущему состоянию ФС, используя снапшот из п.1.


"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено User294 , 26-Ноя-10 20:19 
> А Btrfs вообще умеет rollback к снапшоту

Конечно. Суметь делать снапшоты и суметь строить на лету соотв. состояние, но не суметь при этом откатываться на него - это еще суметь надо. Было бы крайне оригинально.

> или всё ограничивается монтированием последнего и копированием содержимого в чистый  subvolume?

Такое ощущение что вы вообще не понимаете как снапшоты работают. Нафига бы что-то куда-то копировать? Все данные и метаданные снапшотов и так есть. Сразу.


"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено iZEN , 27-Ноя-10 14:21 
>> А Btrfs вообще умеет rollback к снапшоту
> Конечно. Суметь делать снапшоты и суметь строить на лету соотв. состояние, но
> не суметь при этом откатываться на него - это еще суметь
> надо. Было бы крайне оригинально.

Языком трепать - не мешки ворочать.

UFS2 тоже поддерживает снапшоты, но откат к предыдущему состоянию ФС — крайне муторная последовательность действий.


"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено vadiml , 22-Ноя-10 18:32 
> ZFS на XXX отстала/обогнала от Ext4, XFS и Btrfs

Исходя из сырости реализации это ни о чём не говорит -- может стать как быстрее, так и медленнее.
А т.к. её ни кто пока включать в ядро не собирается, то и пользователей у неё будет не больше чем у reiser4


"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено dimqua , 22-Ноя-10 18:37 
Её в ядро и не включат по лицензионным соображениям.


"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено JL2001 , 22-Ноя-10 18:42 
> # В тесте Threaded I/O Tester ZFS оказалась лидером, обогнав ext4 и XFS на 40%, а Btrfs на 3%. Интересно, что данный тест также был запущен в OpenSоlaris, в котором результаты работы ZFS отстали от Linux в 11 раз;
> # В тесте PostMark ZFS значительно отстал от других систем, например, от Ext4 в 16 раз, от XFS в 15 раз, а от Btrfs в 12 раз. Производительность ZFS в OpenSolaris оказалась выше реализации ZFS для Linux в два раза."

мда... без двух пакетов травы и ящика водки в отличиях и особенностях ФС не разобраться


"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено Frank , 22-Ноя-10 19:52 
Если не считать SQLite теста, то ZFS слила находящейся в разработке btrfs

P.S. написано на нетбуке с btrfs на ssd :)


"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено dimqua , 22-Ноя-10 20:01 
Да, но на SQLite btrfs слила ппц, всем. Что же за недоработка там такая?

"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено Аноним , 22-Ноя-10 21:28 
А XFS то - чертовски хорош с 2.6.37 ;)

"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено crypt , 22-Ноя-10 21:51 
с 2.6.37 действительно отмечен прирост и в ext4. интересно, почему.

"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено dimqua , 22-Ноя-10 22:21 
Про ext4 же писали недавно. http://www.opennet.me/opennews/art.shtml?num=28498 Или это не совсем то?

"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено Миха , 23-Ноя-10 09:07 
Господа, всем чаю в треде.
Вот я использую zfs на freebsd amd64. Я бы не сказал что заметил какие то с потреблением памяти, никогда не упирался в потолок и вообще не замечал что оно там есть. Диски почти постоянно нагружены хоть чем то, большинство времени более чем наполовину загружены. Заполнены 3Т из 4-х. Ну не сказать что бы я все возможности там прямы использовал, но мне очень нужна расширяемость - купил ещё один винт, подоткнул, добавил в пул - пул расширился. Плюс журналирование.
Задавайте свои ответы.

"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено Аноним , 23-Ноя-10 09:10 
Опять не тест а пердеж в лужу, ZFS нужно было тестить так:

raid10 на 8 винтах;
кэш на паре ssd;
zil кэш на 1 ssd;

и в несколько десятков потоков читать/писать.zfs _СПЕЦИАЛИЗИРОВАННАЯ_ FS, раскрывающая все свои преимущества не на одном винте на пеонерском писюке васи пупкина а на серьезных NAS решениях.


"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено Bocha , 23-Ноя-10 13:14 
как и во многих случаях ОС Solaris кстати.

"Оценка производительности ZFS на уровне ядра в Linux"
Отправлено iCat , 23-Ноя-10 14:45 
Возьмём книгу и поместим в серную кислоту.
Возьмём компакт-диск и поместим его в дистилированную воду.
Через полчаса преимущества новых носителей информации станут очевидны.
(c)Phoronix.