The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD, opennews (ok), 01-Дек-20, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


153. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  –1 +/
Сообщение от Аноньимъ (ok), 02-Дек-20, 13:58 
> Оно уже научилось дефрагментации?

Каков ваш юзкейс вызывающий повышенную фрагментацию ZFS?
Как быстро перфоманс деградирует?

Ответить | Правка | Наверх | Cообщить модератору

155. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  +1 +/
Сообщение от Аноним (98), 02-Дек-20, 15:11 
Любой юзкейс где файлы не аллоцируются сразу а дописываются в процессе вызывает сильную фрагментацию. Например, типично самое фрагментированное, это профили браузера (для линукса).
Ответить | Правка | Наверх | Cообщить модератору

157. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  –1 +/
Сообщение от Аноньимъ (ok), 02-Дек-20, 15:35 
Профиль браузера у вас вызывает фрагментацию ZFS?
Или вы не знаете, а только предполагаете?
ИМХО, нужно проверять.

ZFS кстати COW система, на всякий случай отмечу.

Ответить | Правка | Наверх | Cообщить модератору

159. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  –1 +/
Сообщение от Аноним (98), 02-Дек-20, 15:44 
Ext4 он определённо точно фрагментирует очень сильно, а ведь ext4 как известно тоже "не фрагментируется", только даже e4defrag плачет кровавыми слезами от кэшей браузера. Однако, свободное пространство адово фрагментирует, но у неё хотя бы какой-то онлайн дефрагментатор есть.
Ответить | Правка | Наверх | Cообщить модератору

168. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  +/
Сообщение от Аноньимъ (ok), 02-Дек-20, 20:53 
> Ext4 он определённо точно фрагментирует очень сильно, а ведь ext4 как известно
> тоже "не фрагментируется", только даже e4defrag плачет кровавыми слезами от кэшей
> браузера. Однако, свободное пространство адово фрагментирует, но у неё хотя бы
> какой-то онлайн дефрагментатор есть.

Надо тестировать. ZFS - совсем другая система. Я слышал о проблеме фрагментации на ней, но точно не на профилях браузера.
И обычно рекомендуют оставлять больше свободного места или добавить дисков в пул для повышения IO.

В любом случае, вначале тестирование - потом решение. Скорее всего, ненужно ничего для кешей браузера дефрагментировать никогда вообще.
Как варианты, отключить кеш на диске, или разместить кеш на ССД.

Ответить | Правка | Наверх | Cообщить модератору

169. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  –1 +/
Сообщение от Аноним (98), 02-Дек-20, 21:35 
Не только профили браузера, это просто пример постоянно пишущихся файлов. Ещё жесть была на cow образах виртуалок. И раньше ещё сталкивался с фрагментацией на торрентах, когда программа не аллоцировала сразу весь файл целиком. Дефрагментатора на линуксах очень не хватает, файлы читающиеся подряд чаще всего будут разнесены по всем блинам ровным слоем даже если они не фрагментированы, это тоже значительно снижает производительность (поэтому доступ к куче мелких файлов такой медленный). Ну и консолидировать свободное пространство наверное хотелось бы. Не подходит линукс для высокопроизводительных рабочих станций, ничего не поделать.
Ответить | Правка | Наверх | Cообщить модератору

175. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  +/
Сообщение от Аноньимъ (ok), 03-Дек-20, 00:34 
>И раньше ещё сталкивался с фрагментацией на торрентах, когда программа не аллоцировала сразу весь файл целиком

Нужно аллоцировать, иначе торренты жесткий диск вешают.

>Не подходит линукс для высокопроизводительных рабочих станций

Высокопроизводительные рабочие станции используют ССД, как и большинство домашних ПК. А чтобы словить проблему с фрагментацией на HDD нужно очень хорошо постараться, так как современные файловые системы это дело давно научились оптимизировать.

>Дефрагментатора на линуксах очень не хватает

Вы всегда можете провести офлайн дефрагментацию раз в 5 лет.
Если у вас это постоянная проблема то нужно устранять причины её возникновения.

Ответить | Правка | Наверх | Cообщить модератору

177. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  +/
Сообщение от Аноним (98), 03-Дек-20, 00:53 
ССД не напасёшся, они конечно идут под кэши, но это всё довольно ограничено в итоге. Плохо ФС это оптимизируют, очень плохо.

>офлайн дефрагментацию раз в 5 лет

Ну да, если бы она ещё существовала. Есть эффективный метод переместить файлы с диска на диск, но это неделями нонстоп диски долбить же и их нельзя при этом использовать. Не вариант.

Что касается фрагментации свободного пространства, то за год использования на корне картина такая

Min. free extent: 4 KB
Max. free extent: 190888 KB
Avg. free extent: 424 KB
Num. free extent: 76118

на разделе с данными

Min. free extent: 4 KB
Max. free extent: 2080640 KB
Avg. free extent: 1636 KB
Num. free extent: 258754

Если файл попадёт в эти миллионы 4 килобайтных экстентов, ему поплохеет. А когда их будет больше одного, и они все размазаны? У ссд внутреннее представление вроде бы 20 мегабайт, не уверен, как это всё сказывается на их эффективности.

Ответить | Правка | Наверх | Cообщить модератору

178. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  +/
Сообщение от Аноним (98), 03-Дек-20, 00:58 
Особенно весело становится когда случайный доступ в несколько потоков, а файлы размазаны. Вот это да, так и убить диски не долго (если они раньше не отключатся от перегрева сами).
Ответить | Правка | Наверх | Cообщить модератору

180. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  +/
Сообщение от Аноньимъ (ok), 03-Дек-20, 01:18 
> Особенно весело становится когда случайный доступ в несколько потоков, а файлы размазаны.
> Вот это да, так и убить диски не долго (если они
> раньше не отключатся от перегрева сами).

Никакая дефрагментация тут не поможет. Это ограничения жестких дисков как технологии. Решается сборкой рейд массивов и настройкой кеширования.

Ответить | Правка | Наверх | Cообщить модератору

181. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  +/
Сообщение от Аноним (98), 03-Дек-20, 01:29 
Диски читают в свой кэш относительно большими блоками (даже очень большими), а если файлы расположены рядом то ещё и значительная экономия на позиционировании. Т.е. в каталоге с кучей мелких файлов более выгодно будет разместить их рядышком, а не по всем пластинам.
Ответить | Правка | Наверх | Cообщить модератору

182. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  +/
Сообщение от Аноньимъ (ok), 03-Дек-20, 01:38 
> Диски читают в свой кэш относительно большими блоками (даже очень большими), а
> если файлы расположены рядом то ещё и значительная экономия на позиционировании.

И как это поможет когда у вас
>случайный доступ в несколько потоков

?

Ответить | Правка | Наверх | Cообщить модератору

183. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  +/
Сообщение от Аноним (98), 03-Дек-20, 01:50 
На позиционирование понадобится много меньше времени, если файлы сразу попадают в кэш (либо как минимум расположены рядом). Если же их придётся искать по всем пластинам, никакого толка не будет.
Ответить | Правка | К родителю #182 | Наверх | Cообщить модератору

184. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  +/
Сообщение от Аноньимъ (ok), 03-Дек-20, 02:01 
Доступ же случайный, откуда файлам в кеш попадать, и какая разница как близко они находятся если доступ случайный?
Ответить | Правка | К родителю #183 | Наверх | Cообщить модератору

185. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  +/
Сообщение от Аноним (98), 03-Дек-20, 02:10 
Наверное всё же не совсем случайный. Тут вычитал тысячу файлов за один заход, там 10 тысяч файлов. Кроме того, диски достаточно умные, чтобы оптимизировать доступ к рядом расположенным данным.
Ответить | Правка | К родителю #184 | Наверх | Cообщить модератору

199. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  +/
Сообщение от Аноньимъ (ok), 03-Дек-20, 19:02 
Нет, диски не обладают подобным интеллектом.
Ответить | Правка | К родителю #185 | Наверх | Cообщить модератору

200. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  +/
Сообщение от Аноним (98), 03-Дек-20, 21:25 
Или обладают, они определённо умнее среднего пользователя. Сегодняшние нжмд исключительно высокотехнологичны.
Ответить | Правка | К родителю #199 | Наверх | Cообщить модератору

202. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  +/
Сообщение от Аноньимъ (ok), 03-Дек-20, 22:36 
Вот и не додумывайте тогда за ШДД и файловые системы, им виднее.
Ответить | Правка | К родителю #200 | Наверх | Cообщить модератору

203. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  –1 +/
Сообщение от Аноним (98), 03-Дек-20, 23:00 
Ну это уже откровенное хамство, да? Будем считать за слив и отсутствие адекватных аргументов.
Ответить | Правка | К родителю #202 | Наверх | Cообщить модератору

204. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  +/
Сообщение от Аноньимъ (ok), 03-Дек-20, 23:06 
Вам заняться нечем, кроме как меня троллить?
Вы единственный кто здесь хамит.

Все ваши комментарии сводятся к попытке придумать причину для необходимости механизма онлайн дефрагментации, в виду ваших слабых познаний в теме попытке нелепой.
Как я должен на ваши вольные фантазии отвечать, по вашему?

Давайте перефразирую, мне неинтересны ваши фантазии, и вам не стоит тратить на них время, подобные занятия ведут к шизофрении.

Ответить | Правка | К родителю #203 | Наверх | Cообщить модератору

205. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  –1 +/
Сообщение от Аноним (98), 03-Дек-20, 23:13 
Ну это стадия отрицания, не иначе. Пример низкой квалификации, да? Поскольку любой, кто работал с сильно фрагментированными данными (и видел разницу между размазанными данными и локально сгруппированными), понимает, насколько это плохо для производительности и почему.
Ответить | Правка | К родителю #204 | Наверх | Cообщить модератору

206. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  +/
Сообщение от Аноним (98), 03-Дек-20, 23:21 
Пс. я, конечно, могу совершенно добросовестно заблуждаться, но я хотя бы проводил исследование, и что-то мне подсказывает, что я вполне корректен в полученных выводах. Если, конечно, не допустил ошибку при анализе, но в таком случае она была совершена многократно и оборудования для получения более достоверного результата у меня в наличии не было в любом случае.
Ответить | Правка | К родителю #205 | Наверх | Cообщить модератору

214. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  –1 +/
Сообщение от Admin LinuxDB2 (?), 16-Дек-20, 04:48 
Подтверждаю, ZFS жутко фрагментируется и тормозит от профиля Chrome, уже 4 раза приходилось делать send | receive для дефрагментации, после чего браузер перестает подолгу тормозить.

И это в режиме sync=disabled, когда по сути все пишется первые несколько минут только в оперативку.
Т.е. получается, затраты по IOPs только на чтение.

И дальше берем базу СУБД на zvol, через несколько лет она становится жутко фрагментированной, но это еще полбеды, потому что часть ее можно загнать в L2ARC на SSD.

Намного серьезнее проблем с фрагментацией свободного места, которое решается постепенным добавлением нового свободного места, после чего запись опять оживает.

Ну ни нада звиздеть про ненужность дефрагметации, это же дичайшая дичь тупая, почейтайте лучше, что пишут умные люди:

https://serverfault.com/questions/957317/zfs-heavy-write-amp...

https://github.com/openzfs/zfs/issues/4785

Ну если вы просто троль производителей СХД, то я вас еще могу понять, потому что после появления в ZFS онлайн дефрагментации вас ждет финансовый кирдык, что я приветствую как пострадавший (к счастью только потерей своего времени) от хоронилищ IBM в составе Blade Center S.

Во всех уважающих себя промышленных хранилищах есть online дефрагментация, и я больше скажу, когда такая дефрагментация появится в ZFS, а она однозначно появится, когда подсуетятся промышленные пользователи, так вот тогда, все эти дорогие промышленные хранилища начального и среднего уровня пойдут по писе, ну может останутся девяточные с дублированием матплат и т.п. и то с учетом существования кластерных FS типа CEPH это еще большой вапроз.

Ответить | Правка | К родителю #204 | Наверх | Cообщить модератору

216. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  +/
Сообщение от Аноньимъ (ok), 16-Дек-20, 06:38 
Сами-то свои ссылки читали?


И куда вас понесло, что там за промышленные хранилища и причем тут онлайн дефрагментация в ЗВС?
Здесь рыбы нет (директор стадиона).

Ответить | Правка | К родителю #214 | Наверх | Cообщить модератору

179. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  +/
Сообщение от Аноньимъ (ok), 03-Дек-20, 01:17 
>ССД не напасёшся

На кеш браузера и логи?

>они конечно идут под кэши, но это всё довольно ограничено в итоге. Плохо ФС это оптимизируют, очень плохо.

ZFS очень хорошо это оптимизирует.
Попробуйте тестовый сетап сделать, 6 винчестеров, сцепляете по два в vdev и из них RAID-Z.
Рядом 2 ссд в зеркало и подключаете к пулу как хранилище метаданных.
По вкусу добавляете NVME ссд для L2-ARC и один в кач ЛОГ девайса.

Ответить | Правка | К родителю #177 | Наверх | Cообщить модератору

161. "Релиз OpenZFS 2.0, реализации ZFS для Linux и FreeBSD"  +/
Сообщение от Аноним (161), 02-Дек-20, 18:40 
Я сумку на плече ношу либо рюкзак, кейсами не пользуюсь. И про Перфоманса не знаю, среди знакомых людей с такой фамилией нет.
Ответить | Правка | К родителю #153 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру