Вариант для распечатки |
Пред. тема | След. тема | ||
Форум Разговоры, обсуждение новостей | |||
---|---|---|---|
Изначальное сообщение | [ Отслеживать ] |
"Файловая система DwarFS, обеспечивающая очень высокий уровень сжатия" | +/– | |
Сообщение от opennews (??), 30-Ноя-20, 12:26 | ||
Маркус Холланд-Мориц (Marcus Holland-Moritz) из компании Facebook опубликовал первые выпуски файловой системы DwarFS, работающей в режиме "только для чтения" и нацеленной на обеспечение максимального уровня сжатия и сокращения избыточных данных. ФС использует механизм FUSE и работает пространстве пользователя. Код написан на С++ и распространяется под лицензией GPLv3... | ||
Ответить | Правка | Cообщить модератору |
Оглавление |
Сообщения | [Сортировка по времени | RSS] |
2. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –4 +/– | |
Сообщение от InuYasha (??), 30-Ноя-20, 12:32 | ||
На ленты можно будет накатить. Хотя, там уже сами LTO-приводы, вроде, делают своё сжатие. | ||
Ответить | Правка | Наверх | Cообщить модератору |
3. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +1 +/– | |
Сообщение от blzz (?), 30-Ноя-20, 12:51 | ||
не представляю как можно сжимать для устройства с линейным доступом, кроме как gzip/bzip2/xz или аналогов, ну в общем блок потока. ведь что-то выиграть на дедупликации внеблока нельзя, а это и есть самое выгодное для файловой системы. | ||
Ответить | Правка | Наверх | Cообщить модератору |
4. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –6 +/– | |
Сообщение от Аноним (4), 30-Ноя-20, 13:00 | ||
Вот кстати единственный архиватор, который занимается дедупликацией (помимо того что позволяет выбрать эффективные фдля контента фильтры, мог бы и сам озаботиться конечно) это zpaq. Больше никто дидуплекацию не делает — у тебя в файле будет несколько копий одних и тех же данных в итоге. Даже если файлы совершенно идентичные, архиваторы недостаточно умные, чтобы угадать идентичность по хэшам. Про потоковые и говорить нечего, конечно. | ||
Ответить | Правка | Наверх | Cообщить модератору |
5. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –2 +/– | |
Сообщение от Аноним (4), 30-Ноя-20, 13:02 | ||
Squashfs вроде обещала дедупликацию, но я её не заметил что-то совершенно. | ||
Ответить | Правка | Наверх | Cообщить модератору |
14. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +2 +/– | |
Сообщение от Аноним (14), 30-Ноя-20, 14:56 | ||
Пофайловая есть. Одинааовые файлы сгребает еще до отправки на сжатие, можешь чекать статистику в клнце mksquashfs | ||
Ответить | Правка | Наверх | Cообщить модератору |
26. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –2 +/– | |
Сообщение от Аноним (4), 30-Ноя-20, 16:02 | ||
Не знаю, я сжимал 2 копии одинаковых файлов лежащих рядом (они не рядом с точки зрения архиватора, файлов было много) и ни архиваторы ни squash и приблизиться не смогли к zpaq (по времени у того сравнимо с 7z, примерно одинаково даже). | ||
Ответить | Правка | Наверх | Cообщить модератору |
27. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –3 +/– | |
Сообщение от Аноним (4), 30-Ноя-20, 16:03 | ||
7z кстати при этом сжал почему-то лучше squashfs (там xz компрессором был). | ||
Ответить | Правка | Наверх | Cообщить модератору |
39. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (39), 30-Ноя-20, 17:19 | ||
Можно перед mksquashfs прогнать любой дедупликатор, заменяющий копии на симлинки | ||
Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору |
46. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (46), 30-Ноя-20, 19:21 | ||
Зачем, если и так есть файловая дедубликация? Блочной нет. | ||
Ответить | Правка | Наверх | Cообщить модератору |
49. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +2 +/– | |
Сообщение от Led (ok), 30-Ноя-20, 21:20 | ||
>архиваторы | ||
Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору |
50. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –4 +/– | |
Сообщение от Аноним (4), 30-Ноя-20, 21:22 | ||
Так и мне нужна ДЕДУПЛЕКАЦИЯ, а не СЖАТИЕ. Это задача АРХИВАТОРА, а не КОМПРЕССОРА. | ||
Ответить | Правка | Наверх | Cообщить модератору |
63. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от vitektm (?), 01-Дек-20, 09:03 | ||
exdupe и сжимает и дедуплицирует и с космической скоростью. Есть правда минус чтобы сильно сжать нужно много оперативы. Но скажем сжать пару ТБ архивов msSQL сможет на ура. (в до 10-20 раз может ужать) | ||
Ответить | Правка | Наверх | Cообщить модератору |
6. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +4 +/– | |
Сообщение от Аноним (6), 30-Ноя-20, 13:05 | ||
> архиватор, который занимается дедупликацией | ||
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору |
7. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –1 +/– | |
Сообщение от Аноним (4), 30-Ноя-20, 13:21 | ||
А если мне нужны несколько копий повторяющихся данных? Допустим, медиафайлы (и даже бинарники) одинаковые, а скрипты и переводы могут отличаться. Я конечно использую hardlink, но он просто выкидывает мета-информацию о файлах и если perl-hardlink позволял выбрать по дате или размеру какой файл оставить, то utillinux-hardlink выбирает самостоятельно и случайно? Ну, зато работает быстрее. А если файлы отличаются на пару байт (очень типичная ситуация), то он уже не дедуплицируются. По этой причине я хочу попробовать дедупликацию в btrfs для решения данной задачи, но btrfs до сих пор не поддерживает case-insensitive флаг (а значит только ext4 и вроде f2fs). | ||
Ответить | Правка | Наверх | Cообщить модератору |
11. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –1 +/– | |
Сообщение от Anon_noXX (?), 30-Ноя-20, 14:49 | ||
Чьёрт подъери. "case-insensitive флаг" только ввели, а это стало киллер-фичей. На винду дуй, там это нормой является. Не нужно hardlink использовать, есть --reflink=(auto|always) опция для cp, mc умеет. Кстати, не только btrfs, ext4/xfs/что-там-еще-что-я-не-видел-никогда. | ||
Ответить | Правка | Наверх | Cообщить модератору |
12. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (4), 30-Ноя-20, 14:53 | ||
>На винду дуй | ||
Ответить | Правка | Наверх | Cообщить модератору |
62. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Anon_noXX (?), 01-Дек-20, 07:43 | ||
"мне нужно их удалять" - вот и удаляй. "отличается только дата тагирования, всё. Дальше что?" - ой, всё! :) Дуй на винду и храни тэги в ntfs потоках, блочные фс не умеют разницу в пару байт обрабатывать. А ты, кстати, в курсе, что винда умеет в транзакции для ntfs? Просто вопрос. | ||
Ответить | Правка | Наверх | Cообщить модератору |
8. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –1 +/– | |
Сообщение от Anon_noXX (?), 30-Ноя-20, 14:38 | ||
Не совсем, дедупликацию еще как минимум rar5 умеет, со своими тараканами, куда без этого. А так-то, если в словарь(в общем, не придираться) все вмещается, любой архиватор эффективно с дублями борется. | ||
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору |
9. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –2 +/– | |
Сообщение от Аноним (4), 30-Ноя-20, 14:46 | ||
>rar5 | ||
Ответить | Правка | Наверх | Cообщить модератору |
13. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –1 +/– | |
Сообщение от Anon_noXX (?), 30-Ноя-20, 14:55 | ||
Пардон, на работе только оффтопик и русский. Впрочем, читать документацию - это же не тру уних вей, да? | ||
Ответить | Правка | Наверх | Cообщить модератору |
19. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (4), 30-Ноя-20, 15:04 | ||
Почему ты такой теоретик? Давай сделай запрошенное, потом приходи и рассказывай, как кто-то там не умеет читать справку, угумс? Только убедись хорошенько, что заявленная "дедупликация" работает, хотя бы со словарём ну там допустим 256мб и датасетом в несколько гигабайт с дублированными данными где-то на гигабайт-полтора. Я вот знаю результат заранее. | ||
Ответить | Правка | Наверх | Cообщить модератору |
21. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Anon_noXX (?), 30-Ноя-20, 15:12 | ||
Ок, "ты", значит ты. Я - практик, на нужных мне датасетах rar не использую, он хуже 7z lzma2 жмет. Впрочем, обхожусь gzip -3, местами -9, сжатие 20-25 кратное меня устраивает, да и процов не напасешься на моих датасетах. Расскажи, что у тебя и сколько компрессии подвергается. Я вот xml жму, в основном, 15-20 ТБ/сутки(впрочем, считал 2-3 года назад, сейчас сильно больше), с интересной латентностью. | ||
Ответить | Правка | Наверх | Cообщить модератору |
23. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –1 +/– | |
Сообщение от Аноним (4), 30-Ноя-20, 15:31 | ||
Ни к чему выпендрёж. У меня было аж несколько различных кейсов, где размер файла имел значение — это архивирование в облако и передача по сети, и я под это заморочился выяснить как можно сжать поэффективнее. Типичная задача для меня это пожать несколько билдов для разных платформ сумарным объёмом в пределах 5-15гб, и файлы там повторяются. Когда же билдов несколько версий, количество дубликатов соответственно увеличивается весьма значительно. О чём я и говорю, архиваторы не справляются. Был ещё кейс где сколько-то терабайт текстовых данных (ну т.е. жмутся очень хорошо, ага) и дубликаты там тоже были значительным процентом. Тут понятно что только потоковое сжатие возможно, но дедупликация тоже. | ||
Ответить | Правка | Наверх | Cообщить модератору |
24. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –1 +/– | |
Сообщение от Аноним (4), 30-Ноя-20, 15:35 | ||
Вообще, это забавно, когда сильно сжатые данные занимают места больше чем почти бесплатно дедуплицированные без сжатия. | ||
Ответить | Правка | Наверх | Cообщить модератору |
60. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Anon_noXX (?), 01-Дек-20, 07:20 | ||
Сложно возразить. Я же не отрицаю полезность дедупликации :) | ||
Ответить | Правка | Наверх | Cообщить модератору |
64. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Anon_noXX (?), 01-Дек-20, 09:09 | ||
Прям уж выпендреж, не хотел, пардон, если так получилось. Да, 5-15ГБ - это же образы для ВМ, надеюсь, правильно понял? Для этих случаев имеются отдельные решения, не связаные с дедубликацией и сжатием, хотя и то и другое, несомненно, имеют право на существование. Это, скорее, проблема блочных ФС. | ||
Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору |
32. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (32), 30-Ноя-20, 16:29 | ||
твой gzip жутко медленный и однопоточный | ||
Ответить | Правка | К родителю #21 | Наверх | Cообщить модератору |
61. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Anon_noXX (?), 01-Дек-20, 07:23 | ||
Льстец, gzip не мой :) Я умею треды использовать, однопоточность gzip тут только в плюс. | ||
Ответить | Правка | Наверх | Cообщить модератору |
45. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от phrippy (ok), 30-Ноя-20, 19:14 | ||
> Если изменить содержимое первого файла, то при извлечении изменёнными будут и все остальные ссылающиеся на него файлы. | ||
Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору |
47. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от RM (ok), 30-Ноя-20, 19:52 | ||
Это как symlink логика | ||
Ответить | Правка | Наверх | Cообщить модератору |
25. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от anonymous (??), 30-Ноя-20, 15:45 | ||
exdupe еще есть (http://www.quicklz.com/exdupe/), заявляется как самый быстрый дедупликатор, но это экзотика, разработка встала. То ли вылизали идеально, то ли заброшен проект... | ||
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору |
38. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним84701 (ok), 30-Ноя-20, 17:10 | ||
> exdupe еще есть (http://www.quicklz.com/exdupe/), заявляется как самый быстрый дедупликатор, | ||
Ответить | Правка | Наверх | Cообщить модератору |
29. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –2 +/– | |
Сообщение от Аноним (32), 30-Ноя-20, 16:21 | ||
winrar умеет в дедупликацию одинаковых файлов, нужные опции можно в мане посмотреть) | ||
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору |
31. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (4), 30-Ноя-20, 16:27 | ||
> winrar умеет в дедупликацию одинаковых файлов, нужные опции можно в мане посмотреть) | ||
Ответить | Правка | Наверх | Cообщить модератору |
33. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –1 +/– | |
Сообщение от Аноним (32), 30-Ноя-20, 16:31 | ||
меня єто не останавливает! | ||
Ответить | Правка | Наверх | Cообщить модератору |
72. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (4), 02-Дек-20, 22:55 | ||
Да, zpaq хорош, даже +- дефолтный и памяти почти не использовал. Я уверен, можно получше параметры подобрать. Вот что он имеет сказать по поводу нескольких слегка модифицированных файлов | ||
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору |
73. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (4), 02-Дек-20, 23:20 | ||
7z (2016 года правда) со словарём в половину объёма данных (как раз влезет целиком после дедуплекации) и ms=on кстати победил, и я так понимаю все данные были эффективно дедуплицированы и сжаты (ценой памяти и времени), но это работает только там где файлы крошечные. Ну т.е. реалистично в пределах гигабайта может быть, больше словарь делать будет проблематично. При словаре 512mb файл получился на 1 килобайт меньше чем со словарём 256mb. Чтобы это проверить, пожал также со словарём в 4 раза меньше чистых данных (64mb) и архив получился больше в 4 раза, одинаково с tar-xz. Т.е. моя изначальная версия по поводу размера словаря и эффективности работы верна: там где нет возможности поместить все данные в окно словаря в памяти, zpaq выходит на первое место по качеству и эффективности сжатия, в остальных случаях лидирует 7z. Можно конечно и xz попробовать с нестандартным словарём, наверное тоже будет работать (если он может словарь больше 64). | ||
Ответить | Правка | Наверх | Cообщить модератору |
52. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –1 +/– | |
Сообщение от Прокоповна (?), 30-Ноя-20, 21:58 | ||
Вечера дедупликации на опеннет | ||
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору |
10. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от user90 (?), 30-Ноя-20, 14:46 | ||
B cразу ФС городить) | ||
Ответить | Правка | Наверх | Cообщить модератору |
15. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –1 +/– | |
Сообщение от somebody (??), 30-Ноя-20, 14:56 | ||
zfs + compression/deduplication | ||
Ответить | Правка | Наверх | Cообщить модератору |
20. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –2 +/– | |
Сообщение от user90 (?), 30-Ноя-20, 15:07 | ||
Ога, побежал разделы переформатировать) | ||
Ответить | Правка | Наверх | Cообщить модератору |
17. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (14), 30-Ноя-20, 14:59 | ||
Ссылку бы хоть оставил, а то такую имбу предложил что аж не найти | ||
Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору |
18. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от user90 (?), 30-Ноя-20, 15:03 | ||
https://github.com/basak/ddar | ||
Ответить | Правка | Наверх | Cообщить модератору |
16. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +1 +/– | |
Сообщение от Аноним (16), 30-Ноя-20, 14:56 | ||
>1139 различных установок Perl, в которых встречается 284 релизов Perl | ||
Ответить | Правка | Наверх | Cообщить модератору |
22. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +7 +/– | |
Сообщение от Аноним (-), 30-Ноя-20, 15:30 | ||
>Код написан на С++ и распространяется под лицензией GPLv3. | ||
Ответить | Правка | Наверх | Cообщить модератору |
68. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Дерьмократ (?), 01-Дек-20, 18:28 | ||
Просто фейсбук жадный | ||
Ответить | Правка | Наверх | Cообщить модератору |
74. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (-), 03-Дек-20, 12:59 | ||
Да какой же правильный? С C++ и фузом он будет тормозной и squashfs при всем желании не заменит. | ||
Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору |
28. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +7 +/– | |
Сообщение от Онанимус (?), 30-Ноя-20, 16:09 | ||
> В этом году автор нашёл время для доведению кода до публичного релиза и написание документации. | ||
Ответить | Правка | Наверх | Cообщить модератору |
30. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –1 +/– | |
Сообщение от Аноним (30), 30-Ноя-20, 16:24 | ||
Perl - двигатель прогресса. | ||
Ответить | Правка | Наверх | Cообщить модератору |
59. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +1 +/– | |
Сообщение от Lex (??), 01-Дек-20, 06:49 | ||
*смерть перла - двигатель прогресса | ||
Ответить | Правка | Наверх | Cообщить модератору |
34. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –1 +/– | |
Сообщение от Аноним (34), 30-Ноя-20, 16:41 | ||
В полку ФС пополнение... капец((( | ||
Ответить | Правка | Наверх | Cообщить модератору |
40. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +1 +/– | |
Сообщение от Аноним (40), 30-Ноя-20, 17:23 | ||
Да не плачь, нормально всё. | ||
Ответить | Правка | Наверх | Cообщить модератору |
35. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +2 +/– | |
Сообщение от Аноним (34), 30-Ноя-20, 16:43 | ||
Какая по счету и индексу ненужности фс? | ||
Ответить | Правка | Наверх | Cообщить модератору |
36. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (36), 30-Ноя-20, 16:56 | ||
Сколько шакалов из 10? | ||
Ответить | Правка | Наверх | Cообщить модератору |
37. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +3 +/– | |
Сообщение от Аноним (37), 30-Ноя-20, 17:08 | ||
Нигде и никогда еще в мире не собиралось столько специалистов по дедупликации в одном месте. | ||
Ответить | Правка | Наверх | Cообщить модератору |
41. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +3 +/– | |
Сообщение от Аноним (41), 30-Ноя-20, 17:28 | ||
И все они одиннаковые. Надо бы их дедублицировать. | ||
Ответить | Правка | Наверх | Cообщить модератору |
65. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (65), 01-Дек-20, 10:03 | ||
да вы батенька технофашист. | ||
Ответить | Правка | Наверх | Cообщить модератору |
42. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –2 +/– | |
Сообщение от Аноним (42), 30-Ноя-20, 17:35 | ||
название он выбрал не самое удачное. В гугле фиг найдёшь по не хоть что-то, всё дварфы попадаются и игры с ними... | ||
Ответить | Правка | Наверх | Cообщить модератору |
43. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от rvs2016 (ok), 30-Ноя-20, 18:17 | ||
> название он выбрал не самое удачное. В гугле фиг найдёшь по не хоть что-то | ||
Ответить | Правка | Наверх | Cообщить модератору |
44. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –1 +/– | |
Сообщение от Аноним (44), 30-Ноя-20, 18:30 | ||
Ну норм так, можно торренты сжимать сидировать например. | ||
Ответить | Правка | Наверх | Cообщить модератору |
54. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (54), 30-Ноя-20, 22:31 | ||
Уже давно есть всепланетная файловая ситсема, так что не нужен уже торрент. | ||
Ответить | Правка | Наверх | Cообщить модератору |
48. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –5 +/– | |
Сообщение от Аноним (48), 30-Ноя-20, 20:49 | ||
> использует механизм FUSE и работает в пространстве пользователя | ||
Ответить | Правка | Наверх | Cообщить модератору |
51. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +3 +/– | |
Сообщение от Led (ok), 30-Ноя-20, 21:27 | ||
Про LZ4HC что-то слышал, ламерок? | ||
Ответить | Правка | Наверх | Cообщить модератору |
53. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –4 +/– | |
Сообщение от Прокоповна (?), 30-Ноя-20, 22:04 | ||
> ламерок? | ||
Ответить | Правка | Наверх | Cообщить модератору |
76. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | –1 +/– | |
Сообщение от Аноним (76), 03-Дек-20, 13:04 | ||
> Про LZ4HC что-то слышал, ламерок? | ||
Ответить | Правка | К родителю #51 | Наверх | Cообщить модератору |
55. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (-), 01-Дек-20, 01:01 | ||
Это поможет портировать OpenWrt на старые роутеры? | ||
Ответить | Правка | Наверх | Cообщить модератору |
56. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Дмитрий Ю.Карпов (?), 01-Дек-20, 02:13 | ||
Зависит от того, где OpenWrt хранит изменяемые настройки. | ||
Ответить | Правка | Наверх | Cообщить модератору |
70. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Рева RarogCmex Денис (?), 01-Дек-20, 21:29 | ||
Overlayfs же. | ||
Ответить | Правка | Наверх | Cообщить модератору |
57. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (57), 01-Дек-20, 04:34 | ||
а "кластеризация похожих данных" не будет усложнять запаковку больших объемов данных в геометрической зависимости от их размера? | ||
Ответить | Правка | Наверх | Cообщить модератору |
58. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (-), 01-Дек-20, 06:37 | ||
> обеспечивающая очень высокий уровень сжатия | ||
Ответить | Правка | Наверх | Cообщить модератору |
66. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (66), 01-Дек-20, 14:53 | ||
Я тут не давно только для себя открыл SquashFS - очень хорошо подходит для всяких скриптов кторых очень уж много в одной папка(директории). Директория node_modules в 600Мб - запаковалась в 32 Мб, и если пакеты не меняются то очень удобно ее монтировать , а тут бац и еще одна ФС появилась..... | ||
Ответить | Правка | Наверх | Cообщить модератору |
69. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (4), 01-Дек-20, 20:00 | ||
Она очень медленная и жрёт процессор, лагает. Я наоборот пришёл к тому, что все использующиеся данные должны быть несжатыми. Это экономит и время и процессор например на ссд, на нжмд чтение могло быть заметно медленным и там это ещё оправдано -- чем меньше файлы, тем лучше. | ||
Ответить | Правка | Наверх | Cообщить модератору |
75. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +1 +/– | |
Сообщение от Аноним (76), 03-Дек-20, 13:02 | ||
Так жмите LZO каким или LZ4, тогда может даже ускориться - за счет того что читать меньше. Они распаковываются со скоростью сотни мегов а то и гигабайты в секунду, и при том скрипты неплохо сожмут, раза в 2-3 запросто. | ||
Ответить | Правка | Наверх | Cообщить модератору |
71. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Рева RarogCmex Денис (?), 01-Дек-20, 21:31 | ||
Можешь попробовать fuse-overlayfs для того, чтобы спокойно менять при необходимости. | ||
Ответить | Правка | К родителю #66 | Наверх | Cообщить модератору |
67. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Дерьмократ (?), 01-Дек-20, 18:26 | ||
Написать код без кучи зависимостей от фэйсбучных либ он, конечно, не смог. | ||
Ответить | Правка | Наверх | Cообщить модератору |
77. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от bOOster (ok), 08-Дек-20, 09:57 | ||
Скорость формирования образа тут зачем?? Скорость и уровень сжатия всегда идут в компромиссе. | ||
Ответить | Правка | Наверх | Cообщить модератору |
78. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (78), 08-Дек-20, 19:14 | ||
Это вы просто не видели компрессоров которые пакуют 100 килобайтов порядка часа на core i7. | ||
Ответить | Правка | Наверх | Cообщить модератору |
79. "Файловая система DwarFS, обеспечивающая очень высокий уровен..." | +/– | |
Сообщение от Аноним (79), 11-Июн-23, 18:57 | ||
Особенно приятно что багов немного и они оперативно закрываются | ||
Ответить | Правка | Наверх | Cообщить модератору |
Архив | Удалить |
Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема |
Закладки на сайте Проследить за страницей |
Created 1996-2024 by Maxim Chirkov Добавить, Поддержать, Вебмастеру |