The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Ubuntu 21.10 переходит на использование алгоритма zstd для сжатия deb-пакетов

07.07.2021 17:11

Разработчики Ubuntu начали перевод deb-пакетов на использование алгоритма zstd, который позволит почти в два раза увеличить скорость установки пакетов, ценой небольшого увеличения их размера (~6%). Примечательно, что поддержка использования zstd была добавлена в apt и dpkg ещё в 2018 году в выпуске Ubuntu 18.04, но для сжатия пакетов не использовалась. В Debian поддержка zstd уже включена в APT, debootstrap и reprepro и проходит рецензирование перед включением в dpkg.

  1. Главная ссылка к новости (https://balintreczey.hu/blog/h...)
  2. OpenNews: Arch Linux перешёл на использование алгоритма zstd для сжатия пакетов
  3. OpenNews: Facebook опубликовал реализацию алгоритма сжатия Zstandard 1.0
  4. OpenNews: Автор LZ4 представил новый быстрый и эффективный алгоритм сжатия ZSTD
  5. OpenNews: Выпуск дистрибутива Ubuntu 21.04
  6. OpenNews: Ubuntu уходит от оформления с тёмными заголовками и светлым фоном
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/55453-ubuntu
Ключевые слова: ubuntu, zstd
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (77) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Жироватт (ok), 17:19, 07/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –11 +/
    Ломающие Изменения Новой Бубунты!
    Внемлите же, смертные!
     
     
  • 2.2, анон (?), 17:22, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • –10 +/
    Не, это гуголь любит ломать, тут другое, не стоит вскрывать эту тему, вы молодые, шутливые, вам все легко. Это не то. Это не Чикатило и даже не архивы спецслужб.
     
     
  • 3.7, Аноним (7), 17:26, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +8 +/
    Копипасту надо копировать целиком!
     
     
  • 4.10, анон (?), 17:29, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Я не любитель форков.
     
     
  • 5.68, _hide_ (ok), 22:12, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Вторая смена архиватора с времён 12.04? Это круто!
     
  • 2.14, макпыф (ok), 17:45, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    так не удаляют же другие форматы, ни чего оно не ломает
     
  • 2.22, Аноним (22), 19:25, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    акстись буратино, всё пройдёт прозрачно(незаметно) для пользователя
     

  • 1.3, Аноним (3), 17:24, 07/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –9 +/
    А что сразу не на snappy? Ведь известное правило 80-20 применимо и тут. Большая часть данных жмётся легко даже с помощью RLE, а что жмётся плохо - можно и не жать вообще, ведь а то будет МЕДЛЕННО!!!!111
     
     
  • 2.13, Аноним (13), 17:45, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +5 +/
    И по твоему же правилу 20% которые плохо жмутся займут 80% места.
     
     
  • 3.15, Аноним (3), 17:48, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    В сжатом архиве - вполне возможно. Но хрен их дальше упакуешь, белый шум и есть белый шум.
     
  • 3.17, фанат перловки когдато (?), 17:56, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • –3 +/
    чувак ты видать не понял, что написАл
     
     
  • 4.57, Аноним (13), 09:17, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Перловка плохо действует на мозг завязывай с ней.
     

  • 1.4, Аноним (4), 17:25, 07/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Давно пора. Установка/обновление пакетов в Debian - та еще черепаха.
     
     
  • 2.6, Установщик Дебиан (?), 17:26, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Купи SSD и всё тебе будет.
     
     
  • 3.40, Michael Shigorin (ok), 23:56, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • –10 +/
    Не-а, и на SSD альт быстрей устанавливается -- при том, что сжатие xz. :)
     
     
  • 4.61, Аноним (61), 11:01, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +8 +/
    ты самый тошнотворный рекламщик своей писаной торбы
     
  • 4.67, Tigro (ok), 20:00, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Я кстати посмотрел, чем упаковано сейчас в Федоре. Оказалось zstd.
     
     
  • 5.73, srgazh (ok), 13:06, 10/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Как бы давно.
     
  • 2.16, Аноним (3), 17:49, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +7 +/
    Черепаха она из-за триггеров, написанных на баше.
     
     
  • 3.39, Аноним (39), 23:44, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    И ты конечно же их профилировал, а не голословно врёшь.
     
  • 3.47, Плюсовик (?), 06:22, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Перестань писать того, чего не знаешь! Если бы читал список рассылки и блоги разработчиков, то знал бы, что проблема комплексная.
     
  • 3.59, Аноним (59), 10:47, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Надо было использовать systemd-dpkgd.
     
  • 2.27, Аноним (27), 20:08, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Это ты ещё CentOS не видел...
     
     
  • 3.53, freehck (ok), 08:17, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    С языка сорвал, анон!
     
  • 2.62, vitalif (ok), 14:06, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Разве что из-за постоянной записи в /var/lib/dpkg с fsync-ами. Но на ssd это почти не заметно и не понятно, где оно быстрее-то. RPM-based всё довольно тормозное в основном
     

  • 1.5, Аноним (5), 17:25, 07/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +9 +/
    А если не сжимать, то и разжимать не надо, ага.
     
  • 1.8, Аноним (7), 17:27, 07/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    >В Debian поддержка zstd уже включена в APT, debootstrap и reprepro, и проходит рецензирование перед включением в dpkg.

    Хах, теперь кто тут медленно обновляется? Debian - стабильно быстр, быстро стабилен!

     
  • 1.9, Аноним (9), 17:28, 07/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Вот людям делать нечего... Или там коты сидят?!
     
     
  • 2.11, ананимус (?), 17:41, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +4 +/
    если его реально делают коты то отдел маркетинга те еще лошары, исползуя это в рекламе можно легко рапростронить его на 100% десктопа уничтожив и винду и мак и остальные дистры
     

  • 1.12, Аноним (13), 17:43, 07/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –12 +/
    В Андроиде новый формат пакетов делают. В Убунте тоже. Это ж-ж-ж-ж-ж неспроста.
     
     
  • 2.21, Аноним (7), 18:39, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +7 +/
    >В Андроиде новый формат пакетов делают. В Убунте тоже

    Новость прочитайте ещё раз. Убунта не делает новый формат пакетов.

     
     
  • 3.56, Аноним (13), 09:16, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Андроид тоже не делает его другим. Он делает его чуть-чуть другим. Те же apk но в пакете и при этом не все сразу.
     
     
  • 4.64, Аноним (64), 14:22, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Андроид не сжимает, а делает его чуть-чуть другим. С твоих же слов. Спорщик вы такой себе.
     

  • 1.18, Аноним (18), 18:01, 07/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    В Arch пакеты вроде уже давно жмут с zstd.
     
     
  • 2.23, Аноним (22), 19:31, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    да уже полтора года как
    https://archlinux.org/news/now-using-zstandard-instead-of-xz-for-package-compr

    As announced on the mailing list, on Friday, Dec 27 2019, our package compression scheme has changed from xz (.pkg.tar.xz) to zstd (.pkg.tar.zst).

    zstd and xz trade blows in their compression ratio. Recompressing all packages to zstd with our options yields a total ~0.8% increase in package size on all of our packages combined, but the decompression time for all packages saw a ~1300% speedup.

    хотя там общее увеличение меньше 1% а тут аж 6% откуда то насобирали


     
     
  • 3.25, Аноним (25), 19:49, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Разный compression level?
     
     
  • 4.30, Аноним (22), 20:43, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    наверное,
    у Арча это: zstd -c -T2 --ultra -20
    https://lists.archlinux.org/pipermail/arch-dev-public/2019-March/029542.html
    хз где посмотреть для убунту
     
     
  • 5.31, Аноним (22), 20:46, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    *T0
     
  • 3.32, Admenestrator (?), 21:07, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Возможно потому что до этого в арчп и убунте по разному пакеты сжимали?
     
  • 3.34, Аноним (34), 22:12, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    -22 и --long=31 и оно рвёт всех кроме разве что lrzip.

    сжимает по времени примерно как xz -9 и с изменённым размером чуууточку подольше наверно сравнимо с -9e однако если какие-то данные дублируются будет на порядки быстрее.

    другие параметры не трогал, я вообще использую -3 потому что он быстрый и long=31 когда позволяет сэкономить, tgz или txz будут больше чем zstd с увеличенным окном (технически данные попадающие в 2гб окно дедуплицируются).

     
     
  • 4.44, Аноним (44), 03:16, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    winrar 5.
     
  • 4.51, Аноним (51), 08:01, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    На моём тестовом дейтасете всех рвёт гугловский бротли - 6 мегабайт, против 16 у zstd и 26 у lzma. И это без общего словаря, который был использован в случае zstd, но для других компрессоров не получилось, ибо в биндингах к питону у них нет API для генерации оптимального словаря (а у brotli вообще выпилили возможность использовать свои словари), а у zstd были.
     
     
  • 5.66, Аноним (34), 17:39, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Бротли слишком уж тормзной, 4ка оптимальна по скорости и эффективности относительно обычного deflate. Твикать размер окна не пробовал, мне главное, чтобы извлекалось быстрее чем с диска прочитать. И не ждать  лишние секунды при сжатии. Надо баланс. Zstd вроде самый бодрый на извлечении пока что, и ратио сжатия вполне достаточный в отличие от lz4.
     

  • 1.19, Аноним (19), 18:10, 07/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А прочему бы вместо пакетов не использовать squashfs с сжатием zstd,но вместо распаковки просто монтировать? А изменения и конфиги монтировать через overlayfs?
     
     
  • 2.20, Аноним (20), 18:30, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Snap, как я понимаю, что-то подобное и делает.
     
     
  • 3.24, Аноним (22), 19:43, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    ага, тока там оно еще тянет внутрь половину системы чтобы быть переносимым
    - "Файл .snap представляет собой динамично подключаемый сжатый файл с файловой системой внутри (основана на squashfs) и метаданными в декларативном виде, которые интерпретируются системой при создании защищённой песочницы или контейнера. "
     
  • 3.46, Shevchuk (ok), 04:59, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Правда, сжатие там xz 🤦‍♂, и оттого в том числе страдает время запуска (распаковки).
     
     
  • 4.49, iPony129412 (?), 07:51, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    зависит от пакета

    for file in /var/lib/snapd/snaps/*.snap; do sudo unsquashfs -s $file | grep "Compression" ; done

    у меня всё xz

     
  • 4.50, iPony129412 (?), 07:54, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Не дописал, что бывает и LZO

    https://snapcraft.io/blog/snap-speed-improvements-with-new-compression-algorit

     
  • 2.26, Anon2 (?), 20:06, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Потому, что монтирование squashfs это существенный жор памяти. Обычная настольная система будет _дополнительно_ потреблять 600-1000Мб памяти. Тогда уж использовать надо erofs, но коэффициент сжатия явно не тот будет
     
     
  • 3.28, Аноним (22), 20:18, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    dwarfs [ https://github.com/mhx/dwarfs ] в этом плане перспективней была бы чем squashfs или erofs
     
  • 2.52, Аноним (51), 08:02, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Есть такой Distr1.
     

  • 1.29, Аноним (29), 20:31, 07/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Гмм... теперь со вкусом сжатия.D
     
  • 1.33, пох. (?), 21:27, 07/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Скорость установки Ubuntu у меня на SSD занимает минуты две, зачем её увеличивать тем более на HDD, где это самое ускорение приведёт к явным артефактам, таким как хруст французской булки.
     
     
  • 2.35, Аноним (22), 22:29, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    ты тока это, блины маслом смазывай чтобы не слиплись
     
     
  • 3.36, пох. (?), 22:43, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Имеешь опыт?
     
     
  • 4.37, Аноним (22), 23:07, 07/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    не, я не опытный, но ты лучше всё же смазывай
     
  • 2.42, Michael Shigorin (ok), 00:03, 08/07/2021 Скрыто ботом-модератором     [к модератору]
  • +1 +/
     
     
  • 3.43, пох. (?), 01:31, 08/07/2021 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 3.54, freehck (ok), 08:21, 08/07/2021 Скрыто ботом-модератором     [к модератору]
  • –1 +/
     

     ....ответы скрыты (6)

  • 1.38, Аноним (-), 23:31, 07/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Надо жать в JPEG. Не уверен насчет скорости и прочей ерунды, зато будет красиво.
     
     
  • 2.45, Какаянахренразница (ok), 03:21, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Алгоритм сжатия с потерями для пакета??? Хм, в этом что-то есть...
     
     
  • 3.48, Аноним (22), 07:00, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    ага, а потом еще можно будет с помощью ffmpeg собрать фильм на скорости 30 пакетов в секунду.
     
  • 2.60, Аноним (59), 10:54, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    av1
     

  • 1.41, Аноним (41), 00:02, 08/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Кароч, а если жать как в раче и собирать не deb, а толкать простые тарболы, а ещё, как говорят рачисты, сделать так, чтоб "супербыстрый pacman" был вместо апта.
    Вот тогда бунта заживёт, так победит!
     
  • 1.55, Аноним (-), 09:06, 08/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Наконец-то до них дошло.
    А ведь действительно только три варианта - lrzip (но долго жмёт), LZMA2/7-zip/xz (для нормального сжатия нужно много RAM) и zstd - но быстр, но жмёт существенно хуже, чем lrzip

    Кстати, lrzip может делать только препроцессинг без сжатия - тогда поверх него жать и zstd можно - но вроде как тогда нужно место в /tmp для распаковки, а это долго.

     
  • 1.58, x230 (ok), 09:46, 08/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Не прошло и двух недель, т.е. полугодий.
    Давно пора.
    ...
    Ещё бы систем-д выкинули...
     
     
  • 2.65, Аноним (-), 16:15, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    лучше бы тебя выкинули из профессии
     
     
  • 3.69, x230 (ok), 22:49, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Добрый ты!
     

  • 1.63, Аноним (63), 14:09, 08/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А сам контейнер они с дремучего ar поменять не хотят на что-то современное? Хотя бы на tar :-)
     
     
  • 2.74, Аноним (74), 14:01, 11/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Чтобы что ?
     
  • 2.76, Аноним (76), 10:19, 13/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    ar и tar при таком их возрасте можно считать ровесниками. Другое дело что я никогда не понимал сжатия пакетов инструментом для сборки статических либ, но тут я некомпетентен, может быть были хорошие причины так делать.
     
     
  • 3.77, Аноним (77), 17:13, 17/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Почему ar - это исключительно инструмент для сборки статических либ?
     

  • 1.70, Аноним (70), 23:19, 08/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    "Разработчики Ubuntu начали перевод deb-пакетов на использование алгоритма zstd, который позволит почти в два раза увеличить скорость установки пакетов, ценой небольшого увеличения их размера (~6%). "

    На правах бабушки Ванги, повангую, что не только ценой "небольшого увеличения", но также ценой стабильности и повышением требований к ресурсам.

     
     
  • 2.71, Аноним (70), 23:20, 08/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > "Разработчики Ubuntu начали перевод deb-пакетов на использование алгоритма zstd, который
    > позволит почти в два раза увеличить скорость установки пакетов, ценой небольшого
    > увеличения их размера (~6%). "
    > На правах бабушки Ванги, повангую, что не только ценой "небольшого увеличения", но
    > также ценой стабильности и повышением требований к ресурсам.

    Я сурьёзно, скриньте этот пост!

     
     
  • 3.72, ist (?), 00:00, 09/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    И что дальше делать с заскриненным постом? Распечатать и повесить на стену?
     
     
  • 4.75, Аноним (75), 23:47, 11/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    На смываемую втулку намотать.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру