В пакет XZ 5.2.0 добавлен многопоточный режим работы

22.12.2014 19:38

После четырёх лет разработки доступна новая ветка пакета XZ Utils 5.2.0, предоставляющего утилиты и библиотеку для сжатия и распаковки данных с использованием алгоритма LZMA2 с использованием файлов-контейнеров в формате ".xz". Пакет XZ обеспечивает уровень сжатия на 30% превосходящий gzip и на 15% bzip2.

Новая версия примечательна реализацией режимов многопоточного сжатия и распаковки, позволяющих распараллелить выполнение операций на несколько нитей и обеспечить значительный прирост производительности на многоядерных системах. Мнгопоточный режим включается при помощи опции"--threads" (-T). Кроме того, в утилиту xz добавлены новые команды: "--single-stream", "--block-size=SIZE", "--block-list=SIZES", "--flush-timeout=TIMEOUT" и "--ignore-check".

исправить +31 +/–

Лицензия: CC BY 3.0

Короткая ссылка: https://opennet.ru/41323-xz

Ключевые слова: xz, lxma

При перепечатке указание ссылки на opennet.ru обязательно

Обсуждение (70)

1.1, Stax (ok), 20:26, 22/12/2014 [ответить] [﹢﹢﹢] [ · · · ]	–3 +/–
Ну, положим, многопоточное сжатие там уже не первый год. А в этой версии добавили именно многопоточную распаковку...

2.2, pavlinux (ok), 20:35, 22/12/2014 [^] [^^] [^^^] [ответить]

+4 +/–

То есть авторы врут?

Summary of fixes and new features added in the 5.1.x development releases:

     * liblzma:
         - Added support for multi-threaded compression.
     * xz:
        - Multi-threaded decompression can be enabled with the
         --threads (-T) option.

3.61, Stax (ok), 21:35, 23/12/2014 [^] [^^] [^^^] [ответить]	–1 +/–
Я не знаю про библиотеку liblzma, но в самом xz многопоточное сжатие было еще 3 года назад (пользовался примерно во времена 16 федоры). А в этой, судя по новости, добавили многопоточную распаковку.

2.19, all_glory_to_the_hypnotoad (ok), 21:55, 22/12/2014 [^] [^^] [^^^] [ответить]	+5 +/–
там много лет есть только опция которая ничего не делает.

3.43, Zenitur (ok), 04:15, 23/12/2014 [^] [^^] [^^^] [ответить]	+/–
top не врёт.

2.48, Аноним (-), 10:19, 23/12/2014 [^] [^^] [^^^] [ответить]	+1 +/–
Вы с pxz попутали.

1.3, Аноним (-), 20:56, 22/12/2014 [ответить] [﹢﹢﹢] [ · · · ]	–18 +/–
Те же виндузоиды уже давно юзают LZMA в виде 7-zip. Глядишь и в мир Linux будущее придёт. Ну сколько можно древний gzip использовать?

2.5, dimqua (ok), 21:01, 22/12/2014 [^] [^^] [^^^] [ответить]	+3 +/–
Чем 7-zip лучше сабжа?

3.10, Аноним (-), 21:04, 22/12/2014 [^] [^^] [^^^] [ответить]

+1 +/–

> Чем 7-zip лучше сабжа?

Сабжа? Ничем.

3.42, Иван Ерохин (ok), 02:46, 23/12/2014 [^] [^^] [^^^] [ответить]

+/–

Хотя бы тем что не считает себя умнее пользователя и сохраняет структуру как она есть, а не игнорирует пустые директории. Я имею в виду связку tar + xz vs 7zip. Автора уж много лет просили добавить опцию чтобы просто сохранялось как есть, но просьбы игнорились.

http://sourceforge.net/p/sevenzip/discussion/45797/thread/1dee7153

4.49, Аноним (-), 10:23, 23/12/2014 [^] [^^] [^^^] [ответить]	+1 +/–
Вопрос был "чем 7zip лучше сабжа".

2.6, Аноним (-), 21:01, 22/12/2014 [^] [^^] [^^^] [ответить]	+6 +/–
В лине он есть давным давно (некоторые даже пакеты из репозитория уже жмут им), с разморозкой вас.

3.8, Аноним (-), 21:03, 22/12/2014 [^] [^^] [^^^] [ответить]	–8 +/–
Тем не менее, стандарт gzip. Попробуй отправить кому-то не gzip/bzip/zip.

4.11, Аноним (-), 21:06, 22/12/2014 [^] [^^] [^^^] [ответить]	+2 +/–
Да и в оффтопике тоже стандарт zip (в СНГ rar). Не надо увиливать.

5.12, Аноним (-), 21:08, 22/12/2014 [^] [^^] [^^^] [ответить]	–2 +/–
> Да и в оффтопике тоже стандарт zip (в СНГ rar). Не надо > увиливать. WinZip и WinRar без проблем распаковывают 7-zip. Так что можно не бояться выкладывать/отправлять такие архивы. Ну и не будет у адреса проблем с поиском пакета под свой "дистр" :)

6.13, Аноним (-), 21:09, 22/12/2014 [^] [^^] [^^^] [ответить]	+/–
*адресата

6.33, Michael Shigorin (ok), 00:47, 23/12/2014 [^] [^^] [^^^] [ответить]	+1 +/–
> Так что можно не бояться выкладывать/отправлять такие архивы. > Ну и не будет у адреса проблем с поиском пакета под свой "дистр" :) Вас сразу потереть за FUD или публично извинитесь, перепроверив, с какой версии тот же tar xf понимает и tar.xz в том числе?

7.40, EuPhobos (ok), 01:39, 23/12/2014 [^] [^^] [^^^] [ответить]	+/–
> Вас сразу потереть за FUD или публично извинитесь, перепроверив, с какой версии тот же tar xf понимает и tar.xz в том числе? tar xJf - поймёт.

8.41, Michael Shigorin (ok), 01:47, 23/12/2014 [^] [^^] [^^^] [ответить]	+2 +/–
Ещё раз просто tar xf, как уже давно и для tar gz tar bz2 Проверьте и пользуй... текст свёрнут, показать

9.47, Andrey Mitrofanov (?), 09:55, 23/12/2014 [^] [^^] [^^^] [ответить]	+/–
tar GNU tar 1 15 1 не понимает SLES10 B- Он понимает xf file tar xz --use-co... текст свёрнут, показать

10.51, Michael Shigorin (ok), 11:37, 23/12/2014 [^] [^^] [^^^] [ответить]	+/–
CODE version 1 22 - Sergey Poznyakoff, 2009-03-05 Support for xz compression ... текст свёрнут, показать

11.54, Andrey Mitrofanov (?), 14:14, 23/12/2014 [^] [^^] [^^^] [ответить]	+1 +/–
Да, прямо сейчас же, сервер в подвале В _планах перевод на el6 ... текст свёрнут, показать

5.52, denis111 (ok), 11:37, 23/12/2014 [^] [^^] [^^^] [ответить]	+/–
В Испании тоже rar :P

4.23, Аноним (-), 22:38, 22/12/2014 [^] [^^] [^^^] [ответить]	+7 +/–
> Тем не менее, стандарт gzip. Попробуй отправить кому-то не gzip/bzip/zip. Сюрприз https://www.kernel.org/pub/linux/kernel/v3.x/linux-3.18.1.tar.xz

5.55, Аноним (-), 17:16, 23/12/2014 [^] [^^] [^^^] [ответить]	+1 +/–
Жостка ты его :)

4.26, Аноним (-), 23:00, 22/12/2014 [^] [^^] [^^^] [ответить]	+5 +/–
А пакеты в репах FreeBSD сжаты xz например.

4.29, Мадара (?), 00:05, 23/12/2014 [^] [^^] [^^^] [ответить]	+1 +/–
Арч например ещё с начала 2010 года першёл XZ-сжатие для новых пакетов.

4.50, Аноним (-), 10:31, 23/12/2014 [^] [^^] [^^^] [ответить]

+/–

> Тем не менее, стандарт gzip. Попробуй отправить кому-то не gzip/bzip/zip.

Время от времени отправляю людям .tar.xz. Никаких проблем. Поддерживается на всех актуальных системах, в т.ч. и на винде.

gzip и zip делается либо для систем времен палеолита, либо для всяких люто урезанных типа ембеддовки. Заметьте, bzip2 в этот список не входит. Для всех других кейсов жмут тем, что лучше жмет, и при этом распространено - это 7z и xz.

2.27, Аноним (-), 23:12, 22/12/2014 [^] [^^] [^^^] [ответить]	+1 +/–
LZMA в мире Linux давно уже был в виде tar.lzma.

2.32, Michael Shigorin (ok), 00:44, 23/12/2014 [^] [^^] [^^^] [ответить]

+1 +/–

> Глядишь и в мир Linux будущее придёт.

Вы из какого десятилетия пишете, если не секрет?

http://git.altlinux.org/gears/r/rpm.git?p=rpm.git;a=blob;f=rpm-4_0.spec;h=e41

2.35, Аноним (-), 00:56, 23/12/2014 [^] [^^] [^^^] [ответить]

+/–

> Те же виндузоиды уже давно юзают LZMA в виде 7-zip.

И он в виде p7zip для линя есть почти столько же сколько и сам 7-zip.

А LZMA нынче куда только не запихали. Даже блин в загрузчики типа u-boot.

2.46, Andrey Mitrofanov (?), 09:46, 23/12/2014 [^] [^^] [^^^] [ответить]

+5 +/–

> Те же виндузоиды уже давно юзают LZMA в виде 7-zip.
> Глядишь и в мир Linux

Окстись https://www.kernel.org/pub/linux/kernel/v3.x/?C=M;O=D , вендузятник.

> Ну сколько можно древний gzip использовать?

Всегда! Спросят, скажи, я разрешил.

2.53, Анонимомус (?), 13:08, 23/12/2014 [^] [^^] [^^^] [ответить]	+/–
gzip может и древний, но очень шустрый по сравнению и с lzma и с bzip2, это заметно на современном железе, а дисковое место и инет канал все дешевле, lzma довольно распространен в *nix мире, но бездумное использование не рационально.

3.56, Аноним (-), 17:48, 23/12/2014 [^] [^^] [^^^] [ответить]	+/–
А вы все еще ограничены CPU при распаковке, а не IO или временем скачивания? Апгрейд сделать не пора?

4.62, XoRe (ok), 22:34, 23/12/2014 [^] [^^] [^^^] [ответить]	+/–
> А вы все еще ограничены CPU при распаковке, а не IO или > временем скачивания? Апгрейд сделать не пора? Например, есть операция "dd if=/dev/..." на одной машине, с пробрасыванием потока по сети, с "dd of=/dev/..." на другой машине. Если в цепочку добавить gzip/gunzip, это не будет упираться ни в cpu, ни в сеть. А если в цепочку добавить xz, будет и в cpu упираться, и в результате может продлиться дольше.

5.63, Аноним (-), 10:41, 24/12/2014 [^] [^^] [^^^] [ответить]	+/–
> Например, есть операция "dd if=/dev/..." на одной машине, с пробрасыванием потока по сети, с "dd of=/dev/..." на другой машине. И часто вы так делаете?

6.65, Michael Shigorin (ok), 14:10, 24/12/2014 [^] [^^] [^^^] [ответить]

–1 +/–

>> Например, есть операция "dd if=/dev/..." на одной машине,
>> с пробрасыванием потока по сети, с "dd of=/dev/..." на другой машине.
> И часто вы так делаете?

Скорее всего, при каждом клонировании хостов.

Хозяйке на заметку, чтоб меньше жать/тянуть:
http://packages.altlinux.org/wipefreespace
http://packages.altlinux.org/zerofree

7.66, Andrey Mitrofanov (?), 17:33, 24/12/2014 [^] [^^] [^^^] [ответить]	+1 +/–
> Скорее всего, при каждом клонировании хостов. > Хозяйке на заметку, чтоб меньше жать/тянуть: >/wipefreespace >/zerofree Эмм... Сначала (tar\|find+cpio). Потом, если не хватило или есть настроение, partimage. После уже, если никак, - ntfsclone. А вот уже после всего этого -- и dd (и да, ==> уже не понадобится).

8.74, XoRe (ok), 21:19, 05/01/2015 [^] [^^] [^^^] [ответить]	+/–
Имхо, чем проще формат бекапа, тем отказоустойчивее lvm snapshot dd, получи... текст свёрнут, показать

5.64, Аноним (-), 10:48, 24/12/2014 [^] [^^] [^^^] [ответить]	+/–
Вот не уверен. Зависит от CPU и толщины сети. Выигрыш от сжатия может перевесить, особенно если сжатие будет распараллелено.

1.4, Аноним (-), 21:00, 22/12/2014 [ответить] [﹢﹢﹢] [ · · · ]	–1 +/–
Странно, что Игорь Павлов сам не создаст пакет для своего детища. Неужели он настолько алгоритмист, что ему лень заниматься прикладным ПО? Под оффтопик 7zip он тоже почти не обновляет.

2.44, Куяврег (?), 08:33, 23/12/2014 [^] [^^] [^^^] [ответить]	–1 +/–
ты хотел сказать - ебилд?

2.45, ruatra (?), 08:51, 23/12/2014 [^] [^^] [^^^] [ответить]	+/–
http://www.7-zip.org/ справа сверху, пока beta

1.7, dimqua (ok), 21:02, 22/12/2014 [ответить] [﹢﹢﹢] [ · · · ]	+/–
Ну наконец-то! Теперь бы ещё в bzip2 и gzip добавили.

2.16, Led (ok), 21:51, 22/12/2014 [^] [^^] [^^^] [ответить]	+/–
> Теперь бы ещё в bzip2 А это убожество кому нужно?

2.17, Led (ok), 21:52, 22/12/2014 [^] [^^] [^^^] [ответить]	+1 +/–
> Теперь бы ещё в ... gzip добавили. man pigz

3.18, dimqua (ok), 21:54, 22/12/2014 [^] [^^] [^^^] [ответить]	+1 +/–
Знаю я про pigz и pbzip2 и lbzip2, и даже использую. Но хочется в апстриме.

4.20, all_glory_to_the_hypnotoad (ok), 21:57, 22/12/2014 [^] [^^] [^^^] [ответить]	+1 +/–
bzip2 уже похоронен, будут только xz и gz.

5.22, dimqua (ok), 22:25, 22/12/2014 [^] [^^] [^^^] [ответить]	+/–
Разработчики Gentoo и не в курсе.

6.24, Led (ok), 22:41, 22/12/2014 [^] [^^] [^^^] [ответить]	+4 +/–
> Разработчики Gentoo и не в курсе. Дык, у них и главная системная утилита - на питоне.

7.59, Аноним (-), 20:56, 23/12/2014 [^] [^^] [^^^] [ответить]	–1 +/–
>> Разработчики Gentoo и не в курсе. > Дык, у них и главная системная утилита - на питоне. всё лучше чем как у тебя - на C# :)

6.25, all_glory_to_the_hypnotoad (ok), 22:56, 22/12/2014 [^] [^^] [^^^] [ответить]	+/–
от них ничего не зависит, нужно ждать когда все потихоньку переползут на хз find /usr/portage/distfiles/ -name ".xz" \| wc -l 679 find /usr/portage/distfiles/ -name ".gz" \| wc -l 557 find /usr/portage/distfiles/ -name "*.bz2" \| wc -l 387

6.37, Аноним (-), 00:57, 23/12/2014 [^] [^^] [^^^] [ответить]	+/–
> Разработчики Gentoo и не в курсе. Кто им виноват что они ретарды? Bzip2 жмет хуже lzma а тормозит даже больше. Особенно на распаковке.

7.60, Аноним (-), 21:05, 23/12/2014 [^] [^^] [^^^] [ответить]	+/–
>> Разработчики Gentoo и не в курсе. > Кто им виноват что они ретарды? Bzip2 жмет хуже lzma а тормозит > даже больше. Особенно на распаковке. Дык он ВНЕЗАПНО и постарше лет на 10 будет! :) Ныне во фряхе юзают xz (.txz). И в линуксах. И в индиане. И это хорошо!

1.14, Аноним (-), 21:18, 22/12/2014 [ответить] [﹢﹢﹢] [ · · · ]	–2 +/–
> беспечить значительный прирост В процентах это сколько?

2.15, Аноним (-), 21:42, 22/12/2014 [^] [^^] [^^^] [ответить]	–2 +/–
1%

1.28, CrazyAlex25 (ok), 23:19, 22/12/2014 [ответить] [﹢﹢﹢] [ · · · ]	–1 +/–
Ура! Pacman станет еще быстрее!!!

2.30, daemonpnz (ok), 00:13, 23/12/2014 [^] [^^] [^^^] [ответить]	+/–
Теперь он сможет убивать систему во время обновления в разы быстрее. Ура, товарищи, ура!

2.31, Crazy Alex (ok), 00:18, 23/12/2014 [^] [^^] [^^^] [ответить]	–1 +/–
Вот зачем подобную ерунду гонять в многопоточном режиме - непонятно. Это фоновая задача, и время её исполнения (в разумных пределах) некритично.

3.34, Michael Shigorin (ok), 00:53, 23/12/2014 [^] [^^] [^^^] [ответить]	–1 +/–
> Вот зачем подобную ерунду гонять в многопоточном режиме - непонятно. > Это фоновая задача, и время её исполнения (в разумных пределах) некритично. Для фоновости бывают полезны schedutils и schedtool: http://git.altlinux.org/people/mike/packages/?p=idlewrap.git;a=blob;f=idlewra

3.39, Аноним (-), 00:59, 23/12/2014 [^] [^^] [^^^] [ответить]	+1 +/–
> Вот зачем подобную ерунду гонять в многопоточном режиме - непонятно. Потому что довольно глупо когда все упирается в 1 ядро из 8, тогда как SSD большую часть времени ничего не делает. Это совершенно левое искусственное ограничение.

2.38, Аноним (-), 00:58, 23/12/2014 [^] [^^] [^^^] [ответить]	+4 +/–
> Ура! Pacman станет еще быстрее!!! И тетрис разгонится! :)

1.57, GotF (ok), 19:57, 23/12/2014 [ответить] [﹢﹢﹢] [ · · · ]	–1 +/–
Не прошло и десяти лет. С другой стороны, мне (на десктопе) всегда было до лампочки, будет архив сжиматься час или три.

2.67, Led (ok), 21:44, 24/12/2014 [^] [^^] [^^^] [ответить]	+/–
> С другой стороны, мне (на десктопе) всегда было до лампочки, будет архив > сжиматься час или три. Это если лампочка светит стабильно.

3.68, Аноним (-), 09:47, 25/12/2014 [^] [^^] [^^^] [ответить]	+/–
От нестабильности лампочки, говорят, помогает UPS.

4.69, Led (ok), 22:27, 25/12/2014 [^] [^^] [^^^] [ответить]	+/–
> От нестабильности лампочки, говорят, помогает UPS. Да. Но недолго.

5.70, Michael Shigorin (ok), 01:45, 26/12/2014 [^] [^^] [^^^] [ответить]	–1 +/–
>> От нестабильности лампочки, говорят, помогает UPS. > Да. Но недолго. Недостаток веерных бесперебойников был сложнее, но предсказуем.

6.71, pavel_simple (ok), 07:49, 26/12/2014 [^] [^^] [^^^] [ответить]	+/–
>>> От нестабильности лампочки, говорят, помогает UPS. >> Да. Но недолго. > Недостаток веерных бесперебойников был сложнее, но предсказуем. более того, все были сильно заранее пердупреждены.

6.72, Led (ok), 21:32, 26/12/2014 [^] [^^] [^^^] [ответить]	+/–
>>> От нестабильности лампочки, говорят, помогает UPS. >> Да. Но недолго. > Недостаток веерных бесперебойников был сложнее, но предсказуем. Это ваши проблемы.

7.73, Michael Shigorin (ok), 23:42, 26/12/2014 [^] [^^] [^^^] [ответить]	+/–
>> Недостаток веерных бесперебойников был сложнее, но предсказуем. > Это ваши проблемы. С чего бы, если десктоп без UPS работает месяцами? Хотя если ты о том, что проблемы ливийцев довольно быстро стали проблемами и сирийцев...

игнорирование участников | лог модерирования

Добавить комментарий

Текст: