URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 100978
[ Назад ]
Исходное сообщение
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено opennews , 22-Дек-14 20:26 
После четырёх лет разработки доступна (http://www.mail-archive.com/xz-devel@tukaani.org/msg002...) новая ветка пакета  XZ Utils 5.2.0 (http://tukaani.org/xz/), предоставляющего утилиты и библиотеку для сжатия и распаковки данных с использованием  алгоритма LZMA2 с использованием файлов-контейнеров в формате ".xz". Пакет XZ обеспечивает уровень сжатия  на 30% превосходящий  gzip и на 15% bzip2.

Новая версия примечательна реализацией режимов многопоточного сжатия и распаковки, позволяющих распараллелить выполнение операций на несколько нитей и обеспечить значительный прирост производительности на многоядерных системах. Мнгопоточный режим включается при помощи опции"--threads" (-T). Кроме того, в утилиту xz добавлены новые команды: "--single-stream",
          "--block-size=SIZE", "--block-list=SIZES",
          "--flush-timeout=TIMEOUT" и "--ignore-check".


URL: http://www.mail-archive.com/xz-devel@tukaani.org/msg002...
Новость: http://www.opennet.me/opennews/art.shtml?num=41323

Содержание
Сообщения в этом обсуждении
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Stax , 22-Дек-14 20:26 
Ну, положим, многопоточное сжатие там уже не первый год. А в этой версии добавили именно многопоточную распаковку...
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено pavlinux , 22-Дек-14 20:35 
То есть авторы врут?

Summary of fixes and new features added in the 5.1.x development    releases:

     * liblzma:
         - Added support for multi-threaded compression.
     * xz:
        - Multi-threaded decompression can be enabled with the
         --threads (-T) option.

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Stax , 23-Дек-14 21:35 
Я не знаю про библиотеку liblzma, но в самом xz многопоточное сжатие было еще 3 года назад (пользовался примерно во времена 16 федоры). А в этой, судя по новости, добавили многопоточную *распаковку*.
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено all_glory_to_the_hypnotoad , 22-Дек-14 21:55 
там много лет есть только опция которая ничего не делает.
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Zenitur , 23-Дек-14 04:15 
top не врёт.
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 23-Дек-14 10:19 
Вы с pxz попутали.
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 22-Дек-14 20:56 
Те же виндузоиды уже давно юзают LZMA в виде 7-zip.
Глядишь и в мир Linux будущее придёт.
Ну сколько можно древний gzip использовать?
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено dimqua , 22-Дек-14 21:01 
Чем 7-zip лучше сабжа?
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 22-Дек-14 21:04 
> Чем 7-zip лучше сабжа?

Сабжа? Ничем.

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Иван Ерохин , 23-Дек-14 02:46 
Хотя бы тем что не считает себя умнее пользователя и сохраняет структуру как она есть, а не игнорирует пустые директории. Я имею в виду связку tar + xz vs 7zip. Автора уж много лет просили добавить опцию чтобы просто сохранялось как есть, но просьбы игнорились.

http://sourceforge.net/p/sevenzip/discussion/45797/thread/1d...

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 23-Дек-14 10:23 
Вопрос был "чем 7zip лучше сабжа".
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 22-Дек-14 21:01 
В лине он есть давным давно (некоторые даже пакеты из репозитория уже жмут им), с разморозкой вас.
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 22-Дек-14 21:03 
Тем не менее, стандарт gzip. Попробуй отправить кому-то не gzip/bzip/zip.
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 22-Дек-14 21:06 
Да и в оффтопике тоже стандарт zip (в СНГ rar). Не надо увиливать.
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 22-Дек-14 21:08 
> Да и в оффтопике тоже стандарт zip (в СНГ rar). Не надо
> увиливать.

WinZip и WinRar без проблем распаковывают 7-zip.
Так что можно не бояться выкладывать/отправлять такие архивы.
Ну и не будет у адреса проблем с поиском пакета под свой "дистр" :)

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 22-Дек-14 21:09 
*адресата
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Michael Shigorin , 23-Дек-14 00:47 
> Так что можно не бояться выкладывать/отправлять такие архивы.
> Ну и не будет у адреса проблем с поиском пакета под свой "дистр" :)

Вас сразу потереть за FUD или публично извинитесь, перепроверив, с какой версии тот же tar xf понимает и tar.xz в том числе?

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено EuPhobos , 23-Дек-14 01:39 
> Вас сразу потереть за FUD или публично извинитесь, перепроверив, с какой версии тот же tar xf понимает и tar.xz в том числе?

tar xJf - поймёт.

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Michael Shigorin , 23-Дек-14 01:47 
>> Вас сразу потереть за FUD или публично извинитесь, перепроверив,
>> с какой версии тот же tar xf понимает и tar.xz в том числе?
> tar xJf - поймёт.

Ещё раз: просто tar xf, как уже давно и для tar.gz/tar.bz2.  Проверьте и пользуйтесь :)

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Andrey Mitrofanov , 23-Дек-14 09:55 
>>> Вас сразу потереть за FUD или публично извинитесь, перепроверив,
> Ещё раз: просто tar xf, как уже давно и для tar.gz/tar.bz2.  
> Проверьте и пользуйтесь :)

tar (GNU tar) 1.15.1 не понимает. SLES10 B-)
Он понимает xf file.tar.xz --use-compress-program=xz

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Michael Shigorin , 23-Дек-14 11:37 
> tar (GNU tar) 1.15.1 не понимает.

version 1.22 - Sergey Poznyakoff, 2009-03-05
* Support for xz compression

> SLES10 B-)

Так то когда было...

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Andrey Mitrofanov , 23-Дек-14 14:14 
>> SLES10 B-)
> Так то когда было...

Да, прямо сейчас же, "сервер в подвале". В _планах перевод на el6.

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено denis111 , 23-Дек-14 11:37 
В Испании тоже rar :P
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 22-Дек-14 22:38 
> Тем не менее, стандарт gzip. Попробуй отправить кому-то не gzip/bzip/zip.

Сюрприз https://www.kernel.org/pub/linux/kernel/v3.x/linux-3.18.1.ta...

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 23-Дек-14 17:16 
Жостка ты его :)
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 22-Дек-14 23:00 
А пакеты в репах FreeBSD сжаты xz например.
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Мадара , 23-Дек-14 00:05 
Арч например ещё с начала 2010 года першёл XZ-сжатие для новых пакетов.
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 23-Дек-14 10:31 
> Тем не менее, стандарт gzip. Попробуй отправить кому-то не gzip/bzip/zip.

Время от времени отправляю людям .tar.xz. Никаких проблем. Поддерживается на всех актуальных системах, в т.ч. и на винде.

gzip и zip делается либо для систем времен палеолита, либо для всяких люто урезанных типа ембеддовки. Заметьте, bzip2 в этот список не входит. Для всех других кейсов жмут тем, что лучше жмет, и при этом распространено - это 7z и xz.

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 22-Дек-14 23:12 
LZMA в мире Linux давно уже был в виде tar.lzma.
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Michael Shigorin , 23-Дек-14 00:44 
> Глядишь и в мир Linux будущее придёт.

Вы из какого десятилетия пишете, если не секрет?

http://git.altlinux.org/gears/r/rpm.git?p=rpm.git;a=blob;f=r...

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 23-Дек-14 00:56 
> Те же виндузоиды уже давно юзают LZMA в виде 7-zip.

И он в виде p7zip для линя есть почти столько же сколько и сам 7-zip.

А LZMA нынче куда только не запихали. Даже блин в загрузчики типа u-boot.

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Andrey Mitrofanov , 23-Дек-14 09:46 
> Те же виндузоиды уже давно юзают LZMA в виде 7-zip.
> Глядишь и в мир Linux

Окстись https://www.kernel.org/pub/linux/kernel/v3.x/?C=M;O=D , вендузятник.

> Ну сколько можно древний gzip использовать?

Всегда! Спросят, скажи, я разрешил.

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Анонимомус , 23-Дек-14 13:08 
gzip может и древний, но очень шустрый по сравнению и с lzma и с bzip2, это заметно на современном железе, а дисковое место и инет канал все дешевле, lzma довольно распространен в *nix мире, но бездумное использование не рационально.
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 23-Дек-14 17:48 
А вы все еще ограничены CPU при распаковке, а не IO или временем скачивания? Апгрейд сделать не пора?
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено XoRe , 23-Дек-14 22:34 
> А вы все еще ограничены CPU при распаковке, а не IO или
> временем скачивания? Апгрейд сделать не пора?

Например, есть операция "dd if=/dev/..." на одной машине, с пробрасыванием потока по сети, с "dd of=/dev/..." на другой машине.
Если в цепочку добавить gzip/gunzip, это не будет упираться ни в cpu, ни в сеть.
А если в цепочку добавить xz, будет и в cpu упираться, и в результате может продлиться дольше.

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 24-Дек-14 10:41 
> Например, есть операция "dd if=/dev/..." на одной машине, с пробрасыванием потока по сети, с "dd of=/dev/..." на другой машине.

И часто вы так делаете?

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Michael Shigorin , 24-Дек-14 14:10 
>> Например, есть операция "dd if=/dev/..." на одной машине,
>> с пробрасыванием потока по сети, с "dd of=/dev/..." на другой машине.
> И часто вы так делаете?

Скорее всего, при каждом клонировании хостов.

Хозяйке на заметку, чтоб меньше жать/тянуть:
http://packages.altlinux.org/wipefreespace
http://packages.altlinux.org/zerofree

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Andrey Mitrofanov , 24-Дек-14 17:33 
> Скорее всего, при каждом клонировании хостов.
> Хозяйке на заметку, чтоб меньше жать/тянуть:
>/wipefreespace
>/zerofree

Эмм... Сначала (tar|find+cpio).
  Потом, если не хватило или есть настроение, partimage.
    После уже, если никак, - ntfsclone.
А вот уже после всего этого -- и dd (и да, ==> уже не понадобится).

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено XoRe , 05-Янв-15 21:19 
>> Скорее всего, при каждом клонировании хостов.
>> Хозяйке на заметку, чтоб меньше жать/тянуть:
>>/wipefreespace
>>/zerofree
> Эмм... Сначала (tar|find+cpio).
>   Потом, если не хватило или есть настроение, partimage.
>     После уже, если никак, - ntfsclone.
> А вот уже после всего этого -- и dd (и да, ==>
> уже не понадобится).

Имхо, чем проще формат бекапа, тем отказоустойчивее.
lvm + snapshot + dd, получился образ, который и накатить, и примонтировать на чтение можно.

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 24-Дек-14 10:48 
Вот не уверен. Зависит от CPU и толщины сети. Выигрыш от сжатия может перевесить, особенно если сжатие будет распараллелено.
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 22-Дек-14 21:00 
Странно, что Игорь Павлов сам не создаст пакет для своего детища. Неужели он настолько алгоритмист, что ему лень заниматься прикладным ПО? Под оффтопик 7zip он тоже почти не обновляет.
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Куяврег , 23-Дек-14 08:33 
ты хотел сказать - ебилд?
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено ruatra , 23-Дек-14 08:51 
http://www.7-zip.org/ справа сверху, пока beta
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено dimqua , 22-Дек-14 21:02 
Ну наконец-то! Теперь бы ещё в bzip2 и gzip добавили.
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Led , 22-Дек-14 21:51 
> Теперь бы ещё в bzip2

А это убожество кому нужно?

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Led , 22-Дек-14 21:52 
> Теперь бы ещё в ... gzip добавили.

man pigz

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено dimqua , 22-Дек-14 21:54 
Знаю я про pigz и pbzip2 и lbzip2, и даже использую. Но хочется в апстриме.
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено all_glory_to_the_hypnotoad , 22-Дек-14 21:57 
bzip2 уже похоронен, будут только xz и gz.
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено dimqua , 22-Дек-14 22:25 
Разработчики Gentoo и не в курсе.
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Led , 22-Дек-14 22:41 
> Разработчики Gentoo и не в курсе.

Дык, у них и главная системная утилита - на питоне.

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 23-Дек-14 20:56 
>> Разработчики Gentoo и не в курсе.
> Дык, у них и главная системная утилита - на питоне.

всё лучше чем как у тебя - на C# :)

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено all_glory_to_the_hypnotoad , 22-Дек-14 22:56 
от них ничего не зависит, нужно ждать когда все потихоньку переползут на хз

find /usr/portage/distfiles/ -name "*.xz" | wc -l
679
find /usr/portage/distfiles/ -name "*.gz" | wc -l
557
find /usr/portage/distfiles/ -name "*.bz2" | wc -l
387

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 23-Дек-14 00:57 
> Разработчики Gentoo и не в курсе.

Кто им виноват что они ретарды? Bzip2 жмет хуже lzma а тормозит даже больше. Особенно на распаковке.

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 23-Дек-14 21:05 
>> Разработчики Gentoo и не в курсе.
> Кто им виноват что они ретарды? Bzip2 жмет хуже lzma а тормозит
> даже больше. Особенно на распаковке.

Дык он ВНЕЗАПНО и постарше лет на 10 будет! :)
Ныне во фряхе юзают xz (.txz). И в линуксах. И в индиане. И это хорошо!

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 22-Дек-14 21:18 
> беспечить значительный прирост

В процентах это сколько?

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 22-Дек-14 21:42 
1%
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено CrazyAlex25 , 22-Дек-14 23:19 
Ура! Pacman станет еще быстрее!!!
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено daemonpnz , 23-Дек-14 00:13 
Теперь он сможет убивать систему во время обновления в разы быстрее. Ура, товарищи, ура!
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Crazy Alex , 23-Дек-14 00:18 
Вот зачем подобную ерунду гонять в многопоточном режиме - непонятно. Это фоновая задача, и время её исполнения (в разумных пределах) некритично.
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Michael Shigorin , 23-Дек-14 00:53 
> Вот зачем подобную ерунду гонять в многопоточном режиме - непонятно.
> Это фоновая задача, и время её исполнения (в разумных пределах) некритично.

Для фоновости бывают полезны schedutils и schedtool: http://git.altlinux.org/people/mike/packages/?p=idlewrap.git...

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 23-Дек-14 00:59 
> Вот зачем подобную ерунду гонять в многопоточном режиме - непонятно.

Потому что довольно глупо когда все упирается в 1 ядро из 8, тогда как SSD большую часть времени ничего не делает. Это совершенно левое искусственное ограничение.

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 23-Дек-14 00:58 
> Ура! Pacman станет еще быстрее!!!

И тетрис разгонится! :)

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено GotF , 23-Дек-14 19:57 
Не прошло и десяти лет.

С другой стороны, мне (на десктопе) всегда было до лампочки, будет архив сжиматься час или три.

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Led , 24-Дек-14 21:44 
> С другой стороны, мне (на десктопе) всегда было до лампочки, будет архив
> сжиматься час или три.

Это если лампочка светит стабильно.

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Аноним , 25-Дек-14 09:47 
От нестабильности лампочки, говорят, помогает UPS.
"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Led , 25-Дек-14 22:27 
> От нестабильности лампочки, говорят, помогает UPS.

Да. Но недолго.

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Michael Shigorin , 26-Дек-14 01:45 
>> От нестабильности лампочки, говорят, помогает UPS.
> Да. Но недолго.

Недостаток веерных бесперебойников был сложнее, но предсказуем.

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено pavel_simple , 26-Дек-14 07:49 
>>> От нестабильности лампочки, говорят, помогает UPS.
>> Да. Но недолго.
> Недостаток веерных бесперебойников был сложнее, но предсказуем.

более того, все были сильно заранее пердупреждены.

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Led , 26-Дек-14 21:32 
>>> От нестабильности лампочки, говорят, помогает UPS.
>> Да. Но недолго.
> Недостаток веерных бесперебойников был сложнее, но предсказуем.

Это ваши проблемы.

"В пакет XZ 5.2.0 добавлен многопоточный режим работы"
Отправлено Michael Shigorin , 26-Дек-14 23:42 
>> Недостаток веерных бесперебойников был сложнее, но предсказуем.
> Это ваши проблемы.

С чего бы, если десктоп без UPS работает месяцами?  Хотя если ты о том, что проблемы ливийцев довольно быстро стали проблемами и сирийцев...