Константин Рябцев, системный и сетевой администратор Linux Foundation, обслуживающий сайт Kernel.org, объявил (https://www.kernel.org/happy-new-year-and-good-bye-bzip2.html), что новые версии патчей и ядра Linux теперь будут выходить только в форматах tar.xz и tar.gz. Предыдущие версии удалены не будут, но для новых версий архивы ".tar.bz2" больше создаваться не будут. Константин принёс извинения, если данное изменение как-то "поломает" работу утилит и инструментов, загружающий архив с кодом ядра. Прекращение поддержки формата gzip в обозримом будущем не планируется.
URL: https://www.kernel.org/happy-new-year-and-good-bye-bzip2.html
Новость: http://www.opennet.me/opennews/art.shtml?num=38745
>принёс извиненияК чёрту извинения, нужны объяснения!
У bzip2 тормозная компрессия и декомпрессия, при том что жмет хуже xz, но тормозит сильнее. Не вижу смысла им пользоваться.
- Кому надо скорость, gzip в разы быстрее.
- Кому надо крутое сжатие, xz жмет лучше и работает быстрее, особенно декомпрессия.
> У bzip2 тормозная компрессия и декомпрессия, при том что жмет хуже xz,
> но тормозит сильнее. Не вижу смысла им пользоваться.
> - Кому надо скорость, gzip в разы быстрее.
> - Кому надо крутое сжатие, xz жмет лучше и работает быстрее, особенно
> декомпрессия.а вот с компрессией пичалька полная
# time xz -z linux-3.12.6.tar
real 4m37.936s
user 4m37.382s
sys 0m0.430s# time pbzip2 linux-3.12.6.tar
real 0m13.126s
user 1m40.642s
sys 0m2.938s# du -h linux-3.12.6.tar.xz
75M linux-3.12.6.tar.xz# du -h linux-3.12.6.tar.bz2
88M linux-3.12.6.tar.bz2# time xz -d linux-3.12.6.tar.xz
real 0m6.755s
user 0m6.295s
sys 0m0.434s# time pbzip2 -d linux-3.12.6.tar.bz2
real 0m3.896s
user 0m27.764s
sys 0m1.738sТак что вопрос, стоит ли 10-15% объема такой разницы в компрессии/декомпрессии ...
Давайте начнем с того, что у вас не bzip2, а pbzip2.
Во вторых, какая вам разница сколько времени тратят разработчики на сжатие архива?
> Давайте начнем с того, что у вас не bzip2, а pbzip2.давай те начнем с того, что прочтем в чем разница между bzip и pbzip ;)
> Во вторых, какая вам разница сколько времени тратят разработчики на сжатие архива?
а какая вам разница сколько места тратят разработчики на хранение архивов? ;)
> а какая вам разница сколько места тратят разработчики на хранение архивов? ;)Кому-то есть очень большая разница, сколько качать.
>> а какая вам разница сколько места тратят разработчики на хранение архивов? ;)
> Кому-то есть очень большая разница, сколько качать.Вы каждый день скачиваете ядра? И что вы с ними делаете?
> Вы каждый день скачиваете ядра? И что вы с ними делаете?Капитан намекает что ядро пакуется 1 раз могучей билд-фермой, а вот скачивается и распаковывается всеми кем не лень. Так что LZMA в этом плане хорош: он и жмет плотнее, так что меньше траффика и быстрее даунлоад и распаковывается быстро.
Так узкое место на раздаче расшивается одноранговым файлообменом, а не сжатием.А распаковка вообще непонятно, кому и где критична.
> Так узкое место на раздаче расшивается одноранговым файлообменом, а не сжатием.Ага, расскажи это жителям какой-нибудь далекой деревушки, где слаще GPRS-а ничего нет. Какая разница, торрент там будет тормозить или отгрузка с сервака? Упрется то в тощий канал для начала...
> А распаковка вообще непонятно, кому и где критична.
Она актуальна всем кто тарбол скачал и распаковывает, очевидно. И их несколько больше чем тех кто пакует тарболы.
Ну если каждый раз думать о том, что где то там в деревне....
То мы бы до сих пор бы жили в каменном веке...Да и вообще в деревне надо натуральным хозяйством заниматься, а не ядра компилировать. ;)
Не говори народу что им делать и они не скажут куда тебе идти
> Ну если каждый раз думать о том, что где то там в деревне....Да, надо паковать сразу PAQ'ом, юзанув гигов 100 оперативы. Ядерщики наверное 1 сервачок под компрессию смогут найти. Какой-нить хьюлет или там кто еще накрайняк сервак подгонят (заодно и попиарятся). Как ты это потом декомпрессить будешь - можно и не париться. Ну подумаешь, сервак накрайняк докупишь. Хьюлету профит как раз.
> То мы бы до сих пор бы жили в каменном веке...
Если не париться вопросом "а как использовать?" можно показать тебе ближайшую ЛЭП-500 - и запитывай от нее свою хату сам, как умеешь, сказав что "ничего не знаем, электричество - вот оно, забирай!".
>> Так узкое место на раздаче расшивается одноранговым файлообменом, а не сжатием.
> Ага, расскажи это жителям какой-нибудь далекой деревушки, где слаще GPRS-а ничего нет.
> Какая разница, торрент там будет тормозить или отгрузка с сервака? Упрется
> то в тощий канал для начала...и что, ну будет Вася Пупкин в Мухосранске качать исходники не 1 минуту, а 1 минуту и 20 секунд. О хоспади, галактико в опасносте :D
> Она актуальна всем кто тарбол скачал и распаковывает, очевидно. И их несколько
> больше чем тех кто пакует тарболы.как часто ты распаковываешь тарболы с ядром?
> и что, ну будет Вася Пупкин в Мухосранске качать исходники не 1
> минуту, а 1 минуту и 20 секунд. О хоспади, галактико в
> опасносте :DЗначит от скорости интернета у вас зависит мухасранск или нет, ну значит США по сравнению с рашкой мухосранск.
> США по сравнению с рашкой мухосранск.конечно. ни тебе Духовных Скреп, ни мизулиной… дикари!
>> и что, ну будет Вася Пупкин в Мухосранске качать исходники не 1
>> минуту, а 1 минуту и 20 секунд. О хоспади, галактико в
>> опасносте :D
> Значит от скорости интернета у вас зависит мухасранск или нет, ну значит
> США по сравнению с рашкой мухосранск.о да, в США конечно лишние 5-7 Мбайт это конечно большой объем
> и что, ну будет Вася Пупкин в Мухосранске качать исходники не 1
> минуту, а 1 минуту и 20 секунд. О хоспади, галактико в опасносте :DКак по мне так от этого сплошной профит.
- Вася скачает на 20 секунд быстрее.
- Вася распакует это с приличной скоростью.
- Сервак отгрузит меньше траффика.> как часто ты распаковываешь тарболы с ядром?
Я то не часто, у меня git есть. Но для казуалов/тем кому нечто нестандартное/etc - сабж хороший вариант.
>> и что, ну будет Вася Пупкин в Мухосранске качать исходники не 1
>> минуту, а 1 минуту и 20 секунд. О хоспади, галактико в опасносте :D
> Как по мне так от этого сплошной профит.
> - Вася скачает на 20 секунд быстрее.
> - Вася распакует это с приличной скоростью.
> - Сервак отгрузит меньше траффика.откажитесь от gzip, если цель экономия трафика для Васи и Пети
>> как часто ты распаковываешь тарболы с ядром?
> Я то не часто, у меня git есть. Но для казуалов/тем кому
> нечто нестандартное/etc - сабж хороший вариант.и сколько таких задротов в % соотношении? ;) У меня около 50 серверов CentOS и нигде собирать ядро из исходников не было необходимости. Видать что то делаю не так.
>Ага, расскажи это жителям какой-нибудь далекой деревушки, где слаще GPRS-а ничего нет. >Какая разница, торрент там будет тормозить или отгрузка с сервака? Упрется то в тощий >канал для начала...Из моего жизненного опыта следует то,что тощий GPRS,любит порой затормаживаться до нуля,
что приводит к необходимости перекачивать фаил,если только я раньше по рассеяности фирефокс не закрыл.
Так что торрент внезапно оказывается на тощем и не стабильном канале лучше,
так как в отличии от фтп он устоичив к постоянным провалам связи.
Так что как не странно,но самый большой расход трафика я причиняю имено http/ftp серверам,
закачав половину исошника,а потом после обрыва соединения закачивая её заного.
И может я и дурак с локалхоста,но цифры лично у меня такие.
Ну а уплоад можно ограничить,да и то,это надо делать для только для очень свежих задач,
где ещё не сформировалось нужное число сидов,а если оно есть,
то для опенсорсных раздач нулевой уплоад на момент окончания закачки файла не такая уж и редкость.
В общем,постоянный уплоад характерен только для пиратского контента.
боги, но с какого же говна ты качаешь, что там не поддерживается докачка?!
> боги, но с какого же говна ты качаешь, что там не поддерживается
> докачка?!Да может и поддерживается,только браузер всё равно закачивает заново.
>> боги, но с какого же говна ты качаешь, что там не поддерживается
>> докачка?!
> Да может и поддерживается,только браузер всё равно закачивает заново.а, так бы и писал: «у меня рукожопость».
> а, так бы и писал: «у меня рукожопость».Так с торрентами она не заметна,а тут призывают их не использовать или игнорировать.
И я то со своей рукожопостью проживу,а вот как будете жить вы,
когда к вам в связи с распространением линукса на десктопы понабегут подобные мне закачивальщики.
Хотя мне не очень приятно просаживать трафик,пусть даже и безлимитный (станционарный от провайдера)
> И я то со своей рукожопостью проживу,а вот как будете жить вы,
> когда к вам в связи с распространением линукса на десктопы понабегут подобные
> мне закачивальщики.точно так же, как и до этого.
> точно так же, как и до этого.Не заставляли бы качать большие файлы ф/ейчтп.
И у вас была бы экономия,и мне былаб жизнь попоще.
купил бы себе мозг — хотя бы б/у — глядишь, узнал бы, как пользоваться софтом, который умеет в докачку.
Зачем покупать мозг,если есть бесплатная трансмиссия?
> Зачем покупать мозг,если есть бесплатная трансмиссия?чтобы узнать, что торрента с мозгом таки нет.
> А распаковка вообще непонятно, кому и где критична.желаю тебе всё качать пожатым самыми последними paq с максимальными настройками. некритично же.
> желаю тебе всё качать пожатым самыми последними paq с максимальными настройками.При том паковать надо на самом крутом сервере, чтоб не менее 100 гиг оперативы. Потом будет интересно посмотреть как любители крутого сжатия взвоют, когда им для декомпрессии тоже 100 гигз потребуется.
>> Вы каждый день скачиваете ядра? И что вы с ними делаете?
> Капитан намекает что ядро пакуется 1 раз могучей билд-фермой, а вот скачивается
> и распаковывается всеми кем не лень. Так что LZMA в этом
> плане хорош: он и жмет плотнее, так что меньше траффика и
> быстрее даунлоад и распаковывается быстро.C нынешними скоростями/мощностями - ни о чем
> C нынешними скоростями/мощностями - ни о чемМожете хоть нежатое видео сервировать, если бандвиза дофига. Правда, HD поток как раз забьет гигабит. На 1 клиента.
> давай те начнем с того, что прочтем в чем разница между bzip и pbzip ;)Ну да, прикольно - xz поди жмет в 1 поток а pbzip в несколько. Такое честное сравнение....
Логичней тогда было бы сравнивать pbzip2 и pxz
> Логичней тогда было бы сравнивать pbzip2 и pxzВот я и не понял - что за читерство?!
>> давай те начнем с того, что прочтем в чем разница между bzip и pbzip ;)
> Ну да, прикольно - xz поди жмет в 1 поток а pbzip
> в несколько. Такое честное сравнение....А что у авторов однопроцессорный камень или им религия запрещает использовать pbzip? :D
>>> давай те начнем с того, что прочтем в чем разница между bzip и pbzip ;)
>> Ну да, прикольно - xz поди жмет в 1 поток а pbzip
>> в несколько. Такое честное сравнение....
> А что у авторов однопроцессорный камень или им религия запрещает использовать pbzip?
> :DИБД - Имитация Бурной Деятельности.
>> в несколько. Такое честное сравнение....
> А что у авторов однопроцессорный камень или им религия запрещает использовать pbzip? :DНу тогда и xz надо было параллельный брать. Есть ли параллельный gzip - вот это я не в курсе.
> им религия запрещает использовать pbzip?Не очень понятно какой в нем смысл при наличии pxz :P.
есть pxz, в 1 поток паковать нужно только с ключиком -9, чтобы учитывались данные со всех блоков
кстати сам формат xz был разработан на основе lzma именно для поддержки многопоточной упаковки
А в чем разница между ffmpeg и ffmpeg-mt? Зачем второй нужен?
P.S. Если до сих пор не поняли, то bzip2 однопотоковый, а pbzip2 (что следует из названия) работает в несколько потоков, что, очевидно, прибавляет ему скорости.
> pbzip2 vs xzУх ты, Фороникс таки зарегался на опеннете!
> # time xz -z linux-3.12.6.tarСмотря какие настройки. Во-первых, вы забыли включить параллельное сжатие для xz (xz -T) и получили совершенно бредовые цифры (в примере, где у вас отставание по скорости в 20 раз, у меня с включенной параллельностью разница в раз). Во-вторых, вы забыли задать сопоставимые уровни сжатия.
Вот пример. Тесты проводились в /dev/shm (исключено влияние диска), core i5 2500k OC (4 ядра), динамический turbo выключен - частота одинаковая. Смотрим на real (то, что user > real показывает, что задействовано несколько ядер).
$ time pbzip2 -k linux-3.12.6.tar; du -sb linux-3.12.6.tar.bz2
real 0m9.697s
user 0m37.125s
sys 0m0.881s
91411005 linux-3.12.6.tar.bz2$ time xz -2 -T 4 -k linux-3.12.6.tar; du -sb linux-3.12.6.tar.xz
real 0m9.849s
user 0m37.886s
sys 0m0.094s
94734180 linux-3.12.6.tar.xz$ time xz -3 -T 4 -k linux-3.12.6.tar; du -sb linux-3.12.6.tar.xz
real 0m16.258s
user 1m2.099s
sys 0m0.107s
92558076 linux-3.12.6.tar.xz$ time xz -4 -T 4 -k linux-3.12.6.tar; du -sb linux-3.12.6.tar.xz
real 0m24.919s
user 1m35.865s
sys 0m0.115s
87745068 linux-3.12.6.tar.xz$ time xz -T 4 -k linux-3.12.6.tar; du -sb linux-3.12.6.tar.xz
real 0m48.961s
user 3m0.249s
sys 0m0.203s
79542264 linux-3.12.6.tar.xz$ time xz -9 -T 4 -k linux-3.12.6.tar; du -sb linux-3.12.6.tar.xz
real 1m26.409s
user 3m48.686s
sys 0m0.960s
76392132 linux-3.12.6.tar.xz
Итого: у xz можно получить ту же скорость, что и у pbzip2. Получим на 3.6% хуже сжатие.
Работая в 2.5 раз дольше.. эээ.. то есть *НА 16 секунд дольше* мы получаем на 4% лучше сжатие. Работая на 40 секунд дольше - на 15% лучше сжатия. Работая на 76 секунд дольше - почти на 20% лучше сжатие.
Т.е. на низких уровнях сжатия они сравнимы в пределах погрешности (на другом примере xz -2 сжал бы не хуже bzip'а), но bzip2 лучше уже сжать не сможет - а у xz можно увеличивать уровень сжатия и дальше.Время разжатия во всех случаях примерно одинаковое (порядка 4 секунд на этой машине).
В контексте новости - вы серьезно считаете, что для kernel.org жалко потратить 76 секунд ради уменьшения трафика на 20%?
> В контексте новости - вы серьезно считаете, что для kernel.org жалко потратить
> 76 секунд ради уменьшения трафика на 20%?вы думаете они за него платят
Дело принципа.
> Дело принципа.тогда пусть из принципа откажутся от gz, раз они такие принципиальные
Но у гзипа другая весовая категория
> Но у гзипа другая весовая категориятак дело ж принципа :D
> так дело ж принципа :DОн используется как тул который "есть везде". Т.е. fallback.
> вы думаете они за него платята вы давно хостили сайты?
я как погляжу у VEXXHOST есть ограничение на трафик.
У меня результаты по разжатию примерно такие:/dev/shm$ time pbzip2 -p4 -k -d linux-3.12.6.tar.bz2
real 0m19.028s
user 0m18.800s
sys 0m0.676s/dev/shm$ time xz -d -k linux-3.12.6.tar.xz
real 0m6.346s
user 0m5.904s
sys 0m0.348s
уверены что ваш xz поддерживает многопоточность? например в Debian старая версия которая это не умеет, но в мане написано что многопоточность будет включатся автоматически, те ключ -T необязателен
> уверены что ваш xz поддерживает многопоточность? например в Debian старая версия которая
> это не умеет, но в мане написано что многопоточность будет включатся
> автоматически, те ключ -T необязателен|parallel -P 50% -t --pipe --recend '' -k xz -9e
И да, распаковывается. Только сжатие хуже однопоточного - соседние xz друг о друге не знают. И не факт, что быстрее -- perl в этом GNU parallel тормоз какой-то. И -9e может многовато оказаться - по умолчанию 1M нарезка. Итд-ипт.
> Время разжатия во всех случаях примерно одинаковое (порядка 4 секунд на этой
> машине).
> В контексте новости - вы серьезно считаете, что для kernel.org жалко потратить
> 76 секунд ради уменьшения трафика на 20%?если цель была экономия трафика, в чем я очень сомневаюсь, надо было отказаться от gz. Экономия бы была намного больше.
> если цель была экономия трафика, в чем я очень сомневаюсь, надо было
> отказаться от gz. Экономия бы была намного больше.Все просто. Bzip свое отлетал - по общей неактуальности его параметров. Соотношение скорости работы к плотности сжатия фиговое, что для архиватора достаточно фатально когда появляется конкурент который при сравнимой скорости жмет плотнее или быстрее жмет при сравнимой упаковке.
По каким-то таким причинам LZMA прилично потеснил всех в "тяжеловесном" сегменте, а в "скоростном" набирает популярность LZ4. Первый хорошо жмет, не очень тормозя при этом и относительно быстро декомпрессуется (как и любой иной LZ). Второй "как-то жмет" но зато скорость - турбореактивная.
> - Кому надо скорость, gzip в разы быстрее.Ждём архивов в lzo, чего уж там!
Тогда уж lz4.
> Тогда уж lz4.Ты хочешь сказать, что lz4 быстрее? Садись - "два", готовся, приходи на пересдачу.
> Ты хочешь сказать, что lz4 быстрее?В среднем по больнице - немного быстрее вроде как на большинстве данных. Хотя на тарболе с кернелом - это мерять надо.
lz4 быстрее всех разжимает, но коэфф. сжатия у него хреновый.
> lz4 быстрее всех разжимает, но коэфф. сжатия у него хреновый.Ну и LZO из той же оперы примерно. В среднем по больнице LZ4 немного шустрее и немного лучше жмет. Но сие сильно зависит от данных, неудачные и удачные случаи могут отличаться.
$ time lz4c -z9 /media/kernel/linux-3.12.6.tar linux-3.12.6.tar.lz4Read : 518 MB ==> 24.96% Compressed 544061440 bytes into 135784253 bytes ==> 24.96%
real 0m34.178s
user 0m27.778s
sys 0m1.100s
---
Разжимаем;
$ time lz4 -d linux-3.12.6.tar.lz4
Decoding file linux-3.12.6.tar
Successfully decoded 544061440 bytesreal 0m2.361s
user 0m1.245s
sys 0m1.089s2.3 секунды. :)
---
XZ
$ time xz -T4 -z9 linux-3.12.6.tarreal 3m55.152s
user 9m57.632s
sys 0m6.694s$ time xz -T4 -d linux-3.12.6.tar.xz
real 0m9.360s
user 0m8.477s
sys 0m0.822sПо размеру, XZ жмёт в 1.78 раз лучше LZ4.
>> Ты хочешь сказать, что lz4 быстрее?
> В среднем по больнице - немного быстрее вроде как на большинстве данных.Ага, немного, примерно в 4 раза быстрее. :)
> Хотя на тарболе с кернелом - это мерять надо.
.
> Ага, немного, примерно в 4 раза быстрее. :)Чем LZO? Ты, кажется, LZMA померял. Перечитай исходное сообщение и осознай что облажался.
>> Ты хочешь сказать, что lz4 быстрее?
> В среднем по больнице - немного быстрее вроде как на большинстве данных.
> Хотя на тарболе с кернелом - это мерять надо.Так померяй. Я померял, потому и говорю, что lz4 нисколько не быстрей, чем последний оптимизированный lzo (по крайней мере, на x86)
>Кому надо крутое сжатие, xz жмет лучше и работает быстрее, особенно декомпрессия.Тем не менее, bzip2 расходует намного меньше памяти на декомпрессию, которая для xz просто бешено растет при увеличении размера файла.
http://pokecraft.first-world.info/wiki/Quick_Benchmark:_Gzip...
> Тем не менее, bzip2 расходует намного меньше памяти на декомпрессию, которая для
> xz просто бешено растет при увеличении размера файла.xz не расходует много памяти на декомпрессию. Лишь размер словаря + еще немного, насколько я помню. Вот для сжатия с тем же размером словаря памяти надо здорово больше и аппетит по мере увеличения словаря растет быстро.
> xz не расходует много памяти на декомпрессию.По ссылке выше факты, опровергающие это.
>Вот для сжатия с тем же размером словаря памяти надо здорово больше и аппетит по мере увеличения словаря растет быстро.
Да - быстрее, чем для декомпрессии.
> К чёрту извинения, нужны объяснения!linux-3.12.6.tar.xz 20-Dec-2013 16:04 73M
linux-3.12.6.tar.bz2 20-Dec-2013 16:04 87M
linux-3.12.6.tar.gz 20-Dec-2013 16:04 110MНа xz c bz2 уже давно планировали перейти. Логика в том, чтобы размещать архивы в двух форматах - максимально распространённом и обеспечивающем минимальный размер архива (но более-менее уже используемом).
> . . .
> размещать архивы в двух форматах - максимально распространённом и обеспечивающем минимальныйИ почему об этом ни слова в заметке ?
> И почему об этом ни слова в заметке ?опеннет же.
>> И почему об этом ни слова в заметке ?
> опеннет же.А вы сюда ходите читать новости исключительно из мазохизма?
> А вы сюда ходите читать новостигде я говорил, что я хожу сюда читать новости? O_O
>>принёс извинения
> К чёрту извинения, нужны объяснения!Вы бы ещё .rar попросили. Зачем плодить столько архивов?
> Вы бы ещё .rar попросили. Зачем плодить столько архивов?Требую RAR ! Остальное не нужно.
> Требую RAR ! Остальное не нужно.Путь Рошал выложит компрессор под GPL, тогда подумаем :).
>> Вы бы ещё .rar попросили. Зачем плодить столько архивов?
> Требую RAR ! Остальное не нужно.Засунь свой RAR себе в свой ник.
> Засунь свой RAR себе в свой ник.От тебя, Светодиод, ничего другого и не ожидалось !
>>> Вы бы ещё .rar попросили. Зачем плодить столько архивов?
>> Требую RAR ! Остальное не нужно.
> Засунь свой RAR себе в свой ник.А ты потягайся с RAR5-тогда и потолкуем. И сорц открытый выложи, окда?
> А ты потягайся с RAR5а чего там тягаться-то? вот когда он PAQ догонит — тогда и можно будет о чём-то говорить. отмазки вида «а paq долго сжимает и требует много памяти, а rar5 быстрее сжимает и требует меньше памяти, зато сжатие хуже» — гнилые отмазки. их можно к любой программе применить: заменяем, например, первое на rar5, второе на lzss. или вообще rle.
> А ты потягайся с RAR5-тогда и потолкуем.А что с ним тягаться? Помнится LZMA давно вставлял LZ-based алгоритму из RAR, если уж на то пошло. А какой-нить paq вставит ему на поприще "долбанутых на максимальной компрессии" вообще одной левой. Правда паковать неделю будет. Но по степени сжатия будет лучше много чего еще.
XZ лучше всех плющит текст! Есть ещё PAQ и клоны, но это больше интересно для теоретиков.
Текст хорошо плющат PPM-based, но они тормозные и распаковка жрет столько же ресурсов сколько и упаковка, так что если кто паковал на сервере с 100 гиг оперативы неделю - ты потом будешь на своем драндулете полгода свопом хрустеть.
> Текст хорошо плющат PPM-based,Прочитай про PAQ.
> Прочитай про PAQ.Да я в курсе про него, он по общим свойствам на PPM-based похож, тоже относительно симметричен по затратам ресурсов на сжатие и распаковку.
>> Прочитай про PAQ.
> Да я в курсе про него, он по общим свойствам на PPM-based
> похож, тоже относительно симметричен по затратам ресурсов на сжатие и распаковку.PAQ8HP8 64639 секунд (~18 часов) на сжатие 1 гига текста до 130 мегов. :)
> PAQ8HP8 64639 секунд (~18 часов) на сжатие 1 гига текста до 130 мегов. :)Очень просим тест на линуксном кернеле :). Мне уже просто интересно увидеть @#$нутое время сжатия на твоей конфиге относительно остальных :).
time tar czf test.tar.gz /usr/src/linux-source-3.2
402.34s user
15.92s system
100% cpu
6:54.33 totaltime tar cjf test.tar.bzip2 /usr/src/linux-source-3.2
769.61s user
13.84s system
100% cpu
13:01.33 totaltime tar cJf test.tar.xz /usr/src/linux-source-3.2
4321.55s user
25.88s system
100% cpu
1:12:13.36 totaltotal 4.4G
1.7G Dec 29 13:49 test.tar.bzip2
2.0G Dec 29 13:35 test.tar.gz
716M Dec 29 15:08 test.tar.xzPS: Debian GNU/Linux 7.3 AMD64, Phenom II X2 720, 16Gb RAM, сжатие в один поток + забыл выполнить make clean в /usr/src/linux-source-3.2 (около 7-8 гиг) ;-)
7z надо и в топку все остальное
> 7z надо и в тoпку все остальноеДык xz и использует все тот же LZMA что и в 7z, только в более привычном для *никсов виде, когда архив - одна сущность, а пакер которым он сжат - вторая.
>LZMAЧто-то я туплю.
LZ это Лемпел и Зив.
M это, наверное, Марков
А А это что такое?
Моё гугл-фу не пробивает:(
http://ru.wikipedia.org/wiki/LZMA
А это Алгоритм:)
Блин, мог бы и сам догадаться...
Аноним, ясен перец. Который первым предложил эту идею прямо тут, на опеннете, и Лемпелу, и Зиву, и Маркову. Он сам рассказывал. Без анонима, как говорит сам аноним, никакое дело не делается.
> LZ это Лемпел и Зив.L -> Lennart
lzmad ?
> lzmad ?Торвальдс: вот достали! Ладно, в добавок к LZO, zlib и LZ4 вот вам LZMA в ядре. Системные требования нового ядра: минимум два гига оперативы, чтоб LZMA было где развернуться с большим словарем!
расскажи, как оно — дураком быть? сколько раз вас, дураков, встречаю — и никто толком ответить не может.
> расскажи, как оно — дураком быть? сколько раз вас, дураков, встречаю —
> и никто толком ответить не может.Хорошо.
Жить легко.
> LZ это Лемпел и Зив.
> M это, наверное, Марков
> А А это что такое?"А" это "Аноним" с опеннета!
Ваша искрометная шутка опоздала на 13 часов.
Да, ложка хороша к обеду...
> Что-то я туплю.
> LZ это Лемпел и Зив.Причём идею и алгоритм придумал Зив, а при чём тут Лемпел вообще непонятно.
> Дык xz и использует все тот же LZMA что и в 7z, только в более привычном для *никсов виде, когда архив - одна сущность, а пакер которым он сжат - вторая.Тогда чем отличаются параметры --lzma и --xz у tar?
А ладно, тут прочитал: http://unix.stackexchange.com/questions/72037/difference-bet...
Молодец, гуглить ты уже научился. Осталось научиться не задавать глупые вопросы
> Молодец, гуглить ты уже научился. Осталось научиться не задавать глупые вопросыА вы не плодите кучу схожих сущностей, тогда и глупых вопросов не будет появляться. Какой формат мне теперь использовать, чтобы и вендузятникам было проще распаковать, tar.xz, 7z или нафиг всё это, если zip универсален?
> или нафиг всё это, если zip универсален?Попробуй сжать им линевый кернел и прифигей от разницы в размере с xz. Я гарантирую, тебе доставит.
>> или нафиг всё это, если zip универсален?
> Попробуй сжать им линевый кернел и прифигей от разницы в размере с
> xz. Я гарантирую, тебе доставит.И зачем мне его паковать в архив, когда кому надо могут его скачать сами?
> И зачем мне его паковать в архив,Чтобы оценить насколько ваш совет может быть субоптимальным в некоторых ситуациях, например. Думается можно получить разницу по размеру до НЕСКОЛЬКИХ РАЗ. ZIP жмет каждый файл независимо и словарь 32 кило всего, "это не память, это склероз". LZMA с его немеряным словарем увидит что "ага, вот этот и этот файл - почти как вот этот, заменяем ссылкой на то что уже было". А zip - ну вы поняли...
>> И зачем мне его паковать в архив,
> Чтобы оценить насколько ваш совет может быть субоптимальным в некоторых ситуациях, например.Ага, архивы придуманы именно для этого.
> Ага, архивы придуманы именно для этого.Сжатие придумано именно для этого. Но ты можешь выкладывать нежатые тарболы, zip с методом stored и некомпрессованое RAW видео, флаг тебе в руки.
> чтобы и вендузятникам было проще распаковатьпроблемы доблестных буратин волнуют только доблестных буратин. не вижу, отчего надо думать об удобстве вантузоидов: захотят — найдут чем распаковать.
> об удобстве вантузоидов: захотят — найдут чем распаковать.Что еще менее понятно - нафиг им ядро линуха? Уж не собираются ли его там пересобирать?! Хотя может у кого-то жуткие приступы мазохизма?
>> об удобстве вантузоидов: захотят — найдут чем распаковать.
> Что еще менее понятно - нафиг им ядро линуха? Уж не собираются
> ли его там пересобирать?! Хотя может у кого-то жуткие приступы мазохизма?Ну это у вас линуксоидов кроме ядра в архив класть нечего.
> Ну это у вас линуксоидов кроме ядра в архив класть нечего.а у вас, нелинуксоидов, постоянно варезы приходится прятать? тяжело, да.
> Ну это у вас линуксоидов кроме ядра в архив класть нечего.А вы что туда кладете? Да, чистосердечное признание является смягчающим, насколько я помню :).
>> Ну это у вас линуксоидов кроме ядра в архив класть нечего.
> А вы что туда кладете? Да, чистосердечное признание является смягчающим, насколько я
> помню :).Да в последнее время архивы большинство использовали чисто чтобы несколько файлов по сети передать, не сильно беспокоясь о сжатии (многие используют zip, многие тупо пакуют раром lossy аудиофайлы).
> проблемы доблестных буратин волнуют только доблестных буратин. не вижу, отчего надо думать
> об удобстве вантузоидов: захотят — найдут чем распаковать.Линуксоидов я вижу только на паре прыщесайтах и кроме как о прыщепроблемах с ними поговорить не о чем, поэтому обмениваться архивами с ними крайне редко приходится.
> Линуксоидов я вижу только на паре прыщесайтах и кроме как о прыщепроблемах
> с ними поговорить не о чем, поэтому обмениваться архивами с ними
> крайне редко приходится.Тогда что ты тут забыл? Тебя одолели прыщи?
>> Линуксоидов я вижу только на паре прыщесайтах и кроме как о прыщепроблемах
>> с ними поговорить не о чем, поэтому обмениваться архивами с ними
>> крайне редко приходится.
> Тогда что ты тут забыл? Тебя одолели прыщи?Да, постоянно возникают всякие прыщепроблемы. Из недавних: не сохраняется настройки LADSPA в клизмоиде Veromix.
> Да, постоянно возникают всякие прыщепроблемы. Из недавних: не сохраняется настройки LADSPA
> в клизмоиде Veromix.хахаха, нищебродские прыщепроблемы! купи себе Настоящую ОС от Проверенного Производителя Коммерческих ОС, нищебродина!
> Линуксоидов я вижу только на паре прыщесайтах и кроме как о прыщепроблемах
> с ними поговорить не о чеммножество умных людей заметило (и даже об этом говорило), что если тебя окружает УГ, то стоит поискать причину в себе. попробуй не ходить по прыщесайтам, например.
>> Линуксоидов я вижу только на паре прыщесайтах и кроме как о прыщепроблемах
>> с ними поговорить не о чем
> множество умных людей заметило (и даже об этом говорило), что если тебя
> окружает УГ, то стоит поискать причину в себе. попробуй не ходить
> по прыщесайтам, например.А чего вы так взъелись, я против прыщесайтов и линуксоидов ничего не имею, вообще-то.
> окружает УГ, то стоит поискать причину в себе."Если все вокруг в г...не - может быть, это ТЫ обосpaлся?!" (с)перто из freeman'а.
Тут в принципе ничего не поменялось — для виндузятников 7z, потому что от xz у них будет разрыв шаблона и пересмотр моральных ценностей от того, что программа для распаковки и формат не совпадают по названию.
> Тут в принципе ничего не поменялось — для виндузятников 7z, потому что
> от xz у них будет разрыв шаблона и пересмотр моральных ценностейОткуда у этих серёжек-хомячков-стаканчиков моральные ценности?
нужно везде использовать tar.xz, в венде его можно распаковать. я это делал тупо вот этим - http://peazip.sourceforge.net/
О, спасибо! Всегда хотел узнать в чём разница, но было лень разбираться :)
7z не tar совместимый.
> 7z не tar совместимый.есть какое-то тайное предписание Небесной Канцелярии, запрещающее сжать тарбол седьмым зипом?
Ты его cli видел? Для тарболов требуются стандартные ключи.
> Ты его cli видел? Для тарболов требуются стандартные ключи.(пожимает плечами) вот и выросло поколение, которое впадает в панику от нестандартных опций.
Давно пора.
так вот как Торвальдс решил проблему с тем что ядро пухнет, он решил его лучше сжать, элементарно и оригинально по новому методу KISSd
бгг, злободневно :)
У меня FreeBSD и кернел другой, но вот тесты показанные как пример, уважаемым ALex_hha, и сделанные мной на 48 мегобайтном файле:xz сжатие
real 0m59.264s
user 0m57.267s
sys 0m1.026szx разжатие
real 0m1.944s
user 0m1.340s
sys 0m0.552sbzip2 сжатие
real 0m48.504s
user 0m47.591s
sys 0m0.141sbzip2 разжатие
real 0m15.618s
user 0m15.355s
sys 0m0.134sВот такая "петрушка"
А вы файлы перед сжатием в первый раз в файловый кэш загнали?
> А вы файлы перед сжатием в первый раз в файловый кэш загнали?Врядли алгоритм сжатия сильно упирался в I/O :)
это не сказалось бы на скорости _распаковки_. а суть в ней.
А с pbzip2?
> А с pbzip2?http://www.opennet.me/openforum/vsluhforumID3/93297.html#133
> А с pbzip2?Ну тогда и pxz надо взять...
Wormik поддерживает. Когда появляется новый тип архива, старый нужно убирать. И оставлять в итоге два: gz и самый современный. Первый для совместимости со старыми системами - мало ли где нам нужно установить новое ядро или openssl. А иначе свалка.Когда я первый раз попробовал Linux 10 лет назад, KDE 3.2 в контекстном меню предлагал сжимать в tar.gz и tar.bz2. И мне казалось что так будет всегда. Но нет: bzip2 уже не современный и не передовой.
> Когда появляется новый тип архива, старый нужно убирать.А почему я тогда не вижу dar?
>И оставлять в итоге два: gz и самый современный.
>gzПочему же тогда не zip?
archiver vs compressor
> Почему же тогда не zip?что ты тут забыл? это не сайт о твоём любимом шиндошс.
> Wormik поддерживает.У меня ЧСВметр запищал.
эх не застали некоторые tar.Z :D
> эх не застали некоторые tar.Z :DТут можно понастальгировать ftp://ftp.sco.com/pub/tools/
У SCO много чего compress сплющено.
оттуда patchck.custom.Z - 127023 байт.
после распаковки 121856, после упаковки xz 88028.зашибись формат
> оттуда patchck.custom.Z - 127023 байт.
> после распаковки 121856, после упаковки xz 88028.
> зашибись форматТам есть своя фича - он в таком сжатом виде, по сети летает с такой же скоростью как и чистый текст.
> Там есть своя фичаЯ бы не назвал х-вое сжатие со стороны компрессора фичой :).
Вот нет бы поздравить коллегу с наступающим Новым Годом, порадоваться за соотечественника столько ответственной работе и принять изменения такими какие они есть. Начали тут базар, как вороны на проводах.
давно пора, ну и раз уменьшили число создаваемых архивов, хорошо бы вернуться к тому чтобы снова подписывать сжатые архивы тоже, а не только .tar
удобнее проверять будет
Я ведь как только 7-Zip награду на SF.net получил - сразу сказал, что за ним (-LZMA) будущее, - где теперь вы, злопыхатели? =)
> - где теперь вы, злопыхатели?7z - это комбайн из алгоритмов, такого несовместимого говна навалом, на том же соурсфорже.
Посжимал, порасжимал...
time tar -cjvf archive.tar.bz2 ARCHIVE
time tar -cJvf archive.tar.xz ARCHIVE
time tar -xjvf archive.tar.bz2
time tar -xJvf archive.tar.xzВ среднем lzma сжимает в 3 раза медленней, bzip, но в 5 раз быстрее расжимает.
поменяли шило на мыло чисто чтобы кому-то создать проблемы
> поменяли шило на мыло чисто чтобы кому-то создать проблемыУ тебя проблемы? Хорошо!
нет у меня никаких проблем, не нужно путать свои фантазии и объективную реальность.
> нет у меня никаких проблем,Тогда не понятен повод для бухтения.
какой смысл жать во что-то кроме xz?для сайта это лишняя работа, а для пользователей без разницы что РАСПАКОВЫВАТЬ,
кроме того подкрутите ключи при упаковке xz, потому как я могу перепаковать с большим сжатием, а значит у вас не максимальное сжатие
юзайте для xz хотябы -9 --extreme
так же интересно куда пропал CHANGELOG для каждого релиза ядра. Раньше был.
никуда он не пропал
https://www.kernel.org/ссылки там есть на чейнжлог
> никуда он не пропал
> https://www.kernel.org/
> ссылки там есть на чейнжлогПокажи Changelog от ..., 3.10, 3.11, 3.12, последний большой был у 3.1.
Раньше реально ускоряло портирование, начиная с рекурсивного просмотра,
определяя в какой версии чего поменяли. Теперь только в пределах одной версии.
Как опознать разницу 3.10 от 3.11, если к примеру 3.10.25 вышел позже 3.11.10
> Покажи Changelog от ..., 3.10, 3.11, 3.12, последний большой был у 3.1.Хм, git log тебе в руки :). Если мало - можешь git diff попробовать.
>> Покажи Changelog от ..., 3.10, 3.11, 3.12, последний большой был у 3.1.
> Хм, git log тебе в руки :).Точно, они испугались, что теперь ченжлоги по 250 метров. :)
> теперь ченжлоги по 250 метров. :)Ну вот и LZMA как раз пригодится! :)