The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Kernel.org уходит от распространения архивов с ядром в форма..., opennews (?), 28-Дек-13, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


2. "Kernel.org уходит от распространения архивов с ядром в форма..."  +26 +/
Сообщение от Аноним (-), 28-Дек-13, 19:59 
У bzip2 тормозная компрессия и декомпрессия, при том что жмет хуже xz, но тормозит сильнее. Не вижу смысла им пользоваться.
- Кому надо скорость, gzip в разы быстрее.
- Кому надо крутое сжатие, xz жмет лучше и работает быстрее, особенно декомпрессия.
Ответить | Правка | Наверх | Cообщить модератору

13. "Kernel.org уходит от распространения архивов с ядром в форма..."  –1 +/
Сообщение от ALex_hha (ok), 28-Дек-13, 21:01 
> У bzip2 тормозная компрессия и декомпрессия, при том что жмет хуже xz,
> но тормозит сильнее. Не вижу смысла им пользоваться.
> - Кому надо скорость, gzip в разы быстрее.
> - Кому надо крутое сжатие, xz жмет лучше и работает быстрее, особенно
> декомпрессия.

а вот с компрессией пичалька полная


# time xz -z linux-3.12.6.tar
real    4m37.936s
user    4m37.382s
sys     0m0.430s

# time pbzip2 linux-3.12.6.tar
real    0m13.126s
user    1m40.642s
sys     0m2.938s

# du -h linux-3.12.6.tar.xz
75M     linux-3.12.6.tar.xz

# du -h linux-3.12.6.tar.bz2
88M     linux-3.12.6.tar.bz2

# time xz -d linux-3.12.6.tar.xz
real    0m6.755s
user    0m6.295s
sys     0m0.434s

# time pbzip2 -d linux-3.12.6.tar.bz2
real    0m3.896s
user    0m27.764s
sys     0m1.738s

Так что вопрос, стоит ли 10-15% объема такой разницы в компрессии/декомпрессии ...

Ответить | Правка | Наверх | Cообщить модератору

14. "Kernel.org уходит от распространения архивов с ядром в форма..."  +7 +/
Сообщение от BratSinot (ok), 28-Дек-13, 21:19 
Давайте начнем с того, что у вас не bzip2, а pbzip2.
Во вторых, какая вам разница сколько времени тратят разработчики на сжатие архива?
Ответить | Правка | Наверх | Cообщить модератору

16. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от ALex_hha (ok), 28-Дек-13, 22:09 
> Давайте начнем с того, что у вас не bzip2, а pbzip2.

давай те начнем с того, что прочтем в чем разница между bzip и pbzip ;)

> Во вторых, какая вам разница сколько времени тратят разработчики на сжатие архива?

а какая вам разница сколько места тратят разработчики на хранение архивов? ;)

Ответить | Правка | Наверх | Cообщить модератору

29. "Kernel.org уходит от распространения архивов с ядром в форма..."  –1 +/
Сообщение от Аноним (-), 29-Дек-13, 00:30 
> а какая вам разница сколько места тратят разработчики на хранение архивов? ;)

Кому-то есть очень большая разница, сколько качать.

Ответить | Правка | Наверх | Cообщить модератору

35. "Kernel.org уходит от распространения архивов с ядром в форма..."  –6 +/
Сообщение от ALex_hha (ok), 29-Дек-13, 02:28 
>> а какая вам разница сколько места тратят разработчики на хранение архивов? ;)
> Кому-то есть очень большая разница, сколько качать.

Вы каждый день скачиваете ядра? И что вы с ними делаете?

Ответить | Правка | Наверх | Cообщить модератору

41. "Kernel.org уходит от распространения архивов с ядром в форма..."  +12 +/
Сообщение от Аноним (-), 29-Дек-13, 03:15 
> Вы каждый день скачиваете ядра? И что вы с ними делаете?

Капитан намекает что ядро пакуется 1 раз могучей билд-фермой, а вот скачивается и распаковывается всеми кем не лень. Так что LZMA в этом плане хорош: он и жмет плотнее, так что меньше траффика и быстрее даунлоад и распаковывается быстро.

Ответить | Правка | Наверх | Cообщить модератору

81. "Kernel.org уходит от распространения архивов с ядром в форма..."  –2 +/
Сообщение от Аноним (-), 29-Дек-13, 14:38 
Так узкое место на раздаче расшивается одноранговым файлообменом, а не сжатием.

А распаковка вообще непонятно, кому и где критична.

Ответить | Правка | Наверх | Cообщить модератору

82. "Kernel.org уходит от распространения архивов с ядром в форма..."  +2 +/
Сообщение от Аноним (-), 29-Дек-13, 14:52 
> Так узкое место на раздаче расшивается одноранговым файлообменом, а не сжатием.

Ага, расскажи это жителям какой-нибудь далекой деревушки, где слаще GPRS-а ничего нет. Какая разница, торрент там будет тормозить или отгрузка с сервака? Упрется то в тощий канал для начала...

> А распаковка вообще непонятно, кому и где критична.

Она актуальна всем кто тарбол скачал и распаковывает, очевидно. И их несколько больше чем тех кто пакует тарболы.

Ответить | Правка | Наверх | Cообщить модератору

95. "Kernel.org уходит от распространения архивов с ядром в форма..."  –9 +/
Сообщение от Andrey (??), 29-Дек-13, 16:29 
Ну если каждый раз думать о том, что где то там в деревне....
То мы бы до сих пор бы жили в каменном веке...

Да и вообще в деревне надо натуральным хозяйством заниматься, а не ядра компилировать. ;)

Ответить | Правка | Наверх | Cообщить модератору

149. "Kernel.org уходит от распространения архивов с ядром в форма..."  +3 +/
Сообщение от Аноним (-), 30-Дек-13, 18:06 
Не говори народу что им делать и они не скажут куда тебе идти
Ответить | Правка | Наверх | Cообщить модератору

161. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от Аноним (-), 30-Дек-13, 23:21 
> Ну если каждый раз думать о том, что где то там в деревне....

Да, надо паковать сразу PAQ'ом, юзанув гигов 100 оперативы. Ядерщики наверное 1 сервачок под компрессию смогут найти. Какой-нить хьюлет или там кто еще накрайняк сервак подгонят (заодно и попиарятся). Как ты это потом декомпрессить будешь - можно и не париться. Ну подумаешь, сервак накрайняк докупишь. Хьюлету профит как раз.

> То мы бы до сих пор бы жили в каменном веке...

Если не париться вопросом "а как использовать?" можно показать тебе ближайшую ЛЭП-500 - и запитывай от нее свою хату сам, как умеешь, сказав что "ничего не знаем, электричество - вот оно, забирай!".

Ответить | Правка | К родителю #95 | Наверх | Cообщить модератору

146. "Kernel.org уходит от распространения архивов с ядром в форма..."  –3 +/
Сообщение от ALex_hha (ok), 30-Дек-13, 14:00 
>> Так узкое место на раздаче расшивается одноранговым файлообменом, а не сжатием.
> Ага, расскажи это жителям какой-нибудь далекой деревушки, где слаще GPRS-а ничего нет.
> Какая разница, торрент там будет тормозить или отгрузка с сервака? Упрется
> то в тощий канал для начала...

и что, ну будет Вася Пупкин в Мухосранске качать исходники не 1 минуту, а 1 минуту и 20 секунд. О хоспади, галактико в опасносте :D

> Она актуальна всем кто тарбол скачал и распаковывает, очевидно. И их несколько
> больше чем тех кто пакует тарболы.

как часто ты распаковываешь тарболы с ядром?

Ответить | Правка | К родителю #82 | Наверх | Cообщить модератору

150. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от Аноним (-), 30-Дек-13, 18:08 
> и что, ну будет Вася Пупкин в Мухосранске качать исходники не 1
> минуту, а 1 минуту и 20 секунд. О хоспади, галактико в
> опасносте :D

Значит от скорости интернета у вас зависит мухасранск или нет, ну значит США по сравнению с рашкой мухосранск.

Ответить | Правка | Наверх | Cообщить модератору

151. "Kernel.org уходит от распространения архивов с ядром в..."  +3 +/
Сообщение от arisu (ok), 30-Дек-13, 18:11 
> США по сравнению с рашкой мухосранск.

конечно. ни тебе Духовных Скреп, ни мизулиной… дикари!

Ответить | Правка | Наверх | Cообщить модератору

185. "Kernel.org уходит от распространения архивов с ядром в форма..."  –1 +/
Сообщение от ALex_hha (ok), 31-Дек-13, 12:59 
>> и что, ну будет Вася Пупкин в Мухосранске качать исходники не 1
>> минуту, а 1 минуту и 20 секунд. О хоспади, галактико в
>> опасносте :D
> Значит от скорости интернета у вас зависит мухасранск или нет, ну значит
> США по сравнению с рашкой мухосранск.

о да, в США конечно лишние 5-7 Мбайт это конечно большой объем

Ответить | Правка | Наверх | Cообщить модератору

162. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от Аноним (-), 30-Дек-13, 23:23 
> и что, ну будет Вася Пупкин в Мухосранске качать исходники не 1
> минуту, а 1 минуту и 20 секунд. О хоспади, галактико в опасносте :D

Как по мне так от этого сплошной профит.
- Вася скачает на 20 секунд быстрее.
- Вася распакует это с приличной скоростью.
- Сервак отгрузит меньше траффика.

> как часто ты распаковываешь тарболы с ядром?

Я то не часто, у меня git есть. Но для казуалов/тем кому нечто нестандартное/etc - сабж хороший вариант.

Ответить | Правка | К родителю #146 | Наверх | Cообщить модератору

184. "Kernel.org уходит от распространения архивов с ядром в форма..."  –1 +/
Сообщение от ALex_hha (ok), 31-Дек-13, 12:58 
>> и что, ну будет Вася Пупкин в Мухосранске качать исходники не 1
>> минуту, а 1 минуту и 20 секунд. О хоспади, галактико в опасносте :D
> Как по мне так от этого сплошной профит.
> - Вася скачает на 20 секунд быстрее.
> - Вася распакует это с приличной скоростью.
> - Сервак отгрузит меньше траффика.

откажитесь от gzip, если цель экономия трафика для Васи и Пети

>> как часто ты распаковываешь тарболы с ядром?
> Я то не часто, у меня git есть. Но для казуалов/тем кому
> нечто нестандартное/etc - сабж хороший вариант.

и сколько таких задротов в % соотношении? ;) У меня около 50 серверов CentOS и нигде собирать ядро из исходников не было необходимости. Видать что то делаю не так.

Ответить | Правка | Наверх | Cообщить модератору

193. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от torvn77 (ok), 10-Янв-14, 23:47 
>Ага, расскажи это жителям какой-нибудь далекой деревушки, где слаще GPRS-а ничего нет. >Какая разница, торрент там будет тормозить или отгрузка с сервака? Упрется то в тощий >канал для начала...

Из моего жизненного опыта следует то,что тощий GPRS,любит порой затормаживаться до нуля,
что приводит к необходимости перекачивать фаил,если только я раньше по рассеяности фирефокс не закрыл.
Так что торрент внезапно оказывается на тощем и не стабильном канале лучше,
так как в отличии от фтп он устоичив к постоянным провалам связи.
Так что как не странно,но самый большой расход трафика я причиняю имено http/ftp серверам,
закачав половину исошника,а потом после обрыва соединения закачивая её заного.
И может я и дурак с локалхоста,но цифры лично у меня такие.
Ну а уплоад можно ограничить,да и то,это надо делать для только для очень свежих задач,
где ещё не сформировалось нужное число сидов,а  если оно есть,
то для опенсорсных раздач нулевой уплоад на момент окончания закачки файла не такая уж и редкость.
В общем,постоянный уплоад характерен только для пиратского контента.

Ответить | Правка | К родителю #82 | Наверх | Cообщить модератору

194. "Kernel.org уходит от распространения архивов с ядром в..."  +1 +/
Сообщение от arisu (ok), 11-Янв-14, 02:54 
боги, но с какого же говна ты качаешь, что там не поддерживается докачка?!
Ответить | Правка | Наверх | Cообщить модератору

195. "Kernel.org уходит от распространения архивов с ядром в..."  –1 +/
Сообщение от torvn77 (ok), 11-Янв-14, 03:31 
> боги, но с какого же говна ты качаешь, что там не поддерживается
> докачка?!

Да может и поддерживается,только браузер всё равно закачивает заново.

Ответить | Правка | Наверх | Cообщить модератору

196. "Kernel.org уходит от распространения архивов с ядром в..."  +1 +/
Сообщение от arisu (ok), 11-Янв-14, 03:33 
>> боги, но с какого же говна ты качаешь, что там не поддерживается
>> докачка?!
> Да может и поддерживается,только браузер всё равно закачивает заново.

а, так бы и писал: «у меня рукожопость».

Ответить | Правка | К родителю #195 | Наверх | Cообщить модератору

197. "Kernel.org уходит от распространения архивов с ядром в..."  –1 +/
Сообщение от torvn77 (ok), 11-Янв-14, 06:27 
> а, так бы и писал: «у меня рукожопость».

Так с торрентами она не заметна,а тут призывают их не использовать или игнорировать.
И я то со своей рукожопостью проживу,а вот как будете жить вы,
когда к вам в связи с распространением линукса на десктопы понабегут подобные мне закачивальщики.
Хотя мне не очень приятно просаживать трафик,пусть даже и безлимитный (станционарный от провайдера)

Ответить | Правка | К родителю #196 | Наверх | Cообщить модератору

198. "Kernel.org уходит от распространения архивов с ядром в..."  +1 +/
Сообщение от arisu (ok), 11-Янв-14, 07:05 
> И я то со своей рукожопостью проживу,а вот как будете жить вы,
> когда к вам в связи с распространением линукса на десктопы понабегут подобные
> мне закачивальщики.

точно так же, как и до этого.

Ответить | Правка | К родителю #197 | Наверх | Cообщить модератору

199. "Kernel.org уходит от распространения архивов с ядром в..."  +/
Сообщение от torvn77 (ok), 11-Янв-14, 07:34 
> точно так же, как и до этого.

Не заставляли бы качать большие файлы ф/ейчтп.
И у вас была бы экономия,и мне былаб жизнь попоще.

Ответить | Правка | К родителю #198 | Наверх | Cообщить модератору

200. "Kernel.org уходит от распространения архивов с ядром в..."  +1 +/
Сообщение от arisu (ok), 11-Янв-14, 10:14 
купил бы себе мозг — хотя бы б/у — глядишь, узнал бы, как пользоваться софтом, который умеет в докачку.
Ответить | Правка | К родителю #199 | Наверх | Cообщить модератору

201. "Kernel.org уходит от распространения архивов с ядром в..."  –1 +/
Сообщение от torvn77 (ok), 11-Янв-14, 19:09 
Зачем покупать мозг,если есть бесплатная трансмиссия?

Ответить | Правка | К родителю #200 | Наверх | Cообщить модератору

202. "Kernel.org уходит от распространения архивов с ядром в..."  +/
Сообщение от arisu (ok), 12-Янв-14, 01:55 
> Зачем покупать мозг,если есть бесплатная трансмиссия?

чтобы узнать, что торрента с мозгом таки нет.

Ответить | Правка | К родителю #201 | Наверх | Cообщить модератору

108. "Kernel.org уходит от распространения архивов с ядром в..."  +1 +/
Сообщение от arisu (ok), 29-Дек-13, 16:56 
> А распаковка вообще непонятно, кому и где критична.

желаю тебе всё качать пожатым самыми последними paq с максимальными настройками. некритично же.

Ответить | Правка | К родителю #81 | Наверх | Cообщить модератору

163. "Kernel.org уходит от распространения архивов с ядром в..."  +/
Сообщение от Аноним (-), 30-Дек-13, 23:26 
> желаю тебе всё качать пожатым самыми последними paq с максимальными настройками.

При том паковать надо на самом крутом сервере, чтоб не менее 100 гиг оперативы. Потом будет интересно посмотреть как любители крутого сжатия взвоют, когда им для декомпрессии тоже 100 гигз потребуется.

Ответить | Правка | Наверх | Cообщить модератору

115. "Kernel.org уходит от распространения архивов с ядром в форма..."  –2 +/
Сообщение от ALex_hha (??), 29-Дек-13, 18:50 
>> Вы каждый день скачиваете ядра? И что вы с ними делаете?
> Капитан намекает что ядро пакуется 1 раз могучей билд-фермой, а вот скачивается
> и распаковывается всеми кем не лень. Так что LZMA в этом
> плане хорош: он и жмет плотнее, так что меньше траффика и
> быстрее даунлоад и распаковывается быстро.

C нынешними скоростями/мощностями - ни о чем

Ответить | Правка | К родителю #41 | Наверх | Cообщить модератору

164. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от Аноним (-), 30-Дек-13, 23:28 
> C нынешними скоростями/мощностями - ни о чем

Можете хоть нежатое видео сервировать, если бандвиза дофига. Правда, HD поток как раз забьет гигабит. На 1 клиента.

Ответить | Правка | Наверх | Cообщить модератору

38. "Kernel.org уходит от распространения архивов с ядром в форма..."  +1 +/
Сообщение от Аноним (-), 29-Дек-13, 03:10 
> давай те начнем с того, что прочтем в чем разница между bzip и pbzip ;)

Ну да, прикольно - xz поди жмет в 1 поток а pbzip в несколько. Такое честное сравнение....

Ответить | Правка | К родителю #16 | Наверх | Cообщить модератору

59. "Kernel.org уходит от распространения архивов с ядром в форма..."  +1 +/
Сообщение от Nicolasemail (??), 29-Дек-13, 10:46 
Логичней тогда было бы сравнивать pbzip2 и pxz
Ответить | Правка | Наверх | Cообщить модератору

83. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от Аноним (-), 29-Дек-13, 14:52 
> Логичней тогда было бы сравнивать pbzip2 и pxz

Вот я и не понял - что за читерство?!

Ответить | Правка | Наверх | Cообщить модератору

114. "Kernel.org уходит от распространения архивов с ядром в форма..."  –3 +/
Сообщение от ALex_hha (??), 29-Дек-13, 18:47 
>> давай те начнем с того, что прочтем в чем разница между bzip и pbzip ;)
> Ну да, прикольно - xz поди жмет в 1 поток а pbzip
> в несколько. Такое честное сравнение....

А что у авторов однопроцессорный камень или им религия запрещает использовать pbzip? :D

Ответить | Правка | К родителю #38 | Наверх | Cообщить модератору

153. "Kernel.org уходит от распространения архивов с ядром в форма..."  –1 +/
Сообщение от Аноним (-), 30-Дек-13, 18:38 
>>> давай те начнем с того, что прочтем в чем разница между bzip и pbzip ;)
>> Ну да, прикольно - xz поди жмет в 1 поток а pbzip
>> в несколько. Такое честное сравнение....
> А что у авторов однопроцессорный камень или им религия запрещает использовать pbzip?
> :D

ИБД - Имитация Бурной Деятельности.

Ответить | Правка | Наверх | Cообщить модератору

165. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от Аноним (-), 30-Дек-13, 23:29 
>> в несколько. Такое честное сравнение....
> А что у авторов однопроцессорный камень или им религия запрещает использовать pbzip? :D

Ну тогда и xz надо было параллельный брать. Есть ли параллельный gzip - вот это я не в курсе.


Ответить | Правка | К родителю #114 | Наверх | Cообщить модератору

177. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от Аноним (-), 31-Дек-13, 00:36 
> им религия запрещает использовать pbzip?

Не очень понятно какой в нем смысл при наличии pxz :P.


Ответить | Правка | К родителю #114 | Наверх | Cообщить модератору

126. "Kernel.org уходит от распространения архивов с ядром в форма..."  –1 +/
Сообщение от Sylvia (ok), 30-Дек-13, 00:38 
есть pxz, в 1 поток паковать нужно только с ключиком -9, чтобы учитывались данные со всех блоков
кстати сам формат xz был разработан на основе lzma именно для поддержки многопоточной упаковки
Ответить | Правка | К родителю #38 | Наверх | Cообщить модератору

45. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от BratSinot (ok), 29-Дек-13, 04:05 
А в чем разница между ffmpeg и ffmpeg-mt? Зачем второй нужен?
P.S. Если до сих пор не поняли, то bzip2 однопотоковый, а pbzip2 (что следует из названия) работает в несколько потоков, что, очевидно, прибавляет ему скорости.
Ответить | Правка | К родителю #16 | Наверх | Cообщить модератору

68. "Kernel.org уходит от распространения архивов с ядром в форма..."  +5 +/
Сообщение от Аноним (-), 29-Дек-13, 12:17 
> pbzip2 vs xz

Ух ты, Фороникс таки зарегался на опеннете!

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

113. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от Stax (ok), 29-Дек-13, 18:45 
> # time xz -z linux-3.12.6.tar

Смотря какие настройки. Во-первых, вы забыли включить параллельное сжатие для xz (xz -T) и получили совершенно бредовые цифры (в примере, где у вас отставание по скорости в 20 раз, у меня с включенной параллельностью разница в  раз). Во-вторых, вы забыли задать сопоставимые уровни сжатия.

Вот пример. Тесты проводились в /dev/shm (исключено влияние диска), core i5 2500k OC (4 ядра), динамический turbo выключен - частота одинаковая. Смотрим на real (то, что user > real показывает, что задействовано несколько ядер).

$ time pbzip2 -k linux-3.12.6.tar; du -sb linux-3.12.6.tar.bz2

real    0m9.697s
user    0m37.125s
sys    0m0.881s
91411005    linux-3.12.6.tar.bz2

$ time xz -2 -T 4 -k linux-3.12.6.tar; du -sb linux-3.12.6.tar.xz

real    0m9.849s
user    0m37.886s
sys    0m0.094s
94734180    linux-3.12.6.tar.xz

$ time xz -3 -T 4 -k linux-3.12.6.tar; du -sb linux-3.12.6.tar.xz

real    0m16.258s
user    1m2.099s
sys    0m0.107s
92558076    linux-3.12.6.tar.xz

$ time xz -4 -T 4 -k linux-3.12.6.tar; du -sb linux-3.12.6.tar.xz
real    0m24.919s
user    1m35.865s
sys    0m0.115s
87745068    linux-3.12.6.tar.xz

$ time xz -T 4 -k linux-3.12.6.tar; du -sb linux-3.12.6.tar.xz

real    0m48.961s
user    3m0.249s
sys    0m0.203s
79542264    linux-3.12.6.tar.xz

$ time xz -9 -T 4 -k linux-3.12.6.tar; du -sb linux-3.12.6.tar.xz

real    1m26.409s
user    3m48.686s
sys    0m0.960s
76392132    linux-3.12.6.tar.xz


Итого: у xz можно получить ту же скорость, что и у pbzip2. Получим на 3.6% хуже сжатие.
Работая в 2.5 раз дольше.. эээ.. то есть *НА 16 секунд дольше* мы получаем на 4% лучше сжатие. Работая на 40 секунд дольше - на 15% лучше сжатия. Работая на 76 секунд дольше - почти на 20% лучше сжатие.
Т.е. на низких уровнях сжатия они сравнимы в пределах погрешности (на другом примере xz -2 сжал бы не хуже bzip'а), но bzip2 лучше уже сжать не сможет - а у xz можно увеличивать уровень сжатия и дальше.

Время разжатия во всех случаях примерно одинаковое (порядка 4 секунд на этой машине).

В контексте новости - вы серьезно считаете, что для kernel.org жалко потратить 76 секунд ради уменьшения трафика на 20%?

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

116. "Kernel.org уходит от распространения архивов с ядром в форма..."  –3 +/
Сообщение от ALex_hha (??), 29-Дек-13, 18:51 
> В контексте новости - вы серьезно считаете, что для kernel.org жалко потратить
> 76 секунд ради уменьшения трафика на 20%?

вы думаете они за него платят

Ответить | Правка | Наверх | Cообщить модератору

117. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от Аноним (-), 29-Дек-13, 19:54 
Дело принципа.
Ответить | Правка | Наверх | Cообщить модератору

123. "Kernel.org уходит от распространения архивов с ядром в форма..."  –1 +/
Сообщение от ALex_hha (ok), 29-Дек-13, 22:12 
> Дело принципа.

тогда пусть из принципа откажутся от gz, раз они такие принципиальные

Ответить | Правка | Наверх | Cообщить модератору

124. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от Аноним (-), 29-Дек-13, 22:18 
Но у гзипа другая весовая категория
Ответить | Правка | Наверх | Cообщить модератору

144. "Kernel.org уходит от распространения архивов с ядром в форма..."  –1 +/
Сообщение от ALex_hha (ok), 30-Дек-13, 13:55 
> Но у гзипа другая весовая категория

так дело ж принципа :D

Ответить | Правка | Наверх | Cообщить модератору

178. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от Аноним (-), 31-Дек-13, 02:08 
> так дело ж принципа :D

Он используется как тул который "есть везде". Т.е. fallback.

Ответить | Правка | Наверх | Cообщить модератору

152. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от Аноним (-), 30-Дек-13, 18:14 
> вы думаете они за него платят

а вы давно хостили сайты?
я как погляжу у VEXXHOST есть ограничение на трафик.

Ответить | Правка | К родителю #116 | Наверх | Cообщить модератору

133. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от Xaionaro (ok), 30-Дек-13, 10:45 
У меня результаты по разжатию примерно такие:

/dev/shm$ time pbzip2 -p4 -k -d linux-3.12.6.tar.bz2
real    0m19.028s
user    0m18.800s
sys     0m0.676s

/dev/shm$ time xz -d -k linux-3.12.6.tar.xz
real    0m6.346s
user    0m5.904s
sys     0m0.348s

Ответить | Правка | К родителю #113 | Наверх | Cообщить модератору

140. "Kernel.org уходит от распространения архивов с ядром в форма..."  –1 +/
Сообщение от slowpoke (?), 30-Дек-13, 12:40 
уверены что ваш xz поддерживает многопоточность? например в Debian старая версия которая это не умеет, но в мане написано что многопоточность будет включатся автоматически, те ключ -T необязателен
Ответить | Правка | К родителю #113 | Наверх | Cообщить модератору

143. "Kernel.org уходит от распространения архивов с ядром в форма..."  +1 +/
Сообщение от Andrey Mitrofanov (?), 30-Дек-13, 13:30 
> уверены что ваш xz поддерживает многопоточность? например в Debian старая версия которая
> это не умеет, но в мане написано что многопоточность будет включатся
> автоматически, те ключ -T необязателен

|parallel -P 50% -t --pipe --recend '' -k xz -9e

И да, распаковывается. Только сжатие хуже однопоточного - соседние  xz друг о друге не знают. И не факт, что быстрее -- perl в этом GNU parallel тормоз какой-то. И -9e может многовато оказаться - по умолчанию 1M нарезка. Итд-ипт.

Ответить | Правка | Наверх | Cообщить модератору

145. "Kernel.org уходит от распространения архивов с ядром в форма..."  –1 +/
Сообщение от ALex_hha (ok), 30-Дек-13, 13:57 
> Время разжатия во всех случаях примерно одинаковое (порядка 4 секунд на этой
> машине).
> В контексте новости - вы серьезно считаете, что для kernel.org жалко потратить
> 76 секунд ради уменьшения трафика на 20%?

если цель была экономия трафика, в чем я очень сомневаюсь, надо было отказаться от gz. Экономия бы была намного больше.

Ответить | Правка | К родителю #113 | Наверх | Cообщить модератору

166. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от Аноним (-), 30-Дек-13, 23:32 
> если цель была экономия трафика, в чем я очень сомневаюсь, надо было
> отказаться от gz. Экономия бы была намного больше.

Все просто. Bzip свое отлетал - по общей неактуальности его параметров. Соотношение скорости работы к плотности сжатия фиговое, что для архиватора достаточно фатально когда появляется конкурент который при сравнимой скорости жмет плотнее или быстрее жмет при сравнимой упаковке.

По каким-то таким причинам LZMA прилично потеснил всех в "тяжеловесном" сегменте, а в "скоростном" набирает популярность LZ4. Первый хорошо жмет, не очень тормозя при этом и относительно быстро декомпрессуется (как и любой иной LZ). Второй "как-то жмет" но зато скорость - турбореактивная.

Ответить | Правка | Наверх | Cообщить модератору

21. "Kernel.org уходит от распространения архивов с ядром в форма..."  –1 +/
Сообщение от имя (?), 28-Дек-13, 23:16 
> - Кому надо скорость, gzip в разы быстрее.

Ждём архивов в lzo, чего уж там!

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

52. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от X (?), 29-Дек-13, 06:44 
Тогда уж lz4.
Ответить | Правка | Наверх | Cообщить модератору

57. "Kernel.org уходит от распространения архивов с ядром в форма..."  –4 +/
Сообщение от Led (ok), 29-Дек-13, 07:17 
> Тогда уж lz4.

Ты хочешь сказать, что lz4 быстрее? Садись - "два", готовся, приходи на пересдачу.

Ответить | Правка | Наверх | Cообщить модератору

84. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от Аноним (-), 29-Дек-13, 14:53 
> Ты хочешь сказать, что lz4 быстрее?

В среднем по больнице - немного быстрее вроде как на большинстве данных. Хотя на тарболе с кернелом - это мерять надо.

Ответить | Правка | Наверх | Cообщить модератору

120. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от pavlinux (ok), 29-Дек-13, 21:25 
lz4 быстрее всех разжимает, но коэфф. сжатия у него хреновый.
Ответить | Правка | Наверх | Cообщить модератору

167. "Kernel.org уходит от распространения архивов с ядром в форма..."  +2 +/
Сообщение от Аноним (-), 30-Дек-13, 23:34 
> lz4 быстрее всех разжимает, но коэфф. сжатия у него хреновый.

Ну и LZO из той же оперы примерно. В среднем по больнице LZ4 немного шустрее и немного лучше жмет. Но сие сильно зависит от данных, неудачные и удачные случаи могут отличаться.

Ответить | Правка | Наверх | Cообщить модератору

128. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от pavlinux (ok), 30-Дек-13, 01:04 

$ time lz4c -z9 /media/kernel/linux-3.12.6.tar linux-3.12.6.tar.lz4

Read : 518 MB  ==> 24.96%   Compressed 544061440 bytes into 135784253 bytes ==> 24.96%

real    0m34.178s
user    0m27.778s
sys     0m1.100s


---
Разжимаем;

$ time lz4 -d linux-3.12.6.tar.lz4
Decoding file linux-3.12.6.tar
Successfully decoded 544061440 bytes                          

real    0m2.361s
user    0m1.245s
sys     0m1.089s

2.3 секунды. :)
---
XZ


$ time xz -T4 -z9 linux-3.12.6.tar

real    3m55.152s
user    9m57.632s
sys     0m6.694s

$ time xz -T4 -d linux-3.12.6.tar.xz

real    0m9.360s
user    0m8.477s
sys     0m0.822s

По размеру, XZ жмёт в 1.78 раз лучше LZ4.

Ответить | Правка | К родителю #84 | Наверх | Cообщить модератору

129. "Kernel.org уходит от распространения архивов с ядром в форма..."  –1 +/
Сообщение от pavlinux (ok), 30-Дек-13, 01:41 
>> Ты хочешь сказать, что lz4 быстрее?
> В среднем по больнице - немного быстрее вроде как на большинстве данных.

Ага, немного, примерно в 4 раза быстрее. :)

> Хотя на тарболе с кернелом - это мерять надо.

.

Ответить | Правка | К родителю #84 | Наверх | Cообщить модератору

179. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от Аноним (-), 31-Дек-13, 02:10 
> Ага, немного, примерно в 4 раза быстрее. :)

Чем LZO? Ты, кажется, LZMA померял. Перечитай исходное сообщение и осознай что облажался.

Ответить | Правка | Наверх | Cообщить модератору

190. "Kernel.org уходит от распространения архивов с ядром в форма..."  +/
Сообщение от Led (ok), 08-Янв-14, 00:50 
>> Ты хочешь сказать, что lz4 быстрее?
> В среднем по больнице - немного быстрее вроде как на большинстве данных.
> Хотя на тарболе с кернелом - это мерять надо.

Так померяй. Я померял, потому и говорю, что lz4 нисколько не быстрей, чем последний оптимизированный lzo (по крайней мере, на x86)

Ответить | Правка | К родителю #84 | Наверх | Cообщить модератору

147. "Kernel.org уходит от распространения архивов с ядром в форма..."  –2 +/
Сообщение от annulen (ok), 30-Дек-13, 14:23 
>Кому надо крутое сжатие, xz жмет лучше и работает быстрее, особенно декомпрессия.

Тем не менее, bzip2 расходует намного меньше памяти на декомпрессию, которая для xz просто бешено растет при увеличении размера файла.

http://pokecraft.first-world.info/wiki/Quick_Benchmark:_Gzip...

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

168. "Kernel.org уходит от распространения архивов с ядром в форма..."  +1 +/
Сообщение от Аноним (-), 30-Дек-13, 23:36 
> Тем не менее, bzip2 расходует намного меньше памяти на декомпрессию, которая для
> xz просто бешено растет при увеличении размера файла.

xz не расходует много памяти на декомпрессию. Лишь размер словаря + еще немного, насколько я помню. Вот для сжатия с тем же размером словаря памяти надо здорово больше и аппетит по мере увеличения словаря растет быстро.

Ответить | Правка | Наверх | Cообщить модератору

192. "Kernel.org уходит от распространения архивов с ядром в форма..."  –1 +/
Сообщение от annulen (ok), 09-Янв-14, 16:46 
> xz не расходует много памяти на декомпрессию.

По ссылке выше факты, опровергающие это.

>Вот для сжатия с тем же размером словаря памяти надо здорово больше и аппетит по мере увеличения словаря растет быстро.

Да - быстрее, чем для декомпрессии.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру