Следом за анонсированным (http://www.opennet.me/opennews/art.shtml?num=41534) алгоритмом сжатия ZSTD, Рич Гелдридж (Rich Geldreich (https://www.blogger.com/profile/14358203173986928600)), работавший в компании Valve, принимавший участие в разработке ряда известных компьютерных игр и развивающий несколько проектов по сжатию текстур, представил (http://richg42.blogspot.ru/2015/01/lzham-v10-released-on-git... первый стабильный релиз собственной системы сжатия LZHAM 1.0 (https://github.com/richgel999/lzham_codec), созданной в рамках проекта по разработке эффективного кодека для сжатия ресурсов, поставляемых в составе игровых приложений. Код реализации LZHAM написан на языке С++ и поставляется под лицензией MIT.LZHAM предназначен для достижения как можно более высокой степени сжатия и обеспечения высокой скорости распаковки, за счёт требующей интенсивных вычислений стадии сжатия. По уровню сжатия и скорости упаковки реализация LZHAM сравнима с LZMA (https://ru.wikipedia.org/wiki/LZMA), но по скорости распаковки опережает LZMA в 1.5-8 раз. Упаковка производится достаточно медленно и требует больших ресурсов, что ограничивает алгоритм применением для областей, в которых необходимо часто и очень быстро распаковывать один раз упакованные данные.
<center><a href="http://2.bp.blogspot.com/-wWmNkWXrrWs/VLw30RTFGqI/AAAAAAAAAh... src="http://www.opennet.me/opennews/pics_base/0_1422210609.png" style="border-style: solid; border-color: #606060; border-width: 1px;max-width:100%;" title="" border=0></a></center>
Попытки сравнения LZHAM с ZSTD Рич Гелдридж прокомментировал (http://fastcompression.blogspot.ru/2015/01/zstd-stronger-com... тем, что данные методы нацелены на разные области применения и занимают разные ниши. LZHAM ориентирован на обеспечение максимально возможного уровня сжатия, в то время как ZSTD пытается найти оптимальный баланс между эффективностью и скоростью. Обе системы поддерживают совместимый с zlib API. По эффективности сжатия LZHAM опережает ZSTD, а по скорости декодирования немного отстаёт от ZSTD. По скорости кодирования LZHAM в 8 раз отстаёт от ZSTD и не может использоваться для сжатия потоков на лету, подходя лишь для offline-применения. При этом Рич Гелдридж намерен перейти на использование созданного автором ZSTD кода обработки энтропии FSE (https://github.com/Cyan4973/FiniteStateEntropy) (Finite State Entropy), реализация которого значительно проще.<center><a href="http://1.bp.blogspot.com/-mDFy_87-59Q/VL3clWADU_I/AAAAAAAAAj... src="http://www.opennet.me/opennews/pics_base/0_1422210670.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>
URL: http://richg42.blogspot.ru/2015/01/lzham-v10-released-on-git...
Новость: http://www.opennet.me/opennews/art.shtml?num=41536
Неделя алгоритмов сжатия?
Астрологи объявили и т.д. и т.п.
Автору LZHAM просто обидно стало, что он три года альфа-версии выпускал и готовился к релизу, а Ян взял и без лишних прелюдий выпустил новый кодек-бомбу, который не намного хуже сжимает, быстрее разжимает и кардинально быстрее сжимает.
Да вообще-то Рик никогда за скоростью сжатия и не гонялся - он это для игрушечников в основном делает. Этим роялит скорость загрузки сцен и времена даунлоада, но совершенно пофигу сколько оно там сжиматься будет.
Все чёта бегают с этими сжимальщиками, будто у них винда на дискетку не помещается! Люди, вы чо? :) Диски уже ТЕРАБАЙТНЫЕ, места - хоть *опой ешь!
Это крупным датацентрам нужны сжатия, а мы можем не беспокоиться.
Да ну? А как вам игры по 50 гигов? Это же пипец и унижение моего интернета.
> Да ну? А как вам игры по 50 гигов? Это же пипец
> и унижение моего интернета.С моим полторамегабитом домашним это васчеее издевательство! ))
Завидую. У меня 450 кбит.
> Завидую. У меня 450 кбит.а лет 7-8 назад у мну сидел один офис 10 человек на 128к с активным серфингом, почтой и т.д. И хватало... а ща титул почти любого сайта полметра не меньше ...
Ага... скорости растут, а сайты грузятся медленнее чем 20 лет назад на диалапе.
> Ага... скорости растут, а сайты грузятся медленнее чем 20 лет назад
> на диалапе.вот и я о том же ... потому что быдлокодерам пофег, им бы побольше говна на сайте типа банеров и т.д. ))
>> Ага... скорости растут, а сайты грузятся медленнее чем 20 лет назад
>> на диалапе.
> вот и я о том же ... потому что быдлoкодерам пофег, им
> бы побольше гoвна на сайте типа банеров и т.д. ))Баннеров?! Секи сюда!
/data/cache/d3/01/79/0001790C 0 93354 http://venturecdn.com/favicon.ico
Это размер в БАЙТАХ favicon!
> Баннеров?! Секи сюда!
> /data/cache/d3/01/79/0001790C 0 93354 http://venturecdn.com/favicon.ico
> Это размер в БАЙТАХ favicon!OMG, да уж, куда там этим банерам после такого ... хорошо было когда тайтлы столько весели
> Да ну? А как вам игры по 50 гигов? Это же пипец
> и унижение моего интернета.Не ты ли вопил, что с безлимитной оптикой тебе все пофигу, а кэширующие прокси вообще в пень не впёрлись? М?
>мы можем не беспокоитьсяну так для тебя^W вашего виличиства это и не предназначалось
> Все чёта бегают с этими сжимальщиками, будто у них винда на дискетку не помещается! Люди, вы чо? :) Диски уже ТЕРАБАЙТНЫЕ, места - хоть *опой ешь!Во-первых, "все" это не ты, который компьютер использует как печатную машинку. Понятно что тебе терабайта для пасьянса и очередного романа про мопсов хватает с лихвой.
Во-вторых, если уж мы о дисках, они более медленные чем мелкие по объёму. Ферштейн? Это значит что сжатый раздел работает быстрее. И будет ещё быстрее с новыми алгоритмами.> Это крупным датацентрам нужны сжатия, а мы можем не беспокоиться.
В-третьих, кто тебе вообще сказал что речь о тебе?
Про сеть не слышали? Там, говорят, какие-то протоколы есть, загрузка канала, пропускная способность? Не слышали? Ну и хорошо, спите, не беспокойтесь. Алгоритмы сжатия - да, пустое место, не обращайте внимания.
Задача сети - передать что дают, а не изображать из себя архиватор, брать на себя чужие роли. Сжимать могут и отправители/получатели, если им это действительно нужнО.
> Задача сети - передать что дают, а не изображать из себя архиватор,
> брать на себя чужие роли. Сжимать могут и отправители/получатели, если им
> это действительно нужнО.Иди, заяви это разрабам mod_gzip. Намякнуто ясно?
Минусую и присоединяюсь к выше высказавшимся критикам.
Esli u tebya gigabaytnie dannie kazdiy den i ix nuzno szimat u arxiwirowat - to tut uz tebe nuzno chto to pobistreeI eshe, na serverax netakie uz i deshewie diski stoyat i ne te samie kotorie u tebya w kompe stoit.
W danniy moment archive zanimaet bolshe mesta chem uze sami realnie dannie za den, a archivirowat nuzno bistro i silno.
Граммар-наци, убейте поциена!
> Это крупным датацентрам нужны сжатия, а мы можем не беспокоиться.Ну вот вы и не бегайте. Стойте в стойле, кушайте сено. Чего вы сюда то пишете? Тут народ поумнее вас - алгоритмами интересуются и думать пытаются. Как минимум некоторые.
Прозвучало как оскорбление.
>Прозвучало как оскорбление.Тебе показалось.
1. ТБ -- это не так много (всего 10 раз по ~100ГБ).
2. Чем сильнее сжат файл, тем с меньшей нагрузкой на диск можно его полностью прочесть. Вы когда-нибудь пробовали смотреть "несжатые фильмы"?
3. Чем сильнее сжат файл, тем быстрее его можно будет передать по сети.
4. <captain>Чем меньше жрёт CPU, тем лучше.</captain>
5. Поддержка delta-изменений интересна мне для большой ниши проблем (как и по работе, так и для дома).
6. Почему только крупным датацентрам? IMHO, любым это интересно. Да и не только датацентрам.
7. Как будто среди пользователей OpenNet нет сотрудников крупных датацентров.Думаю хватит, пока.
А вообще я удивляюсь. Вы во всех своих комментариях такую ахинею несёте. Это какой-то новый вид троллинга?
> А вообще я удивляюсь. Вы во всех своих комментариях такую ахинею несёте.
> Это какой-то новый вид троллинга?Нет, новый вид медицинской психиатрии ...
Комп нужен не только для того, что-бы фигню постить.
На чтение и распаковку сжатого файла с винчестера тратится ощутимо меньше времени, чем на чтение несжатого файла. Сжатый в 2 раза файл скачается в 2 раза быстрее несжатого. И тут не важно какая скорость интернета у пользователя - качество услуги повышается за бесплатно. Вот все и бугают с "этими сжимальщиками".
Более того, сейчас всё идет к сжатию данных в оперативной памяти, доступ к которой по прежнему очень медленный и занимает сотни тактов процессора.
> Более того, сейчас всё идет к сжатию данных в оперативной памяти, доступ
> к которой по прежнему очень медленный и занимает сотни тактов процессора.Пардонте, но куда при этом вы поместите РАСПАКОВАННЫЕ данные?
Распаковка прозрачно выполняется при чтении аппаратно, а сжание, соотв-но, при записи. В последних GPU Nvidia таким образом сжимается фреймбуфер, например.
Причем тут диски?
Эти алгоритмы для игр заточены, что бы как можно быстрей текстуры в память выбрасывать, что бы у игрунов fps высоким был, а не слайд-шоу.
> Причем тут диски?
> Эти алгоритмы для игр заточены, что бы как можно быстрей текстуры в
> память выбрасывать, что бы у игрунов fps высоким был, а не
> слайд-шоу.Нет, это другое сжатие. То, что в сабже - это действительно для дисков и сети.
> Нет, это другое сжатие. То, что в сабже - это действительно для
> дисков и сети.За алгоритмом сжатия для игр - это вам к Линусу.
Диски-то терабайтные, а вот каналы - нет.
Когда передаёшь /etc по EDGE куда-нибудь в Тюхтет, разница между 50 МБ и 5 МБ ощущается очень сильно.
А ещё я знаю историю о том, как syslog-сервер таки не поместился в терабайт.
Вас, опенсорсников, не понять.Вышел новый релиз Sysvinit. "Выкинуть, нет существенных изменений!"
Вышел новый релиз tinyinit 0.01 "Ух ты как бурно развивается, скоро уже сможет загружать что-нибудь сложнее сервера печати. Однозначно нужно для всякой там эмбедевшины!"
Вышел новый релиз LZMA. "Не нужно, выкинуть, XZ жмёт на 0,00001% лучше при всего лишь трёхкратном использовании CPU!"
Вышел новый релиз LZMAM. "Однозначно нужно, сейчас очень важно жать быстро! И пофиг что низкая эффективность, жёсткие диски сейчас большие!"
> Вас, опенсорсников, не понять.
> Вышел новый релиз Sysvinit. "Выкинуть, нет существенных изменений!"
> Вышел новый релиз tinyinit 0.01 "Ух ты как бурно развивается, скоро уже
> сможет загружать что-нибудь сложнее сервера печати. Однозначно нужно для всякой там
> эмбедевшины!"
> Вышел новый релиз LZMA. "Не нужно, выкинуть, XZ жмёт на 0,00001% лучше
> при всего лишь трёхкратном использовании CPU!"
> Вышел новый релиз LZMAM. "Однозначно нужно, сейчас очень важно жать быстро! И
> пофиг что низкая эффективность, жёсткие диски сейчас большие!"К чему вы это всё? Не знаю, удивит ли это, но каждый имеет какое-то своё мнение. А вы тупо в кучу перемешали какие-то случайные (или даже выдуманные) позиции по разным вопросам. Что именно вы не можете понять?
Уже по вводному понятно, что: "почему вы такие умные, а строем не ходите?"
