forum.opennet.ru - "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и уровню сжатия структурированных данных" (62)

"Система сжатия OpenZL, опережающая Zstd и XZ по скорости и уровню сжатия структурированных данных"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Система сжатия OpenZL, опережающая Zstd и XZ по скорости и уровню сжатия структурированных данных"	+/–
Сообщение от opennews (??), 09-Окт-25, 13:01
Компания Meta* представила инструментарий для сжатия и распаковки данных OpenZL, по сравнению с форматами Zstd и XZ демонстрирующий более высокий уровень сжатия и скорость работы. OpenZL разработан для эффективного сжатия структурированных наборов данных, например, применяемых при машинном обучении, а также хранилищ, содержащих поля с различными повторяющимися типами информации. Код OpenZL написан на C/C++ и открыт под лицензией BSD... Подробнее: https://www.opennet.me/opennews/art.shtml?num=64019
Ответить \| Правка \| Cообщить модератору

Оглавление

Скрыто модератором, Аноним (1), 13:01 , 09-Окт-25, (1) –9

Скрыто модератором, анонимно (?), 13:09 , 09-Окт-25, (3) +9

Скрыто модератором, анон (?), 13:31 , 09-Окт-25, (9) +2

Скрыто модератором, Эффективный менеджер (?), 14:34 , 09-Окт-25, (28) –1

Скрыто модератором, Аноним (1), 13:41 , 09-Окт-25, (11) +1

Скрыто модератором, Аноним (20), 14:02 , 09-Окт-25, (20) +1

Скрыто модератором, Аноним (54), 18:24 , 09-Окт-25, (54) +1

Скрыто модератором, Аноним (4), 13:11 , 09-Окт-25, (4) +1

Скрыто модератором, Аноним (1), 13:42 , 09-Окт-25, (12)

Скрыто модератором, fz (?), 14:07 , 09-Окт-25, (22) +1

Скрыто модератором, Аноним (38), 16:12 , 09-Окт-25, (38)

Скрыто модератором, JakauBahuslau (?), 14:08 , 09-Окт-25, (23) +4

Скрыто модератором, Zzz (??), 14:41 , 09-Окт-25, (31) +1

Скрыто модератором, Аноним (33), 14:49 , 09-Окт-25, (33)

Скрыто модератором, Аноним (32), 14:43 , 09-Окт-25, (32) –1

Скрыто модератором, ИмяХ (ok), 19:11 , 09-Окт-25, (58)

Скрыто модератором, Аноним (49), 17:10 , 09-Окт-25, (49)

Интересно, чем им Kaitai Struct не угодил По описанию вроде почти одно и то же , Мемоним (?), 13:16 , 09-Окт-25, (6)

Там есть крайне фатальный недостаток 8211 его писали не они , Жироватт (ok), 13:25 , 09-Окт-25, (8) +2

Ага Они то могут в сериализацию А Kaitai Struct пока только серят , Аноним (-), 14:30 , 09-Окт-25, (25) –2

Katai Struct до сих пор не умеет в де сериализацию Фатальный недостаток , anonymous (??), 13:53 , 09-Окт-25, (14)

ну вот, могли бы исправить , Аноним (17), 13:58 , 09-Окт-25, (17)

Могли Но это нужно идти к каким-то васянам, предлагать свои патчи, оформлять как, Аноним (-), 14:33 , 09-Окт-25, (27) +1

да, не посмотрел, что у kaitai struct неудобная лицензия, Аноним (17), 16:05 , 09-Окт-25, (37) –1

Неудобная для проприерастов , Аноним (44), 16:53 , 09-Окт-25, (44) +1

Я имел в виду только язык описания структур А генератор могли бы свой уже писат, Мемоним (?), 15:39 , 09-Окт-25, (34)

Свой DSL написать таки проще чем kaitai поддерживать, просто потому что в kaitai, morphe (?), 04:27 , 10-Окт-25, (71)

Это абсолютно не важно То что он не умеет на самом деле умеет, просто рудимент, Аноним (53), 18:08 , 09-Окт-25, (53)

Т е её ещё и обучать надо Перед упаковкой Файлы как набор структурированных да, Жироватт (ok), 13:23 , 09-Окт-25, (7) +1
А чего не сравнили с непрерывном методом сжатия solid archive rar архивов Он , Аноним (10), 13:40 , 09-Окт-25, (10) +2

Кто за него готов хоть три копейки заплатить И ещё заново вложиться в популяриз, ахахахаха (?), 13:58 , 09-Окт-25, (16) +1

Вендузятникам и так хорошо, это убогие линуксоиды страдают из-за лицензий , Ан248ним (?), 16:41 , 09-Окт-25, (41) –3

А может наоборот Из открытого достояния приватизировать в частное владение Я бы, Эффективный менеджер (?), 14:01 , 09-Окт-25, (19) –4
Зачем покупать Игорь Павлов смог с 7зип реализовать свой них синдром Дерзайте , Аноним (32), 14:17 , 09-Окт-25, (24) +3
У него нет дедупликации по факту, только частичная На и в целом zpaq поинтересн, Аноним (33), 14:41 , 09-Окт-25, (30) +1
Много кто отлично сжимает, мало кто умеет делать это БЫСТРО Это вот сейчас к ком, Аноним (36), 15:52 , 09-Окт-25, (36) +1
а чем вам tar что-то еще , появившийся за 10 до rar, не угодил , Андрей (??), 18:47 , 09-Окт-25, (57)

Тут стоило бы сходу крыть аргументом что rar это просто мешанина файлов для юзер, аноним12 (?), 19:19 , 09-Окт-25, (60)

А можно вспомнить, что tar 8212 это рудимент времён ленточных накопителей , Аноним (66), 23:07 , 09-Окт-25, (66)

Чёт ничего лучше так и не придумали Ленточные накопители до сих пор самый надёж, Аноним (33), 23:30 , 09-Окт-25, (68)

Ага, и архивируют на них tar ом , Аноним (66), 23:41 , 09-Окт-25, (69)

Ну в том числе таром Лично я тар использую везде и для всего, другого варианта , Аноним (33), 23:46 , 09-Окт-25, (70)

Дедупликация в tar это сомнительной живости клон Но вот гну тар действительно н, Аноним (33), 23:26 , 09-Окт-25, (67)

Ну вообще-то да, если знать структуру данных можно пожать гораздо лучше чем общи, Аноним (13), 13:47 , 09-Окт-25, (13)
Отлично Ждём в BTRFS , Аноним (15), 13:54 , 09-Окт-25, (15)

Не является универсальным, на уровне файлухи работать не будет Не ждите , ахахахаха (?), 13:59 , 09-Окт-25, (18) +3

Бинарник в разы больше, чем у zstd или 7-zip ls -l usr bin zli-rwxr-xr-x 1 roo, Аноним (26), 14:31 , 09-Окт-25, (26)

zli --versionzstrong-cli version 0 1 zli list-profilesAvailable profiles - , Аноним (26), 14:34 , 09-Окт-25, (29) –1

Ну так не zli ни list-profiles ни другие файлы, зачем ты это делаешь, вот они у , аноним12 (?), 19:32 , 09-Окт-25, (61)

Могли бы не выпендриваться и Kaitai Struct взять, или DFDL , Аноним (49), 16:38 , 09-Окт-25, (40)
До PNG никогда не доберётся - там стандарт раз в 20 лет выходит Пока новый стан, Аноним (49), 17:03 , 09-Окт-25, (46)
Скрыто модератором, Аноним (-), 17:08 , 09-Окт-25, (48) +1
Сборочная система крайне уродская - для того, чтобы собрать колесо для Python, н, Аноним (49), 17:49 , 09-Окт-25, (51) +1

4 libzstd они таки линкуют статически Вообще не понятно какого хрена она в кол, Аноним (53), 17:56 , 09-Окт-25, (52)

Могли бы и расширение для onnx сделать, а не NIH городить libonnx - это только , Аноним (55), 18:25 , 09-Окт-25, (55)
Это как в том анекдоте Сжимает хорошо и быстро, а разжимать мы пока не научилсь, Аноним (54), 18:25 , 09-Окт-25, (56) +1
Звездёж HTML избыточен, там эскейпинг, entities, отступы, встроенный base64, и , Аноним (55), 19:15 , 09-Окт-25, (59)

какой еще встроенный base64 HTML это дистилированный XML1 1 без неймспейсов и п, аноним12 (?), 19:49 , 09-Окт-25, (62)

Вот пример отсюда https openzl org api c graphs sddl bitmap-imagesА вот резу, Аноним (55), 20:52 , 09-Окт-25, (64)
а никого не смущает пейсбук git clone --depth 1 -b release https github com fa, penetrator (?), 21:37 , 09-Окт-25, (65)

Никого не смущает Meta , openssh_user (ok), 06:13 , 10-Окт-25, (73)

7zip жмёт структурированные данные как мегатонный пресс, в зависимости от данных, Аноним (72), 06:12 , 10-Окт-25, (72)

Сообщения [Сортировка по времени | RSS]

1. Скрыто модератором –9 +/–

Сообщение от Аноним (1), 09-Окт-25, 13:01

Так все красочно и вкусно. А закладки с бэкдорами прилагаются?

Ответить | Правка | Наверх | Cообщить модератору

3. Скрыто модератором +9 +/–

Сообщение от анонимно (?), 09-Окт-25, 13:09

конечно, именно поэтому код открыт, ага

Ответить | Правка | Наверх | Cообщить модератору

9. Скрыто модератором +2 +/–

Сообщение от анон (?), 09-Окт-25, 13:31

то что код открыт, не означает, что в нем найдут закладку

Ответить | Правка | Наверх | Cообщить модератору

28. Скрыто модератором –1 +/–

Сообщение от Эффективный менеджер (?), 09-Окт-25, 14:34

То что в нем найдут закладку равна коэффициенту популярности языка программирования - Виликая Python лучше всех!

Ответить | Правка | Наверх | Cообщить модератору

11. Скрыто модератором +1 +/–

Сообщение от Аноним (1), 09-Окт-25, 13:41

xz тоже был открыт, ага

Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

20. Скрыто модератором +1 +/–

Сообщение от Аноним (20), 09-Окт-25, 14:02

Но Jia Tan в проектировании формата участия не принимал и изначально код не писал. Решил лишь подрихтовать сбочный скрипт.

Ответить | Правка | Наверх | Cообщить модератору

54. Скрыто модератором +1 +/–

Сообщение от Аноним (54), 09-Окт-25, 18:24

И в чём он не прав?

Ответить | Правка | Наверх | Cообщить модератору

4. Скрыто модератором +1 +/–

Сообщение от Аноним (4), 09-Окт-25, 13:11

сам посмотрим - https://github.com/facebook/openzl

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

12. Скрыто модератором +/–

Сообщение от Аноним (1), 09-Окт-25, 13:42

xz тоже был открыт

Ответить | Правка | Наверх | Cообщить модератору

22. Скрыто модератором +1 +/–

Сообщение от fz (?), 09-Окт-25, 14:07

как страшно жить то...
шарахайтесь теперь от любого кода

Ответить | Правка | Наверх | Cообщить модератору

38. Скрыто модератором +/–

Сообщение от Аноним (38), 09-Окт-25, 16:12

Не от любого, а от даров данайцев.

Ответить | Правка | Наверх | Cообщить модератору

23. Скрыто модератором +4 +/–

Сообщение от JakauBahuslau (?), 09-Окт-25, 14:08

В xz закладку нашли за две тестовые версии, так что если там действительно что-то есть, то тоже быстро найдут

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

31. Скрыто модератором +1 +/–

Сообщение от Zzz (??), 09-Окт-25, 14:41

К сожалению, нашли случайно из-за CPU overload. Если б китайцы аккуратнее свой имплант написали, то далеко не факт, что обнаружили быстро.

Ответить | Правка | Наверх | Cообщить модератору

33. Скрыто модератором +/–

Сообщение от Аноним (33), 09-Окт-25, 14:49

Это "поляки" были ж, при чём тут китайцы?

Ответить | Правка | Наверх | Cообщить модератору

32. Скрыто модератором –1 +/–

Сообщение от Аноним (32), 09-Окт-25, 14:43

Потому что васян с кор2дуба заметил как проц грузили типичные задачи с зксзед и обратился к профи из Майкрософт,который и выяснил в чем дело? Великий опенсурс!

Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

58. Скрыто модератором +/–

Сообщение от ИмяХ (ok), 09-Окт-25, 19:11

То что закладка в xz лежала долгие годы - следствие лишь твоей личной лени и некомпетентности.

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

49. Скрыто модератором +/–

Сообщение от Аноним (49), 09-Окт-25, 17:10

Да, прилагаются. Они там свой ЯП развели!

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

6. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Мемоним (?), 09-Окт-25, 13:16

> Simple Data Description Language
Интересно, чем им Kaitai Struct не угодил. По описанию вроде почти одно и то же.

Ответить | Правка | Наверх | Cообщить модератору

8. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +2 +/–

Сообщение от Жироватт (ok), 09-Окт-25, 13:25

Там есть крайне фатальный недостаток – его писали не они!

Ответить | Правка | Наверх | Cообщить модератору

25. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." –2 +/–

Сообщение от Аноним (-), 09-Окт-25, 14:30

Ага.
Они то могут в сериализацию.
А Kaitai Struct пока только серят.

Ответить | Правка | Наверх | Cообщить модератору

14. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от anonymous (??), 09-Окт-25, 13:53

Katai Struct до сих пор не умеет в (де)сериализацию. Фатальный недостаток.

Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

17. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (17), 09-Окт-25, 13:58

ну вот, могли бы исправить :)

Ответить | Правка | Наверх | Cообщить модератору

27. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +1 +/–

Сообщение от Аноним (-), 09-Окт-25, 14:33

Могли.
Но это нужно идти к каким-то васянам, предлагать свои патчи, оформлять как тем хочется...
Или сделать свое, в котором ты сам себе хозяин.

Ответить | Правка | Наверх | Cообщить модератору

37. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." –1 +/–

Сообщение от Аноним (17), 09-Окт-25, 16:05

да, не посмотрел, что у kaitai struct неудобная лицензия

Ответить | Правка | Наверх | Cообщить модератору

44. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +1 +/–

Сообщение от Аноним (44), 09-Окт-25, 16:53

Неудобная для проприерастов.

Ответить | Правка | Наверх | Cообщить модератору

34. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Мемоним (?), 09-Окт-25, 15:39

Я имел в виду только язык описания структур. А генератор могли бы свой уже писать, хоть с сериализацией, хоть без. Всяко проще чем с нуля изобретать.

Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

71. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от morphe (?), 10-Окт-25, 04:27

Свой DSL написать таки проще чем kaitai поддерживать, просто потому что в kaitai слишком дофига всего есть
По той же причине у kaitai нет собственных нормальных генераторов

Ответить | Правка | Наверх | Cообщить модератору

53. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (53), 09-Окт-25, 18:08

Это абсолютно не важно. То что он не умеет (на самом деле умеет, просто рудиментарно, что характерно - для тупых случаев вроде того, что обрабатывает OpenZL - как раз умеет!) в сериализацию (а в десериализацию он как раз умеет) - это абсолютно иррелевантно, так как они не собирались использовать ни компилятор KS (который требует JVM!), ни производимые им артефакты (исходник на различных языках). На самом деле им KS не подошёл потому, что им был нужен язык не только для описания форматов, но и для описания своих пайплайнов. Я полагаю (git не проверял), что они сначала сделали язык для описания своих пайплайнов, а потом уже прикрутили туда описание форматов, как ещё одну голову у Горыныча, на тот же язык, и чтобы не городить 10 языков в одном приложении - туда же в тот же синтаксис засунули описание форматов. Грязно, но практично.

Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

7. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +1 +/–

Сообщение от Жироватт (ok), 09-Окт-25, 13:23

Т.е. её ещё и обучать надо? Перед упаковкой.
Файлы как набор структурированных данных жуёт или только жмёт один файл как хранилище?
> команду "zli train"
Результат СЕЙЧАС насколько зависит от версии и от машины, на которой формируется профиль?

Ответить | Правка | Наверх | Cообщить модератору

10. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +2 +/–

Сообщение от Аноним (10), 09-Окт-25, 13:40

А чего не сравнили с непрерывном методом сжатия (solid archive) rar архивов? Он уже отлично сжимал повторяющиеся данные лет 25 назад.
p.s. а лучше бы вообще уже выкупили rar у Рошала и сделали бы алгоритм открытым и бесплатным.

Ответить | Правка | Наверх | Cообщить модератору

16. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +1 +/–

Сообщение от ахахахаха (?), 09-Окт-25, 13:58

Кто за него готов хоть три копейки заплатить? И ещё заново вложиться в популяризацию. Просто чтобы ванаби виндузятник порадовался?

Ответить | Правка | Наверх | Cообщить модератору

41. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." –3 +/–

Сообщение от Ан248ним (?), 09-Окт-25, 16:41

Вендузятникам и так хорошо, это убогие линуксоиды страдают из-за лицензий.

Ответить | Правка | Наверх | Cообщить модератору

19. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." –4 +/–

Сообщение от Эффективный менеджер (?), 09-Окт-25, 14:01

А может наоборот? Из открытого достояния приватизировать в частное владение.
Я бы запантетовал колесо, алфавит и т.д. А то ишь, пользуетесь бесплатно! А разработчики чем будут питаться? Им тоже надо на хлеб с маслом!!1!
Нажо выдать ЖКХ право дарить людей! Не нравиться - прокладыватйте труб к своему дому сами! А платить по раздельному тарифу, в ванной - по аналогии с сотовыми оператороми, покупаете "пакет" литров.
Тех в провайдерам интернета надо выдать право банить людей за блокировку рекламы, торренты и подозрительую активность... А ещё лучше сделать реестр недобосовечных лиц.

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

24. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +3 +/–

Сообщение от Аноним (32), 09-Окт-25, 14:17

Зачем покупать? Игорь Павлов смог с 7зип реализовать свой них синдром. Дерзайте и вы.

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

30. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +1 +/–

Сообщение от Аноним (33), 09-Окт-25, 14:41

У него нет дедупликации по факту, только частичная. На и в целом zpaq поинтересней, он лучше комбинации lzss с ppmd. Lrzip, к примеру, действительно дедуплицирует, и легко может обойти и 7z, и, тем более, rar.

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

36. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +1 +/–

Сообщение от Аноним (36), 09-Окт-25, 15:52

> А чего не сравнили с непрерывном методом сжатия (solid archive) rar архивов? Он уже отлично сжимал повторяющиеся данные лет 25 назад.
Много кто отлично сжимает, мало кто умеет делать это БЫСТРО.
> p.s. а лучше бы вообще уже выкупили rar у Рошала и сделали бы алгоритм открытым и бесплатным.
Это вот сейчас к кому обращено было?

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

57. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Андрей (??), 09-Окт-25, 18:47

а чем вам tar+<что-то еще>, появившийся за 10 до rar, не угодил ?

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

60. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от аноним12 (?), 09-Окт-25, 19:19

Тут стоило бы сходу крыть аргументом что rar это просто мешанина файлов для юзерскихзадачь, а tar это слепок файловой системы с атрибутами, с симлинками даже вроде с дедупликацией, который в дальнейшем можно чем нибудь сжать, в том числе и rar-ом

Ответить | Правка | Наверх | Cообщить модератору

66. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (66), 09-Окт-25, 23:07

А можно вспомнить, что tar — это рудимент времён ленточных накопителей.

Ответить | Правка | Наверх | Cообщить модератору

68. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (33), 09-Окт-25, 23:30

Чёт ничего лучше так и не придумали. Ленточные накопители до сих пор самый надёжный и эффективный вариант хранения кстати, а жёсткие диски ни по объёмам ни по скорости по-моему так и не сравнились с плёнкой.

Ответить | Правка | Наверх | Cообщить модератору

69. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (66), 09-Окт-25, 23:41

> Ленточные накопители до сих пор самый надёжный и эффективный вариант хранения кстати
Ага, и архивируют на них tar'ом.

Ответить | Правка | Наверх | Cообщить модератору

70. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (33), 09-Окт-25, 23:46

Ну в том числе таром. Лично я тар использую везде и для всего, другого варианта архивации всех ассоциированных данных не придумали по сути.

Ответить | Правка | Наверх | Cообщить модератору

67. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (33), 09-Окт-25, 23:26

Дедупликация в tar это сомнительной живости клон. Но вот гну тар действительно наверно единственный вариант, позволяющий сохранить все метаданные и атрибуты из реальных архиваторов. Потом просто натравливаешь lrzip.

Ответить | Правка | К родителю #60 | Наверх | Cообщить модератору

13. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (13), 09-Окт-25, 13:47

Ну вообще-то да, если знать структуру данных можно пожать гораздо лучше чем общим алгоритмом.
Например, взять 12-битные изображения. Там тупо верхних 4-бита каждый второй байт забит нулями. Из четырех байт тривиально получается три. Не говоря уже о разностном кодировании, потому что каждое последующее значение лежит довольно таки близко к предыдущему. Так вот - лет 10-15 назад редко какой архиватор умел пожимать такие файлы. Потом появился zstd, который с этим справляется лучше, но и он до ужатия до 75% от оригинала не дотягивает. Позже появился jxl (lossless jpeg)- он умел таки пожимать лучше чем до тривиальных 75%. Но данные к тому моменту и так уже лежали на zfs / zstd.
Топик как-раз движется в этом направлении - похоже ему будет достаточно сказать что файлы надо рассматривать как последовательность word (16-bit), и кодировать их разность.

Ответить | Правка | Наверх | Cообщить модератору

15. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (15), 09-Окт-25, 13:54

Отлично. Ждём в BTRFS.

Ответить | Правка | Наверх | Cообщить модератору

18. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +3 +/–

Сообщение от ахахахаха (?), 09-Окт-25, 13:59

Не является универсальным, на уровне файлухи работать не будет. Не ждите.

Ответить | Правка | Наверх | Cообщить модератору

26. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (26), 09-Окт-25, 14:31

Бинарник в разы больше, чем у zstd или 7-zip
$ ls -l /usr/bin/zli
-rwxr-xr-x 1 root root 5494744 окт  9 18:20 /usr/bin/zli

Ответить | Правка | Наверх | Cообщить модератору

29. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." –1 +/–

Сообщение от Аноним (26), 09-Окт-25, 14:34

$ zli --version
zstrong-cli version 0.1
$ zli list-profiles
Available profiles:
  -| csv    = CSV. Pass optional non-comma separator with --profile-arg <char>.
  -| le-i16    = Little-endian signed 16-bit data
  -| le-i32    = Little-endian signed 32-bit data
  -| le-i64    = Little-endian signed 64-bit data
  -| le-u16    = Little-endian unsigned 16-bit data
  -| le-u32    = Little-endian unsigned 32-bit data
  -| le-u64    = Little-endian unsigned 64-bit data
  -| parquet    = Parquet in the canonical format (no compression, plain encoding)
  -| pytorch    = Pytorch model generated from torch.save(). Training is not supported.
  -| sao    = SAO format from the Silesia corpus
  -| sddl    = Data that can be parsed using the Simple Data Description Language. Pass a path to the data description file with --profile-arg.
  -| serial    = Serial data (aka raw bytes)

Ответить | Правка | Наверх | Cообщить модератору

61. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от аноним12 (?), 09-Окт-25, 19:32

Ну так не zli ни list-profiles ни другие файлы, зачем ты это делаешь, вот они у тебя и не сжимаются

Ответить | Правка | Наверх | Cообщить модератору

40. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (49), 09-Окт-25, 16:38

>Для описания сложных форматов со вложенными структурами и определения раскладки форматов данных в структурах может применяться язык SDDL (Simple Data Description Language).
Могли бы не выпендриваться и Kaitai Struct взять, или DFDL.

Ответить | Правка | Наверх | Cообщить модератору

46. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (49), 09-Окт-25, 17:03

До PNG никогда не доберётся - там стандарт раз в 20 лет выходит. Пока новый стандарт выйдет - PNG будет вытеснен уже.

Ответить | Правка | Наверх | Cообщить модератору

48. Скрыто модератором +1 +/–

Сообщение от Аноним (-), 09-Окт-25, 17:08

Корпораст выдавил из себя софт с пермиссивной лицензией. И почему я не удивлён?

Ответить | Правка | Наверх | Cообщить модератору

51. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +1 +/–

Сообщение от Аноним (49), 09-Окт-25, 17:49

Сборочная система крайне уродская - для того, чтобы собрать колесо для Python, нужно отдельно запускать через `python3 -m build -nwx .`, а это пересоберёт всё заново, что, мягко говоря, небыстро. Можно при обычной сборке сказать собрать питоьний модуль ... но это будт не колесо, а для сборки колеса придётся тогда менять `pyproject.toml` вручную на `setup.py` и вручную же копировать питоний модуль в директорию, чтобы он вошёл в колесо.
При этом содержимое автоматически-собранного колеса такое:
--
Path = dist/openzl-0.1.0-cp312-abi3-linux_x86_64.whl
Type = zip
Physical Size = 4643707
   Date      Time    Attr         Size   Compressed  Name
------------------- ----- ------------ ------------  ------------------------
2025-10-09 13:41:12 .....        26516         6558  include/zdict.h
2025-10-09 14:01:28 .....       181748        46086  include/zstd.h
2025-10-09 13:41:12 .....         4278         1624  include/zstd_errors.h
2025-10-09 14:34:10 .....         1053          514  lib/cmake/zstd/zstdConfig.cmake
2025-10-09 14:02:12 .....         2762          887  lib/cmake/zstd/zstdConfigVersion.cmake
2025-10-09 14:34:12 .....         1430          441  lib/cmake/zstd/zstdTargets-relwithdebinfo.cmake
2025-10-09 14:34:12 .....         4633         1403  lib/cmake/zstd/zstdTargets.cmake
2025-10-09 14:35:38 .....      3727650      2336425  lib/libzstd.a
2025-10-09 14:39:48 .....       662360       273065  lib/libzstd.so
2025-10-09 14:39:48 .....       662360       273065  lib/libzstd.so.1
2025-10-09 14:39:48 .....       662360       273065  lib/libzstd.so.1.5.7
2025-10-09 14:34:10 .....          476          312  lib/pkgconfig/libzstd.pc
2025-10-09 14:39:48 .....           53           55  openzl/__init__.py
2025-10-09 14:39:44 .....         6810          856  openzl/ext/graphs.pyi
2025-10-09 14:39:44 .....        38213         2405  openzl/ext/nodes.pyi
2025-10-09 14:39:48 .....      4385136      1421292  openzl/ext.abi3.so
2025-10-09 14:39:46 .....        14158         2059  openzl/ext.pyi
2025-10-09 14:39:48 .....          131          117  openzl-0.1.0.dist-info/METADATA
2025-10-09 14:39:48 .....          124          117  openzl-0.1.0.dist-info/WHEEL
2025-10-09 14:39:48 .....         1562          891  openzl-0.1.0.dist-info/RECORD
------------------- ----- ------------ ------------  ------------------------
2025-10-09 14:39:48           10383813      4641237  20 files

Заметьте директорию lib:
1. её присутствие в колесе вообще некорректно
2. в CMake-файле написано, что с динамическими библиотеками питоний модуль вообще быть собран не может, а тут libzstd динамически прилинкована.
3. если они такие умные, что линкуют libzstd динамически, то могли бы её вообще не пересобирать, а использовать из системы
К сожалению нельзя просто запаковать содержимое директории src в zip-архив, так как RECORD содержит хеши всех файлов, и отсутствие файлов, или несовпадение хеша, очен не понравится некоторым пакетам для управления пакетами питона (и нет, я не имею в виду pip, есть другие модули питона, они предназначены для использования как либы, в то время как pip это крайне не рекомендует и предлагает плодить процессы)

Ответить | Правка | Наверх | Cообщить модератору

52. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (53), 09-Окт-25, 17:56

4. libzstd они таки линкуют статически. Вообще не понятно какого хрена она в колесе.
5. ломать не строить - из record-файла подчистить лишние файлы и пересобрать колесо 7zipом тривиально. Но почему я вообще должен это делать? Нормальные пакеты обычно делают так: у них есть pyproject.toml чтобы собрать через build, а если мы собираем через cmake, то cmake генерит свою sdist-директорию, где можно python3 -m build -nwx -- и соберётся колесо с уже предсобранной библиотекой.

Ответить | Правка | Наверх | Cообщить модератору

55. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (55), 09-Окт-25, 18:25

>Our main theoretical contribution is the graph model of compression, defined formally in section 3. In summary, we define a compression graph as a computational graph [ 20] where the nodes are codecs and edges represent data generated as output of one codec and used as input for another.
Могли бы и расширение для onnx сделать, а не NIH городить. libonnx - это только сериализация графа, небольшая либа, это вообще чисто protobuf.

Ответить | Правка | Наверх | Cообщить модератору

56. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +1 +/–

Сообщение от Аноним (54), 09-Окт-25, 18:25

Это как в том анекдоте. Сжимает хорошо и быстро, а разжимать мы пока не научилсь.

Ответить | Правка | Наверх | Cообщить модератору

59. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (55), 09-Окт-25, 19:15

>On the other hand, html is structured but not repetitive and will therefore not benefit much from parsing.
Звездёж. HTML избыточен, там эскейпинг, entities, отступы, встроенный base64, и вообще встроенные другие форматы. Если его просто токенизовать (даже без всякого BPE, просто по словарю известных тегов) и сериализовать результат в бинарный иерархический формат (то есть без дупликации открывающих и закрывающих тегов) - это уже выигрыш даст. Если же формато-специфичным образом обработать встроенные объекты, SVG и JavaScript - то выигрыш ещё больше будет. Я вообще ожидал от этой либы как раз эффективной компрессии HTMLя (потому что авторы бэкендов многих сайтов - больные yблюдки, не осилившие IEC 60027-2 и Systeme international).

Ответить | Правка | Наверх | Cообщить модератору

62. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от аноним12 (?), 09-Окт-25, 19:49

какой еще встроенный base64? HTML это дистилированный XML1.1 без неймспейсов и прочего, но поскольку его парсят/обходят полноценной xml-библиотекой с поддержкой полного стандарта, то глупо было не добавить встраивание SVG.

Ответить | Правка | Наверх | Cообщить модератору

64. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (55), 09-Окт-25, 20:52

Вот пример отсюда: https://openzl.org/api/c/graphs/sddl/#bitmap-images
А вот результат компиляции ("компилятор" сериализует граф в CBOR, но я его десериализовал в JSON и почислил скриптом https://paste.debian.net/1400224/) этого графа: https://0x0.st/Kuyp.yddd/bmp.yddd

Ответить | Правка | Наверх | Cообщить модератору

65. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от penetrator (?), 09-Окт-25, 21:37

а никого не смущает пейсбук?
git clone --depth 1 -b release https://github.com/facebook/openzl.git

Ответить | Правка | Наверх | Cообщить модератору

73. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от openssh_user (ok), 10-Окт-25, 06:13

Никого не смущает Meta?

Ответить | Правка | Наверх | Cообщить модератору

72. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (72), 10-Окт-25, 06:12

7zip жмёт структурированные данные как мегатонный пресс, в зависимости от данных - в сотни-тысячи раз. Не зря его нет в сравнении.
Похоже на то, что это очередное «мы изобрели супералгоритм, только сразу нужно подогнать данные».

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. Скрыто модератором	–9 +/–
Сообщение от Аноним (1), 09-Окт-25, 13:01
Так все красочно и вкусно. А закладки с бэкдорами прилагаются?
Ответить \| Правка \| Наверх \| Cообщить модератору


	3. Скрыто модератором	+9 +/–
	Сообщение от анонимно (?), 09-Окт-25, 13:09
	конечно, именно поэтому код открыт, ага
	Ответить \| Правка \| Наверх \| Cообщить модератору


	9. Скрыто модератором	+2 +/–
	Сообщение от анон (?), 09-Окт-25, 13:31
	то что код открыт, не означает, что в нем найдут закладку
	Ответить \| Правка \| Наверх \| Cообщить модератору


	28. Скрыто модератором	–1 +/–
	Сообщение от Эффективный менеджер (?), 09-Окт-25, 14:34
	То что в нем найдут закладку равна коэффициенту популярности языка программирования - Виликая Python лучше всех!
	Ответить \| Правка \| Наверх \| Cообщить модератору


	11. Скрыто модератором	+1 +/–
	Сообщение от Аноним (1), 09-Окт-25, 13:41
	xz тоже был открыт, ага
	Ответить \| Правка \| К родителю #3 \| Наверх \| Cообщить модератору


	20. Скрыто модератором	+1 +/–
	Сообщение от Аноним (20), 09-Окт-25, 14:02
	Но Jia Tan в проектировании формата участия не принимал и изначально код не писал. Решил лишь подрихтовать сбочный скрипт.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	54. Скрыто модератором	+1 +/–
	Сообщение от Аноним (54), 09-Окт-25, 18:24
	И в чём он не прав?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	4. Скрыто модератором	+1 +/–
	Сообщение от Аноним (4), 09-Окт-25, 13:11
	сам посмотрим - https://github.com/facebook/openzl
	Ответить \| Правка \| К родителю #1 \| Наверх \| Cообщить модератору


	12. Скрыто модератором	+/–
	Сообщение от Аноним (1), 09-Окт-25, 13:42
	xz тоже был открыт
	Ответить \| Правка \| Наверх \| Cообщить модератору


	22. Скрыто модератором	+1 +/–
	Сообщение от fz (?), 09-Окт-25, 14:07
	как страшно жить то... шарахайтесь теперь от любого кода
	Ответить \| Правка \| Наверх \| Cообщить модератору


	38. Скрыто модератором	+/–
	Сообщение от Аноним (38), 09-Окт-25, 16:12
	Не от любого, а от даров данайцев.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	23. Скрыто модератором	+4 +/–
	Сообщение от JakauBahuslau (?), 09-Окт-25, 14:08
	В xz закладку нашли за две тестовые версии, так что если там действительно что-то есть, то тоже быстро найдут
	Ответить \| Правка \| К родителю #12 \| Наверх \| Cообщить модератору


	31. Скрыто модератором	+1 +/–
	Сообщение от Zzz (??), 09-Окт-25, 14:41
	К сожалению, нашли случайно из-за CPU overload. Если б китайцы аккуратнее свой имплант написали, то далеко не факт, что обнаружили быстро.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	33. Скрыто модератором	+/–
	Сообщение от Аноним (33), 09-Окт-25, 14:49
	Это "поляки" были ж, при чём тут китайцы?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	32. Скрыто модератором	–1 +/–
	Сообщение от Аноним (32), 09-Окт-25, 14:43
	Потому что васян с кор2дуба заметил как проц грузили типичные задачи с зксзед и обратился к профи из Майкрософт,который и выяснил в чем дело? Великий опенсурс!
	Ответить \| Правка \| К родителю #23 \| Наверх \| Cообщить модератору


	58. Скрыто модератором	+/–
	Сообщение от ИмяХ (ok), 09-Окт-25, 19:11
	То что закладка в xz лежала долгие годы - следствие лишь твоей личной лени и некомпетентности.
	Ответить \| Правка \| К родителю #12 \| Наверх \| Cообщить модератору


	49. Скрыто модератором	+/–
	Сообщение от Аноним (49), 09-Окт-25, 17:10
	Да, прилагаются. Они там свой ЯП развели!
	Ответить \| Правка \| К родителю #1 \| Наверх \| Cообщить модератору

6. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
Сообщение от Мемоним (?), 09-Окт-25, 13:16
> Simple Data Description Language Интересно, чем им Kaitai Struct не угодил. По описанию вроде почти одно и то же.
Ответить \| Правка \| Наверх \| Cообщить модератору


	8. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+2 +/–
	Сообщение от Жироватт (ok), 09-Окт-25, 13:25
	Там есть крайне фатальный недостаток – его писали не они!
	Ответить \| Правка \| Наверх \| Cообщить модератору


	25. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	–2 +/–
	Сообщение от Аноним (-), 09-Окт-25, 14:30
	Ага. Они то могут в сериализацию. А Kaitai Struct пока только серят.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	14. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
	Сообщение от anonymous (??), 09-Окт-25, 13:53
	Katai Struct до сих пор не умеет в (де)сериализацию. Фатальный недостаток.
	Ответить \| Правка \| К родителю #6 \| Наверх \| Cообщить модератору


	17. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
	Сообщение от Аноним (17), 09-Окт-25, 13:58
	ну вот, могли бы исправить :)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	27. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+1 +/–
	Сообщение от Аноним (-), 09-Окт-25, 14:33
	Могли. Но это нужно идти к каким-то васянам, предлагать свои патчи, оформлять как тем хочется... Или сделать свое, в котором ты сам себе хозяин.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	37. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	–1 +/–
	Сообщение от Аноним (17), 09-Окт-25, 16:05
	да, не посмотрел, что у kaitai struct неудобная лицензия
	Ответить \| Правка \| Наверх \| Cообщить модератору


	44. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+1 +/–
	Сообщение от Аноним (44), 09-Окт-25, 16:53
	Неудобная для проприерастов.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	34. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
	Сообщение от Мемоним (?), 09-Окт-25, 15:39
	Я имел в виду только язык описания структур. А генератор могли бы свой уже писать, хоть с сериализацией, хоть без. Всяко проще чем с нуля изобретать.
	Ответить \| Правка \| К родителю #14 \| Наверх \| Cообщить модератору


	71. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
	Сообщение от morphe (?), 10-Окт-25, 04:27
	Свой DSL написать таки проще чем kaitai поддерживать, просто потому что в kaitai слишком дофига всего есть По той же причине у kaitai нет собственных нормальных генераторов
	Ответить \| Правка \| Наверх \| Cообщить модератору


	53. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
	Сообщение от Аноним (53), 09-Окт-25, 18:08
	Это абсолютно не важно. То что он не умеет (на самом деле умеет, просто рудиментарно, что характерно - для тупых случаев вроде того, что обрабатывает OpenZL - как раз умеет!) в сериализацию (а в десериализацию он как раз умеет) - это абсолютно иррелевантно, так как они не собирались использовать ни компилятор KS (который требует JVM!), ни производимые им артефакты (исходник на различных языках). На самом деле им KS не подошёл потому, что им был нужен язык не только для описания форматов, но и для описания своих пайплайнов. Я полагаю (git не проверял), что они сначала сделали язык для описания своих пайплайнов, а потом уже прикрутили туда описание форматов, как ещё одну голову у Горыныча, на тот же язык, и чтобы не городить 10 языков в одном приложении - туда же в тот же синтаксис засунули описание форматов. Грязно, но практично.
	Ответить \| Правка \| К родителю #14 \| Наверх \| Cообщить модератору

7. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+1 +/–
Сообщение от Жироватт (ok), 09-Окт-25, 13:23
Т.е. её ещё и обучать надо? Перед упаковкой. Файлы как набор структурированных данных жуёт или только жмёт один файл как хранилище? > команду "zli train" Результат СЕЙЧАС насколько зависит от версии и от машины, на которой формируется профиль?
Ответить \| Правка \| Наверх \| Cообщить модератору

10. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+2 +/–
Сообщение от Аноним (10), 09-Окт-25, 13:40
А чего не сравнили с непрерывном методом сжатия (solid archive) rar архивов? Он уже отлично сжимал повторяющиеся данные лет 25 назад. p.s. а лучше бы вообще уже выкупили rar у Рошала и сделали бы алгоритм открытым и бесплатным.
Ответить \| Правка \| Наверх \| Cообщить модератору