forum.opennet.ru - "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и уровню сжатия структурированных данных" (55)

"Система сжатия OpenZL, опережающая Zstd и XZ по скорости и уровню сжатия структурированных данных"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Система сжатия OpenZL, опережающая Zstd и XZ по скорости и уровню сжатия структурированных данных"	+/–
Сообщение от opennews (??), 09-Окт-25, 13:01
Компания Meta* представила инструментарий для сжатия и распаковки данных OpenZL, по сравнению с форматами Zstd и XZ демонстрирующий более высокий уровень сжатия и скорость работы. OpenZL разработан для эффективного сжатия структурированных наборов данных, например, применяемых при машинном обучении, а также хранилищ, содержащих поля с различными повторяющимися типами информации. Код OpenZL написан на C/C++ и открыт под лицензией BSD... Подробнее: https://www.opennet.me/opennews/art.shtml?num=64019
Ответить \| Правка \| Cообщить модератору

Оглавление

Так все красочно и вкусно А закладки с бэкдорами прилагаются , Аноним (1), 13:01 , 09-Окт-25, (1) –6

конечно, именно поэтому код открыт, ага, анонимно (?), 13:09 , 09-Окт-25, (3) +7

то что код открыт, не означает, что в нем найдут закладку, анон (?), 13:31 , 09-Окт-25, (9) +2

То что в нем найдут закладку равна коэффициенту популярности языка программирова, Эффективный менеджер (?), 14:34 , 09-Окт-25, (28) –1

xz тоже был открыт, ага, Аноним (1), 13:41 , 09-Окт-25, (11) +1

Но Jia Tan в проектировании формата участия не принимал и изначально код не писа, Аноним (20), 14:02 , 09-Окт-25, (20) +1

И в чём он не прав , Аноним (54), 18:24 , 09-Окт-25, (54)

сам посмотрим - https github com facebook openzl, Аноним (4), 13:11 , 09-Окт-25, (4) +1

xz тоже был открыт, Аноним (1), 13:42 , 09-Окт-25, (12) +1

как страшно жить то шарахайтесь теперь от любого кода, fz (?), 14:07 , 09-Окт-25, (22)

Не от любого, а от даров данайцев , Аноним (38), 16:12 , 09-Окт-25, (38)
Скрыто модератором, Аноним (1), 16:58 , 09-Окт-25, (45) –1

В xz закладку нашли за две тестовые версии, так что если там действительно что-т, JakauBahuslau (?), 14:08 , 09-Окт-25, (23) +2

К сожалению, нашли случайно из-за CPU overload Если б китайцы аккуратнее свой и, Zzz (??), 14:41 , 09-Окт-25, (31) +2

Это поляки были ж, при чём тут китайцы , Аноним (33), 14:49 , 09-Окт-25, (33)

Потому что васян с кор2дуба заметил как проц грузили типичные задачи с зксзед и , Аноним (32), 14:43 , 09-Окт-25, (32) –2

Да, прилагаются Они там свой ЯП развели , Аноним (49), 17:10 , 09-Окт-25, (49)

Интересно, чем им Kaitai Struct не угодил По описанию вроде почти одно и то же , Мемоним (?), 13:16 , 09-Окт-25, (6)

Там есть крайне фатальный недостаток 8211 его писали не они , Жироватт (ok), 13:25 , 09-Окт-25, (8)

Скрыто модератором, Аноним (-), 14:30 , 09-Окт-25, (25)

Katai Struct до сих пор не умеет в де сериализацию Фатальный недостаток , anonymous (??), 13:53 , 09-Окт-25, (14)

ну вот, могли бы исправить , Аноним (17), 13:58 , 09-Окт-25, (17)

Могли Но это нужно идти к каким-то васянам, предлагать свои патчи, оформлять как, Аноним (-), 14:33 , 09-Окт-25, (27) +1

да, не посмотрел, что у kaitai struct неудобная лицензия, Аноним (17), 16:05 , 09-Окт-25, (37)

Неудобная для проприерастов , Аноним (44), 16:53 , 09-Окт-25, (44)

Как ты сейчас яжфинна васяном обозвал , Аноним (44), 16:43 , 09-Окт-25, (42)

Я имел в виду только язык описания структур А генератор могли бы свой уже писат, Мемоним (?), 15:39 , 09-Окт-25, (34)
Это абсолютно не важно То что он не умеет на самом деле умеет, просто рудимент, Аноним (53), 18:08 , 09-Окт-25, (53)

Т е её ещё и обучать надо Перед упаковкой Файлы как набор структурированных да, Жироватт (ok), 13:23 , 09-Окт-25, (7)
А чего не сравнили с непрерывном методом сжатия solid archive rar архивов Он , Аноним (10), 13:40 , 09-Окт-25, (10) +1

Скрыто модератором, ахахахаха (?), 13:58 , 09-Окт-25, (16)

Скрыто модератором, Ан248ним (?), 16:41 , 09-Окт-25, (41) –1

А может наоборот Из открытого достояния приватизировать в частное владение Я бы, Эффективный менеджер (?), 14:01 , 09-Окт-25, (19) –2
Зачем покупать Игорь Павлов смог с 7зип реализовать свой них синдром Дерзайте , Аноним (32), 14:17 , 09-Окт-25, (24) +2
У него нет дедупликации по факту, только частичная На и в целом zpaq поинтересн, Аноним (33), 14:41 , 09-Окт-25, (30)
Много кто отлично сжимает, мало кто умеет делать это БЫСТРО Это вот сейчас к ком, Аноним (36), 15:52 , 09-Окт-25, (36)
а чем вам tar что-то еще , появившийся за 10 до rar, не угодил , Андрей (??), 18:47 , 09-Окт-25, (57)

Ну вообще-то да, если знать структуру данных можно пожать гораздо лучше чем общи, Аноним (13), 13:47 , 09-Окт-25, (13)
Отлично Ждём в BTRFS , Аноним (15), 13:54 , 09-Окт-25, (15) +2

Скрыто модератором, ахахахаха (?), 13:59 , 09-Окт-25, (18) +1

Скрыто модератором, Эффективный менеджер (?), 14:04 , 09-Окт-25, (21) +1

Бинарник в разы больше, чем у zstd или 7-zip ls -l usr bin zli-rwxr-xr-x 1 roo, Аноним (26), 14:31 , 09-Окт-25, (26)

zli --versionzstrong-cli version 0 1 zli list-profilesAvailable profiles - , Аноним (26), 14:34 , 09-Окт-25, (29)

Жаль что не на Р_асте, значит будут CVE и прочие сишные прелести , Аноним (35), 15:40 , 09-Окт-25, (35)

безопастность и быстродействие не очень дружат, Соль земли2 (?), 16:18 , 09-Окт-25, (39)

Напротив, очень мало мест где они не дружат Проверки границ массивов, например , Аноним (47), 17:06 , 09-Окт-25, (47)

Боишься, что поломают, и украдут форточки, где ты на пляже Бойся, пока все на р, Ан248ним (?), 16:47 , 09-Окт-25, (43)
Так на р_асте писать - это не на форумах каменты про дыряшечку строчить , YetAnotherOnanym (ok), 17:46 , 09-Окт-25, (50)

Могли бы не выпендриваться и Kaitai Struct взять, или DFDL , Аноним (49), 16:38 , 09-Окт-25, (40)
До PNG никогда не доберётся - там стандарт раз в 20 лет выходит Пока новый стан, Аноним (49), 17:03 , 09-Окт-25, (46)
Скрыто модератором, Аноним (-), 17:08 , 09-Окт-25, (48) +1
Сборочная система крайне уродская - для того, чтобы собрать колесо для Python, н, Аноним (49), 17:49 , 09-Окт-25, (51) +1

4 libzstd они таки линкуют статически Вообще не понятно какого хрена она в кол, Аноним (53), 17:56 , 09-Окт-25, (52)

Могли бы и расширение для onnx сделать, а не NIH городить libonnx - это только , Аноним (55), 18:25 , 09-Окт-25, (55)
Это как в том анекдоте Сжимает хорошо и быстро, а разжимать мы пока не научилсь, Аноним (54), 18:25 , 09-Окт-25, (56)

Сообщения [Сортировка по времени | RSS]

1. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." –6 +/–

Сообщение от Аноним (1), 09-Окт-25, 13:01

Так все красочно и вкусно. А закладки с бэкдорами прилагаются?

Ответить | Правка | Наверх | Cообщить модератору

3. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +7 +/–

Сообщение от анонимно (?), 09-Окт-25, 13:09

конечно, именно поэтому код открыт, ага

Ответить | Правка | Наверх | Cообщить модератору

9. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +2 +/–

Сообщение от анон (?), 09-Окт-25, 13:31

то что код открыт, не означает, что в нем найдут закладку

Ответить | Правка | Наверх | Cообщить модератору

28. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." –1 +/–

Сообщение от Эффективный менеджер (?), 09-Окт-25, 14:34

То что в нем найдут закладку равна коэффициенту популярности языка программирования - Виликая Python лучше всех!

Ответить | Правка | Наверх | Cообщить модератору

11. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +1 +/–

Сообщение от Аноним (1), 09-Окт-25, 13:41

xz тоже был открыт, ага

Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

20. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +1 +/–

Сообщение от Аноним (20), 09-Окт-25, 14:02

Но Jia Tan в проектировании формата участия не принимал и изначально код не писал. Решил лишь подрихтовать сбочный скрипт.

Ответить | Правка | Наверх | Cообщить модератору

54. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (54), 09-Окт-25, 18:24

И в чём он не прав?

Ответить | Правка | Наверх | Cообщить модератору

4. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +1 +/–

Сообщение от Аноним (4), 09-Окт-25, 13:11

сам посмотрим - https://github.com/facebook/openzl

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

12. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +1 +/–

Сообщение от Аноним (1), 09-Окт-25, 13:42

xz тоже был открыт

Ответить | Правка | Наверх | Cообщить модератору

22. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от fz (?), 09-Окт-25, 14:07

как страшно жить то...
шарахайтесь теперь от любого кода

Ответить | Правка | Наверх | Cообщить модератору

38. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (38), 09-Окт-25, 16:12

Не от любого, а от даров данайцев.

Ответить | Правка | Наверх | Cообщить модератору

45. Скрыто модератором –1 +/–

Сообщение от Аноним (1), 09-Окт-25, 16:58

Комментарий школьника. Поржал.

Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

23. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +2 +/–

Сообщение от JakauBahuslau (?), 09-Окт-25, 14:08

В xz закладку нашли за две тестовые версии, так что если там действительно что-то есть, то тоже быстро найдут

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

31. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +2 +/–

Сообщение от Zzz (??), 09-Окт-25, 14:41

К сожалению, нашли случайно из-за CPU overload. Если б китайцы аккуратнее свой имплант написали, то далеко не факт, что обнаружили быстро.

Ответить | Правка | Наверх | Cообщить модератору

33. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (33), 09-Окт-25, 14:49

Это "поляки" были ж, при чём тут китайцы?

Ответить | Правка | Наверх | Cообщить модератору

32. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." –2 +/–

Сообщение от Аноним (32), 09-Окт-25, 14:43

Потому что васян с кор2дуба заметил как проц грузили типичные задачи с зксзед и обратился к профи из Майкрософт,который и выяснил в чем дело? Великий опенсурс!

Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

49. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (49), 09-Окт-25, 17:10

Да, прилагаются. Они там свой ЯП развели!

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

6. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Мемоним (?), 09-Окт-25, 13:16

> Simple Data Description Language
Интересно, чем им Kaitai Struct не угодил. По описанию вроде почти одно и то же.

Ответить | Правка | Наверх | Cообщить модератору

8. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Жироватт (ok), 09-Окт-25, 13:25

Там есть крайне фатальный недостаток – его писали не они!

Ответить | Правка | Наверх | Cообщить модератору

25. Скрыто модератором +/–

Сообщение от Аноним (-), 09-Окт-25, 14:30

Ага.
Они то могут в сериализацию.
А Kaitai Struct пока только серят.

Ответить | Правка | Наверх | Cообщить модератору

14. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от anonymous (??), 09-Окт-25, 13:53

Katai Struct до сих пор не умеет в (де)сериализацию. Фатальный недостаток.

Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

17. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (17), 09-Окт-25, 13:58

ну вот, могли бы исправить :)

Ответить | Правка | Наверх | Cообщить модератору

27. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +1 +/–

Сообщение от Аноним (-), 09-Окт-25, 14:33

Могли.
Но это нужно идти к каким-то васянам, предлагать свои патчи, оформлять как тем хочется...
Или сделать свое, в котором ты сам себе хозяин.

Ответить | Правка | Наверх | Cообщить модератору

37. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (17), 09-Окт-25, 16:05

да, не посмотрел, что у kaitai struct неудобная лицензия

Ответить | Правка | Наверх | Cообщить модератору

44. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (44), 09-Окт-25, 16:53

Неудобная для проприерастов.

Ответить | Правка | Наверх | Cообщить модератору

42. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (44), 09-Окт-25, 16:43

Как ты сейчас яжфинна васяном обозвал.

Ответить | Правка | К родителю #27 | Наверх | Cообщить модератору

34. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Мемоним (?), 09-Окт-25, 15:39

Я имел в виду только язык описания структур. А генератор могли бы свой уже писать, хоть с сериализацией, хоть без. Всяко проще чем с нуля изобретать.

Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

53. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (53), 09-Окт-25, 18:08

Это абсолютно не важно. То что он не умеет (на самом деле умеет, просто рудиментарно, что характерно - для тупых случаев вроде того, что обрабатывает OpenZL - как раз умеет!) в сериализацию (а в десериализацию он как раз умеет) - это абсолютно иррелевантно, так как они не собирались использовать ни компилятор KS (который требует JVM!), ни производимые им артефакты (исходник на различных языках). На самом деле им KS не подошёл потому, что им был нужен язык не только для описания форматов, но и для описания своих пайплайнов. Я полагаю (git не проверял), что они сначала сделали язык для описания своих пайплайнов, а потом уже прикрутили туда описание форматов, как ещё одну голову у Горыныча, на тот же язык, и чтобы не городить 10 языков в одном приложении - туда же в тот же синтаксис засунули описание форматов. Грязно, но практично.

Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

7. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Жироватт (ok), 09-Окт-25, 13:23

Т.е. её ещё и обучать надо? Перед упаковкой.
Файлы как набор структурированных данных жуёт или только жмёт один файл как хранилище?
> команду "zli train"
Результат СЕЙЧАС насколько зависит от версии и от машины, на которой формируется профиль?

Ответить | Правка | Наверх | Cообщить модератору

10. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +1 +/–

Сообщение от Аноним (10), 09-Окт-25, 13:40

А чего не сравнили с непрерывном методом сжатия (solid archive) rar архивов? Он уже отлично сжимал повторяющиеся данные лет 25 назад.
p.s. а лучше бы вообще уже выкупили rar у Рошала и сделали бы алгоритм открытым и бесплатным.

Ответить | Правка | Наверх | Cообщить модератору

16. Скрыто модератором +/–

Сообщение от ахахахаха (?), 09-Окт-25, 13:58

Кто за него готов хоть три копейки заплатить? И ещё заново вложиться в популяризацию. Просто чтобы ванаби виндузятник порадовался?

Ответить | Правка | Наверх | Cообщить модератору

41. Скрыто модератором –1 +/–

Сообщение от Ан248ним (?), 09-Окт-25, 16:41

Вендузятникам и так хорошо, это убогие линуксоиды страдают из-за лицензий.

Ответить | Правка | Наверх | Cообщить модератору

19. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." –2 +/–

Сообщение от Эффективный менеджер (?), 09-Окт-25, 14:01

А может наоборот? Из открытого достояния приватизировать в частное владение.
Я бы запантетовал колесо, алфавит и т.д. А то ишь, пользуетесь бесплатно! А разработчики чем будут питаться? Им тоже надо на хлеб с маслом!!1!
Нажо выдать ЖКХ право дарить людей! Не нравиться - прокладыватйте труб к своему дому сами! А платить по раздельному тарифу, в ванной - по аналогии с сотовыми оператороми, покупаете "пакет" литров.
Тех в провайдерам интернета надо выдать право банить людей за блокировку рекламы, торренты и подозрительую активность... А ещё лучше сделать реестр недобосовечных лиц.

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

24. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +2 +/–

Сообщение от Аноним (32), 09-Окт-25, 14:17

Зачем покупать? Игорь Павлов смог с 7зип реализовать свой них синдром. Дерзайте и вы.

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

30. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (33), 09-Окт-25, 14:41

У него нет дедупликации по факту, только частичная. На и в целом zpaq поинтересней, он лучше комбинации lzss с ppmd. Lrzip, к примеру, действительно дедуплицирует, и легко может обойти и 7z, и, тем более, rar.

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

36. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (36), 09-Окт-25, 15:52

> А чего не сравнили с непрерывном методом сжатия (solid archive) rar архивов? Он уже отлично сжимал повторяющиеся данные лет 25 назад.
Много кто отлично сжимает, мало кто умеет делать это БЫСТРО.
> p.s. а лучше бы вообще уже выкупили rar у Рошала и сделали бы алгоритм открытым и бесплатным.
Это вот сейчас к кому обращено было?

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

57. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Андрей (??), 09-Окт-25, 18:47

а чем вам tar+<что-то еще>, появившийся за 10 до rar, не угодил ?

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

13. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (13), 09-Окт-25, 13:47

Ну вообще-то да, если знать структуру данных можно пожать гораздо лучше чем общим алгоритмом.
Например, взять 12-битные изображения. Там тупо верхних 4-бита каждый второй байт забит нулями. Из четырех байт тривиально получается три. Не говоря уже о разностном кодировании, потому что каждое последующее значение лежит довольно таки близко к предыдущему. Так вот - лет 10-15 назад редко какой архиватор умел пожимать такие файлы. Потом появился zstd, который с этим справляется лучше, но и он до ужатия до 75% от оригинала не дотягивает. Позже появился jxl (lossless jpeg)- он умел таки пожимать лучше чем до тривиальных 75%. Но данные к тому моменту и так уже лежали на zfs / zstd.
Топик как-раз движется в этом направлении - похоже ему будет достаточно сказать что файлы надо рассматривать как последовательность word (16-bit), и кодировать их разность.

Ответить | Правка | Наверх | Cообщить модератору

15. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +2 +/–

Сообщение от Аноним (15), 09-Окт-25, 13:54

Отлично. Ждём в BTRFS.

Ответить | Правка | Наверх | Cообщить модератору

18. Скрыто модератором +1 +/–

Сообщение от ахахахаха (?), 09-Окт-25, 13:59

Не является универсальным, на уровне файлухи работать не будет. Не ждите.

Ответить | Правка | Наверх | Cообщить модератору

21. Скрыто модератором +1 +/–

Сообщение от Эффективный менеджер (?), 09-Окт-25, 14:04

Я разрешаю ему ждать.

Ответить | Правка | Наверх | Cообщить модератору

26. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (26), 09-Окт-25, 14:31

Бинарник в разы больше, чем у zstd или 7-zip
$ ls -l /usr/bin/zli
-rwxr-xr-x 1 root root 5494744 окт  9 18:20 /usr/bin/zli

Ответить | Правка | Наверх | Cообщить модератору

29. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (26), 09-Окт-25, 14:34

$ zli --version
zstrong-cli version 0.1
$ zli list-profiles
Available profiles:
  -| csv    = CSV. Pass optional non-comma separator with --profile-arg <char>.
  -| le-i16    = Little-endian signed 16-bit data
  -| le-i32    = Little-endian signed 32-bit data
  -| le-i64    = Little-endian signed 64-bit data
  -| le-u16    = Little-endian unsigned 16-bit data
  -| le-u32    = Little-endian unsigned 32-bit data
  -| le-u64    = Little-endian unsigned 64-bit data
  -| parquet    = Parquet in the canonical format (no compression, plain encoding)
  -| pytorch    = Pytorch model generated from torch.save(). Training is not supported.
  -| sao    = SAO format from the Silesia corpus
  -| sddl    = Data that can be parsed using the Simple Data Description Language. Pass a path to the data description file with --profile-arg.
  -| serial    = Serial data (aka raw bytes)

Ответить | Правка | Наверх | Cообщить модератору

35. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (35), 09-Окт-25, 15:40

Жаль что не на Р_асте, значит будут CVE и прочие сишные прелести.

Ответить | Правка | Наверх | Cообщить модератору

39. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Соль земли2 (?), 09-Окт-25, 16:18

безопастность и быстродействие не очень дружат

Ответить | Правка | Наверх | Cообщить модератору

47. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (47), 09-Окт-25, 17:06

Напротив, очень мало мест где они не дружат. Проверки границ массивов, например. А они замечательно бранчпредиктятся и поэтому по сути бесплатны.

Ответить | Правка | Наверх | Cообщить модератору

43. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Ан248ним (?), 09-Окт-25, 16:47

Боишься, что поломают, и украдут форточки, где ты на пляже? Бойся, пока все на раст не перепишешь.

Ответить | Правка | К родителю #35 | Наверх | Cообщить модератору

50. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от YetAnotherOnanym (ok), 09-Окт-25, 17:46

Так на р_асте писать - это не на форумах каменты про дыряшечку строчить.

Ответить | Правка | К родителю #35 | Наверх | Cообщить модератору

40. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (49), 09-Окт-25, 16:38

>Для описания сложных форматов со вложенными структурами и определения раскладки форматов данных в структурах может применяться язык SDDL (Simple Data Description Language).
Могли бы не выпендриваться и Kaitai Struct взять, или DFDL.

Ответить | Правка | Наверх | Cообщить модератору

46. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (49), 09-Окт-25, 17:03

До PNG никогда не доберётся - там стандарт раз в 20 лет выходит. Пока новый стандарт выйдет - PNG будет вытеснен уже.

Ответить | Правка | Наверх | Cообщить модератору

48. Скрыто модератором +1 +/–

Сообщение от Аноним (-), 09-Окт-25, 17:08

Корпораст выдавил из себя софт с пермиссивной лицензией. И почему я не удивлён?

Ответить | Правка | Наверх | Cообщить модератору

51. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +1 +/–

Сообщение от Аноним (49), 09-Окт-25, 17:49

Сборочная система крайне уродская - для того, чтобы собрать колесо для Python, нужно отдельно запускать через `python3 -m build -nwx .`, а это пересоберёт всё заново, что, мягко говоря, небыстро. Можно при обычной сборке сказать собрать питоьний модуль ... но это будт не колесо, а для сборки колеса придётся тогда менять `pyproject.toml` вручную на `setup.py` и вручную же копировать питоний модуль в директорию, чтобы он вошёл в колесо.
При этом содержимое автоматически-собранного колеса такое:
--
Path = dist/openzl-0.1.0-cp312-abi3-linux_x86_64.whl
Type = zip
Physical Size = 4643707
   Date      Time    Attr         Size   Compressed  Name
------------------- ----- ------------ ------------  ------------------------
2025-10-09 13:41:12 .....        26516         6558  include/zdict.h
2025-10-09 14:01:28 .....       181748        46086  include/zstd.h
2025-10-09 13:41:12 .....         4278         1624  include/zstd_errors.h
2025-10-09 14:34:10 .....         1053          514  lib/cmake/zstd/zstdConfig.cmake
2025-10-09 14:02:12 .....         2762          887  lib/cmake/zstd/zstdConfigVersion.cmake
2025-10-09 14:34:12 .....         1430          441  lib/cmake/zstd/zstdTargets-relwithdebinfo.cmake
2025-10-09 14:34:12 .....         4633         1403  lib/cmake/zstd/zstdTargets.cmake
2025-10-09 14:35:38 .....      3727650      2336425  lib/libzstd.a
2025-10-09 14:39:48 .....       662360       273065  lib/libzstd.so
2025-10-09 14:39:48 .....       662360       273065  lib/libzstd.so.1
2025-10-09 14:39:48 .....       662360       273065  lib/libzstd.so.1.5.7
2025-10-09 14:34:10 .....          476          312  lib/pkgconfig/libzstd.pc
2025-10-09 14:39:48 .....           53           55  openzl/__init__.py
2025-10-09 14:39:44 .....         6810          856  openzl/ext/graphs.pyi
2025-10-09 14:39:44 .....        38213         2405  openzl/ext/nodes.pyi
2025-10-09 14:39:48 .....      4385136      1421292  openzl/ext.abi3.so
2025-10-09 14:39:46 .....        14158         2059  openzl/ext.pyi
2025-10-09 14:39:48 .....          131          117  openzl-0.1.0.dist-info/METADATA
2025-10-09 14:39:48 .....          124          117  openzl-0.1.0.dist-info/WHEEL
2025-10-09 14:39:48 .....         1562          891  openzl-0.1.0.dist-info/RECORD
------------------- ----- ------------ ------------  ------------------------
2025-10-09 14:39:48           10383813      4641237  20 files

Заметьте директорию lib:
1. её присутствие в колесе вообще некорректно
2. в CMake-файле написано, что с динамическими библиотеками питоний модуль вообще быть собран не может, а тут libzstd динамически прилинкована.
3. если они такие умные, что линкуют libzstd динамически, то могли бы её вообще не пересобирать, а использовать из системы
К сожалению нельзя просто запаковать содержимое директории src в zip-архив, так как RECORD содержит хеши всех файлов, и отсутствие файлов, или несовпадение хеша, очен не понравится некоторым пакетам для управления пакетами питона (и нет, я не имею в виду pip, есть другие модули питона, они предназначены для использования как либы, в то время как pip это крайне не рекомендует и предлагает плодить процессы)

Ответить | Правка | Наверх | Cообщить модератору

52. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (53), 09-Окт-25, 17:56

4. libzstd они таки линкуют статически. Вообще не понятно какого хрена она в колесе.
5. ломать не строить - из record-файла подчистить лишние файлы и пересобрать колесо 7zipом тривиально. Но почему я вообще должен это делать? Нормальные пакеты обычно делают так: у них есть pyproject.toml чтобы собрать через build, а если мы собираем через cmake, то cmake генерит свою sdist-директорию, где можно python3 -m build -nwx -- и соберётся колесо с уже предсобранной библиотекой.

Ответить | Правка | Наверх | Cообщить модератору

55. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (55), 09-Окт-25, 18:25

>Our main theoretical contribution is the graph model of compression, defined formally in section 3. In summary, we define a compression graph as a computational graph [ 20] where the nodes are codecs and edges represent data generated as output of one codec and used as input for another.
Могли бы и расширение для onnx сделать, а не NIH городить. libonnx - это только сериализация графа, небольшая либа, это вообще чисто protobuf.

Ответить | Правка | Наверх | Cообщить модератору

56. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..." +/–

Сообщение от Аноним (54), 09-Окт-25, 18:25

Это как в том анекдоте. Сжимает хорошо и быстро, а разжимать мы пока не научилсь.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	–6 +/–
Сообщение от Аноним (1), 09-Окт-25, 13:01
Так все красочно и вкусно. А закладки с бэкдорами прилагаются?
Ответить \| Правка \| Наверх \| Cообщить модератору


	3. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+7 +/–
	Сообщение от анонимно (?), 09-Окт-25, 13:09
	конечно, именно поэтому код открыт, ага
	Ответить \| Правка \| Наверх \| Cообщить модератору


	9. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+2 +/–
	Сообщение от анон (?), 09-Окт-25, 13:31
	то что код открыт, не означает, что в нем найдут закладку
	Ответить \| Правка \| Наверх \| Cообщить модератору


	28. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	–1 +/–
	Сообщение от Эффективный менеджер (?), 09-Окт-25, 14:34
	То что в нем найдут закладку равна коэффициенту популярности языка программирования - Виликая Python лучше всех!
	Ответить \| Правка \| Наверх \| Cообщить модератору


	11. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+1 +/–
	Сообщение от Аноним (1), 09-Окт-25, 13:41
	xz тоже был открыт, ага
	Ответить \| Правка \| К родителю #3 \| Наверх \| Cообщить модератору


	20. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+1 +/–
	Сообщение от Аноним (20), 09-Окт-25, 14:02
	Но Jia Tan в проектировании формата участия не принимал и изначально код не писал. Решил лишь подрихтовать сбочный скрипт.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	54. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
	Сообщение от Аноним (54), 09-Окт-25, 18:24
	И в чём он не прав?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	4. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+1 +/–
	Сообщение от Аноним (4), 09-Окт-25, 13:11
	сам посмотрим - https://github.com/facebook/openzl
	Ответить \| Правка \| К родителю #1 \| Наверх \| Cообщить модератору


	12. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+1 +/–
	Сообщение от Аноним (1), 09-Окт-25, 13:42
	xz тоже был открыт
	Ответить \| Правка \| Наверх \| Cообщить модератору


	22. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
	Сообщение от fz (?), 09-Окт-25, 14:07
	как страшно жить то... шарахайтесь теперь от любого кода
	Ответить \| Правка \| Наверх \| Cообщить модератору


	38. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
	Сообщение от Аноним (38), 09-Окт-25, 16:12
	Не от любого, а от даров данайцев.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	45. Скрыто модератором	–1 +/–
	Сообщение от Аноним (1), 09-Окт-25, 16:58
	Комментарий школьника. Поржал.
	Ответить \| Правка \| К родителю #22 \| Наверх \| Cообщить модератору


	23. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+2 +/–
	Сообщение от JakauBahuslau (?), 09-Окт-25, 14:08
	В xz закладку нашли за две тестовые версии, так что если там действительно что-то есть, то тоже быстро найдут
	Ответить \| Правка \| К родителю #12 \| Наверх \| Cообщить модератору


	31. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+2 +/–
	Сообщение от Zzz (??), 09-Окт-25, 14:41
	К сожалению, нашли случайно из-за CPU overload. Если б китайцы аккуратнее свой имплант написали, то далеко не факт, что обнаружили быстро.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	33. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
	Сообщение от Аноним (33), 09-Окт-25, 14:49
	Это "поляки" были ж, при чём тут китайцы?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	32. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	–2 +/–
	Сообщение от Аноним (32), 09-Окт-25, 14:43
	Потому что васян с кор2дуба заметил как проц грузили типичные задачи с зксзед и обратился к профи из Майкрософт,который и выяснил в чем дело? Великий опенсурс!
	Ответить \| Правка \| К родителю #23 \| Наверх \| Cообщить модератору


	49. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
	Сообщение от Аноним (49), 09-Окт-25, 17:10
	Да, прилагаются. Они там свой ЯП развели!
	Ответить \| Правка \| К родителю #1 \| Наверх \| Cообщить модератору

6. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
Сообщение от Мемоним (?), 09-Окт-25, 13:16
> Simple Data Description Language Интересно, чем им Kaitai Struct не угодил. По описанию вроде почти одно и то же.
Ответить \| Правка \| Наверх \| Cообщить модератору


	8. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
	Сообщение от Жироватт (ok), 09-Окт-25, 13:25
	Там есть крайне фатальный недостаток – его писали не они!
	Ответить \| Правка \| Наверх \| Cообщить модератору


	25. Скрыто модератором	+/–
	Сообщение от Аноним (-), 09-Окт-25, 14:30
	Ага. Они то могут в сериализацию. А Kaitai Struct пока только серят.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	14. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
	Сообщение от anonymous (??), 09-Окт-25, 13:53
	Katai Struct до сих пор не умеет в (де)сериализацию. Фатальный недостаток.
	Ответить \| Правка \| К родителю #6 \| Наверх \| Cообщить модератору


	17. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
	Сообщение от Аноним (17), 09-Окт-25, 13:58
	ну вот, могли бы исправить :)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	27. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+1 +/–
	Сообщение от Аноним (-), 09-Окт-25, 14:33
	Могли. Но это нужно идти к каким-то васянам, предлагать свои патчи, оформлять как тем хочется... Или сделать свое, в котором ты сам себе хозяин.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	37. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
	Сообщение от Аноним (17), 09-Окт-25, 16:05
	да, не посмотрел, что у kaitai struct неудобная лицензия
	Ответить \| Правка \| Наверх \| Cообщить модератору


	44. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
	Сообщение от Аноним (44), 09-Окт-25, 16:53
	Неудобная для проприерастов.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	42. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
	Сообщение от Аноним (44), 09-Окт-25, 16:43
	Как ты сейчас яжфинна васяном обозвал.
	Ответить \| Правка \| К родителю #27 \| Наверх \| Cообщить модератору


	34. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
	Сообщение от Мемоним (?), 09-Окт-25, 15:39
	Я имел в виду только язык описания структур. А генератор могли бы свой уже писать, хоть с сериализацией, хоть без. Всяко проще чем с нуля изобретать.
	Ответить \| Правка \| К родителю #14 \| Наверх \| Cообщить модератору


	53. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
	Сообщение от Аноним (53), 09-Окт-25, 18:08
	Это абсолютно не важно. То что он не умеет (на самом деле умеет, просто рудиментарно, что характерно - для тупых случаев вроде того, что обрабатывает OpenZL - как раз умеет!) в сериализацию (а в десериализацию он как раз умеет) - это абсолютно иррелевантно, так как они не собирались использовать ни компилятор KS (который требует JVM!), ни производимые им артефакты (исходник на различных языках). На самом деле им KS не подошёл потому, что им был нужен язык не только для описания форматов, но и для описания своих пайплайнов. Я полагаю (git не проверял), что они сначала сделали язык для описания своих пайплайнов, а потом уже прикрутили туда описание форматов, как ещё одну голову у Горыныча, на тот же язык, и чтобы не городить 10 языков в одном приложении - туда же в тот же синтаксис засунули описание форматов. Грязно, но практично.
	Ответить \| Правка \| К родителю #14 \| Наверх \| Cообщить модератору

7. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+/–
Сообщение от Жироватт (ok), 09-Окт-25, 13:23
Т.е. её ещё и обучать надо? Перед упаковкой. Файлы как набор структурированных данных жуёт или только жмёт один файл как хранилище? > команду "zli train" Результат СЕЙЧАС насколько зависит от версии и от машины, на которой формируется профиль?
Ответить \| Правка \| Наверх \| Cообщить модератору

10. "Система сжатия OpenZL, опережающая Zstd и XZ по скорости и у..."	+1 +/–
Сообщение от Аноним (10), 09-Окт-25, 13:40
А чего не сравнили с непрерывном методом сжатия (solid archive) rar архивов? Он уже отлично сжимал повторяющиеся данные лет 25 назад. p.s. а лучше бы вообще уже выкупили rar у Рошала и сделали бы алгоритм открытым и бесплатным.
Ответить \| Правка \| Наверх \| Cообщить модератору