https://lifestratus.com/openforum/vsluhforumID3/110362.html Вышел (http://kaitai.io/news/2017-02-04.html) очередной релиз языка разбора произвольных бинарных файлов Kaitai Struct 0.6, приуроченный к конференции FOSDEM 2017. Язык позволяет создавать спецификации произвольных бинарные форматы файлов / пакетов / протоколов, после чего можно:<br><br><br>- Визуализировать данные в этом формате в виде интерактивного дерева объектов, наблюдая каким байтам в дампе соответствуют какие значения:<br><br><br><br>- Получить наглядную диаграмму формата с помощью GraphViz<br><br><br><br>- Скомпилировать спецификацию формата в готовую библиотеку парсинга формата на языках C++, C#, Java, JavaScript, Perl, PHP, Python, Ruby<br><br><br><br><br><br>Среди основных нововведений версии 0.6 можно выделить:<br><br><br>- Поддержка невыравненного (unaligned) побитового чтения (удобно поддерживать битовые поля, можно читать потоки битов и т.д.)<br><br>- Мощная поддержка метаинформации в .ksy (добавлены поля "title", "license", "ks-version", "ks-debug"), поддержка "doc" на уровне типов<br><br>- Enum'ы выведены на уровень типов - т.е. теперь https://lifestratus.com/openforum/vsluhforumID3/110362.html#31 Fri, 10 Feb 2017 21:17:20 GMT &gt;&gt;&gt; где-то видел список поддерживаемых кодировок для строк, теперь найти не могу.<br>&gt;&gt; Нет общего списка, есть далекое желание его создать и медленно рихтуемая табличка <br>&gt; Ещё есть {lib,}{recode,enca,rcd}...<br><br>Есть, но (1) к счастью, большинство языков таки используют реализацию из iconv, (2) пока хоть это бы к чему-нибудь более-менее стандартному свести.<br><br>Пока общим знаменателем, кажется, получается система codepages в Windows - она вроде бы меньше всех, правда, там встречается местами какая-то дикая экзотика. Сам по себе современный iconv совершенно гигантский - см. табличку.<br> https://lifestratus.com/openforum/vsluhforumID3/110362.html#30 Fri, 10 Feb 2017 21:14:11 GMT &gt;&gt; где-то видел список поддерживаемых кодировок для строк, теперь найти не могу.<br>&gt; Нет общего списка, есть далекое желание его создать и медленно рихтуемая табличка <br><br>Ещё есть {lib,}{recode,enca,rcd}...<br> https://lifestratus.com/openforum/vsluhforumID3/110362.html#29 Fri, 10 Feb 2017 21:09:54 GMT &gt; где-то видел список поддерживаемых кодировок для строк, теперь найти не могу.<br><br>Нет общего списка, есть далекое желание его создать и медленно рихтуемая табличка https://docs.google.com/spreadsheets/d/1l87kGi9_U4Xrgaw2CGaTc9-_f5UEf1nf-68Dk_e1_iA/edit?usp=sharing<br><br>Сейчас строчка передается в поддержку кодировок целевого языка как есть - строчкой.<br><br>&gt; для строк можно будет вызывать внешний перекодировщик-дешифровщик? или свою таблицу как-нибудь <br>&gt; впилить?<br><br>Если целевой язык поддерживает - то все будет работать. Если нет - то, соответственно, нет. Большинство языков опираются на iconv &#8594; нужна поддержка в glibc.<br><br>С другой стороны - кто вам мешает забрать строчку в ASCII или просто как массив байт и что-то с ней потом сделать самостоятельно?<br><br>&gt; КОИ-7Н2 не поддерживается :( <br><br>Честно говоря, сомневаюсь, что оно хоть где-то когда-то будет поддерживается. Стандартизующей организации нет, формальных документов нет, отвечать некому.<br> https://lifestratus.com/openforum/vsluhforumID3/110362.html#28 Fri, 10 Feb 2017 19:41:21 GMT где-то видел список поддерживаемых кодировок для строк, теперь найти не могу.<br><br>для строк можно будет вызывать внешний перекодировщик-дешифровщик? или свою таблицу как-нибудь впилить?<br>КОИ-7Н2 не поддерживается :(<br> https://lifestratus.com/openforum/vsluhforumID3/110362.html#27 Fri, 10 Feb 2017 19:23:39 GMT &gt; документация краткая, предлагаю первым пунктом вставить ссылку на тесты, несущие куда больше <br>&gt; знаний: <br>&gt; https://github.com/kaitai-io/kaitai_struct_tests/tree/master/formats <br><br>Более полная есть пока тут:<br>https://github.com/kaitai-io/kaitai_struct_doc/blob/master/user_guide.adoc<br><br>&gt; а в визуализаторе нет вывода текущего атрибута "doc" в нижнюю строку терминала. <br><br>Сделаем...<br> https://lifestratus.com/openforum/vsluhforumID3/110362.html#26 Fri, 10 Feb 2017 19:22:43 GMT документация краткая, предлагаю первым пунктом вставить ссылку на тесты, несущие куда больше знаний:<br>https://github.com/kaitai-io/kaitai_struct_tests/tree/master/formats<br><br>а в визуализаторе нет вывода текущего атрибута "doc" в нижнюю строку терминала.<br> https://lifestratus.com/openforum/vsluhforumID3/110362.html#25 Mon, 06 Feb 2017 18:09:38 GMT Реально шизоидный - это в Construct3, они там кучу всего накрутили с syntactic sugar ;)<br><br>А так - инструмент как инструмент для своих задач. Если нужно оставаться строго в рамках одного языка - таких как раз масса. Вот человек тут коллекционирует: https://github.com/dloss/binary-parsing<br> https://lifestratus.com/openforum/vsluhforumID3/110362.html#24 Mon, 06 Feb 2017 10:42:05 GMT &gt; Попробуй еще construct https://github.com/construct/construct <br>&gt; Правда, когда приходится крутиться со всякими сложными условиями: например вставить свой <br>&gt; код, для вычисления какой-либо хитрой штуки - хочется выйти в окно <br>&gt; автора за то, что он не придумал более легкого способа.<br><br>Спасибо. Тоже, вероятно, годно. Хотя синтаксис там несколько шизоидный :) https://github.com/construct/construct/blob/master/construct/examples/protocols/ipstack.py - тот еще "питон". Но с ExprAdapter фокусы прикольные.<br> https://lifestratus.com/openforum/vsluhforumID3/110362.html#23 Sun, 05 Feb 2017 20:55:37 GMT &gt;&gt; Надо, что ли, список неофициальных пакетов завести?..<br>&gt; А эт твоё, Миш? :) <br><br>Ну теперь уже командное ;) А так - начинал несколько лет назад я, да и до сих пор, наверное, процентов 80 кода написано мной.<br>