Разработчики из компании Red Hat опубликовали интересную заметку (http://developerblog.redhat.com/2015/04/07/jit-compilation-u.../) с примером использования библиотеки libgccjit (https://gcc.gnu.org/wiki/JIT), которая входит в состав набора компиляторов GCC 5 (https://gcc.gnu.org/gcc-5/changes.html), релиз которого ожидается через несколько недель. В GCC 5 генератор кода может быть собран в виде разделяемой библиотеки, встроен в другие процессы и использован для упреждающей AOT-компиляции (Ahead-of-time) или JIT-компиляции байткода в машинный код. В заметке показано как построить компилятор для гипотетического языка программирования, используя Python-биндинг (https://pypi.python.org/pypi/gccjit) к libgccjit для JIT-компиляции кода в Python-скрипте.
URL: http://developerblog.redhat.com/2015/04/07/jit-compilation-u.../
Новость: http://www.opennet.me/opennews/art.shtml?num=41999
Компиляторы из промежуточного представления в бинарное имеют смысл при инсталляции кроссплатформенных программ из единого источника на разные аппаратные платформы. Это то что гугл сделал в виде art. А JIT как компиляция каждый раз при запуске программы - а нафиг это нужно?
Писать скрипты в сишном коде не на lua или, избавь Ктулху, на JavaScript, а на Си.
Звучит офигительно.
Что-то я не вижу ничего хорошего в скриптах на Си.
Если же вы думаете, что это поднимет средний уровень скриптов, то я скорее предположу, что это понизит средний уровень программистов на Си.
Есть программа на Си. Нужно в ней что-то скриптовое. Разумеется лучше чтобы этот скрипт будет написан на Си, чем сишник будет ещё разбираться с lua или ещё чем похуже.
Какой кусок кода в гипотетической, но уже написанной C-шной программе "разумеется лучше" не компилировать для конечного использования?
Скриптовый. Т.е. часто изменяемый. Возможно даже пользователем.
Пользоветель скорее умрет, но попросит сделать поддержку LUA вместо С.
"Частоизменяемый" не проблема компилировать при разработке.
В том то и дело, что изменяемый при эксплуатации, а не при разработке.
Смотри пост 7.14
Чем лучше писать скрипты на C по сравнению с LUA?
> Чем лучше писать скрипты на C по сравнению с LUA?Тем, что зная Си ты уже автоматичемски знаешь Си. Круто, да?
А вот знание Си никак не обеспечивает знание Lua.
:)
Знание C/C++/Tcl/BASH мне тут же обеспечило знание LUA. Попробуй под пытками заставить человека, знающего только LUA,Tcl и BASH хоть что-то написать на C/C++ -- человек погибнет. ;-)
> Тем, что зная Си ты уже автоматичемски знаешь Си. Круто, да?
> А вот знание Си никак не обеспечивает знание Lua.
> :)Все знают Бейсик, но это же не повод писать на нём абсолютно всё.
да ну
Обычно что-то скриптовое в программе нужно для расширения функциональности пользователем, а не программистом.
О чем речь, если оно поддерживает си, то и луа автоматом, кому надо луа пусть его юзает, кому надо си пусть юзает его, программировать плагины, думаю, будет гораздо удобнее.
Если оно будет динамически обновлять код по ходу выполнения, так это сказка.
Я всего один раз написал на LUA, но с полпинка небольшой скрипт без предварительной подготовки вообще(C не в счёт). Если дать LUA-программисту, не видевшему C, аналогичную, но обратную задачу: написать то же самое не C -- он помрёт тут же.
Lua божественнен. Один из самых шустрых скриптовых языков, очень малые затраты на выполнение и встаривание.
Ну никто и не утверждает обратного.
Но сишникам приятней будет использовать Си уже потому, что он Си. На родном языке всегда проще.
Проще что?На самолёте проще чем на троллейбусе.
>Проще что?всё
>>Проще что?
> всёхэш‐таблицы, например. куда уж несчастным скриптовикам до няшности и удобства использования хэш‐таблиц в си…
Для скриптовых нужд у C уж больно слабо в плане синтаксиса и высокоуровневых конструкций. Я сишник, но писать на сях скрипты мне в голову бы не пришло. Вот на D и программа и скрипт - без проблем. На плюсах - тоже можно хотя бы сделать по-человечески, спрятав всё управление временем жизни, ресурсами, памятью. Хотя, конечно, скорость компиляции... Но на C? С явным управлением ресурсами (или адскими костылями), со здоровенными префиксами имён функций вместо красивого объектного синтаксиса, без приличных средств обработки ошибок... да ну его на фиг.Вообще - для скриптов есть питон. Это та область, где он на месте - нагрузки никакой (вся работа делается в компилируемом коде, который из питона только зовётся), читается в небольших количествах легко, интуитивно довольно понятен.
> Для скриптовых нужд у C уж больно слабо в плане синтаксиса и
> высокоуровневых конструкций.Начал "за здравие"...
> Вообще - для скриптов есть питон.
... а закончил "за упокой".
И в чём проблема? Для скриптов нужно что-то, где, как минимум, можно автоматом управлять памятью и иметь нормальную итерацию. Ну и всякий удобный синтаксический сахар вроде питоновских list comprehensions. си не годится, а питон - вполне, для того и создан.
>... На плюсах - тоже можно хотя бы сделать по-человечески, спрятав всё управление временем жизни, ресурсами, памятью. Хотя, конечно, скорость компиляции ...Precompiled Headers ?! Нет, не слышал.
Их хватает, чтобы компиляция не занимала вечность, но не для того, чтобы компилировать плюсы на лету.
> На плюсах - тоже можно хотя бы сделать по-человеческиНельзя.
> На родном языке всегда проще.Запатентуй компилятор мата -- обогатишься. ;-)
Вообще-то, libgccjit - это всего лишь backend, т.е. генератор машинного кода. А вот фронтенд для C вам придется написать самим. Эта задачка посложнее всей libgccjit будет. Так что сабж подходит для чего-то простого, что при этом кровь из носу надо скомпилировать налету. Даже не знаю, что это могло бы быть.А для "скриптов на C" лучше смотреть в сторону clang.
Для разного нужно:
- динамическая оптимизация программы с учетом текущего профиля выполнения (JVM);
- модификация программы во время выполнения (Лисп, Смолток и др.);
- предметно-ориентированные языки, являющиеся частью интерфейса пользователя.
> динамическая оптимизация программы с учетом текущего профиля выполнения (JVM);Ну, это скорее её недостаток. Ей ведь надо балансировать между скоростью запуска и скоростью работы, вот и выкручиваются, как могут.
> модификация программы во время выполнения (Лисп, Смолток и др.);
Вот. Именно для этого JIT и нужен в первую очередь. Но упаси боже, не в том же виде, в каком предлагают его LLVM и JVM.
> предметно-ориентированные языки, являющиеся частью интерфейса пользователя.
А вот тут я бы попросил объяснить, что имеется в виду.
> Ну, это скорее её недостаток. Ей ведь надо балансировать между скоростью запуска и скоростью работы, вот и выкручиваются, как могут.На серверах, где программа перезапускается редко и работает долго, это не проблема.
> Но упаси боже, не в том же виде, в каком предлагают его LLVM и JVM.
В чем суть отличий "того же вида" от не того?
> А вот тут я бы попросил объяснить, что имеется в виду.
Различные системы, предоставляющие пользователю специализированный язык для решения его задач: Маткады всякие, статистические пакеты типа R или Incanter, шеллы, приложения с поддержкой макрокоманд, мало ли что еще. JIT в них не всегда оправдан, но бывают случаи, когда объем вычислений значителен и JIT окупается.
> В чем суть отличий "того же вида" от не того?Да, да, поддерживаю, пускай расскажет нам про "Ъ-виды" и "НЕ-Ъ-виды".
>> Ну, это скорее её недостаток. Ей ведь надо балансировать между скоростью запуска и скоростью работы, вот и выкручиваются, как могут.
> На серверах, где программа перезапускается редко и работает долго, это не проблема.А у программ скомпилированных "до конца", такой проблемы нет.
>> Но упаси боже, не в том же виде, в каком предлагают его LLVM и JVM.
> В чем суть отличий "того же вида" от не того?Суть в том, что от проектов LLVM и JVM то и дело слышны возгласы, что мол проекты позволяют достигнуть производительности компилируемых языков, и что производительность их за так сильно возросла именно за счёт JIT. Надо понимать, что JIT всё-таки хоть и может привести к повышению производительности, но вообще говоря не для неё создан, ибо "до конца" с компилированные программы по-любому дадут более оптимизированный код.
А вот что касается возможности генерации кода на лету - то это действительно очень востребовано. Во-первых любой REPL[1] на этом основан, во-вторых - очень удобно генерировать функцию на лету и возвращать её в качестве результата работы другой функции. "Да и вообще, какой смысл писать программу, которая даже не умеет модифицировать свой код?" [2]
>> А вот тут я бы попросил объяснить, что имеется в виду.
> Различные системы, предоставляющие пользователю специализированный язык для решения
> его задач: Маткады всякие, статистические пакеты типа R или Incanter, шеллы,
> приложения с поддержкой макрокоманд, мало ли что еще. JIT в них
> не всегда оправдан, но бывают случаи, когда объем вычислений значителен и
> JIT окупается.Ну, это всё же частные случаи второго пункта, про модификацию программы во время выполнения.
[1] https://ru.wikipedia.org/wiki/REPL
[2] http://jim.pp.ru/chtivo/prosa/porgrammerstory.htm
> Суть в том, что от проектов LLVM и JVM то и дело слышны возгласы...Ну это не технические отличия, а вопрос позиционирования.
И на самом деле, производительность можно улучшить за счет JIT. Например, JIT позволяет вызывать напрямую или даже встраивать полиморфные вызовы, если во время выполнения оказывается, что используется только одна реализация (может зависеть от входных данных — оптимизировать статически не получится). А встраивание делает возможными дальнейшие оптимизации. Если что-то меняется, что может нарушить сделанные допущения, оптимизация отменяется. Обзор оптимизаций, которые выполняет HotSpot: https://wikis.oracle.com/display/HotSpotInternals/Performanc...
Но возможность динамически менять код — более важное применение, с этим согласен.
> Ну, это всё же частные случаи второго пункта, про модификацию программы во время выполнения.
Можно считать и так. Выделил отдельно, чтобы обратить внимание на то, что технология может быть непосредственно полезна не только разработчикам, но и конечным пользователям.
>> Суть в том, что от проектов LLVM и JVM то и дело слышны возгласы...
> Ну это не технические отличия, а вопрос позиционирования.
> И на самом деле, производительность можно улучшить за счет JIT. Например, JIT
> позволяет вызывать напрямую или даже встраивать полиморфные вызовы, если во время
> выполнения оказывается, что используется только одна реализация (может зависеть от входных
> данных — оптимизировать статически не получится).Да, это может дать прирост производительности. Однако я не очень представляю, как оптимизации, основанные на входных данных могут быть произведены автоматически. Это наверняка потребует строго выдержанного стиля кода, отступление от которого приведёт к невозможности подобных оптимизаций.
Если бы Вас не затруднило предоставить примеры, где подобный подход действительно применяется и даёт выигрыш - было бы здорово.
К тому же, не стоит забывать, что такой подход подразумевает возрастающие накладные расходы для постоянного анализа входных данных, чтобы отловить случай, когда они перестанут удовлетворять выбранной по умолчанию реализации. Об этом в частности свидетельствует Ваша ссылка[1]. Окупятся ли данные расходы за счёт JIT - тоже нетривиальный вопрос.
Итого мы стоим лицом к лицу со многими неочевидными вопросами и сомнительным выигрышем в производительности. Собственно, для меня это и является причиной считать LLVM и JVM - не правильной вещью.
[1] https://wikis.oracle.com/display/HotSpotInternals/Performanc...
PS: Извиняюсь за столь длительную задержку с ответом -- меня выбила из колеи магистерская диссертация. Если у Вас будет желание, мы могли бы продолжить дискуссию по email.
> А JIT как компиляция каждый раз при запуске программы - а нафиг это нужно?Как-то так шейдеры в GPU вгружают например. Хотя иногда скомпиленое и кэшируют.
"Разные аппаратные платформы " - это и разное число ядер, в том числе ...
Тогда не JIT, а просто сборка на клиенте. Но вообще-то разное число ядер в коде спокойно обрабатывается. Пул потоков, очередь заданий,да и всё
JIT-компиляция может учесть все экстенжены текущего процессора, что приведет к заметному бусту высоко нагруженных длительных вычислений.
Так здесь не JIT, а вполне себе нормальная AOT-компиляция нужна - при первом запуске собрал (или до него - привет Гента), закешировал и пусть лежит.
>библиотеки libgccjit, которая входит в состав набора компиляторов GCC 5, релиз которого ожидается через несколько недельGCC 5 начинает догонять старые версии LLVM :)
> GCC 5 начинает догонять старые версии LLVM :)Забавность ситуации заключается в том, что у gcc намного более богатые возможности по расширению - от легкого расширения ast дерева (в llvm это можно сделать только на интринсиках) до распараллеливания на GPU "из коробки". И открыв функциональность по jit они не догоняют "старые версии llvm" а уходят в далекий-предалекий отрыв. Порог вхождения в gcc выше, и новичку намного легче написать frontend на llvm, но когда узнаешь все возможности gcc, то llvm перестает казаться даже адекватной альтернативой.
Однако это не умаляет достоинства llvm, они дали очень хороший "пинок" для развития gcc. Конкуренция это всегда хорошо. И может быть они когда нибудь догонят gcc по возможностям...
> Однако это не умаляет достоинства llvm, они дали очень хороший "пинок" для
> развития gcc. Конкуренция это всегда хорошо. И может быть они когда
> нибудь догонят gcc по возможностям...Это вряд ли. Они ведь компилируются только в одну архитектуру, а потом на лету пытаются перекомпилироваться в машинные коды. Трижды ха. Это конечно определённо даёт фору в реализации новых стандартов ЯП, но жутко демпингует их по качеству сгенерированного кода. JIT относительно хорош для многих вещей, но не для оптимизации же.
Однако конкуренция - таки да, это хорошо.