https://www.opennet.me/openforum/vsluhforumID3/139144.html При работе с llama.cpp имеется постоянная необходимость её пересобирать, так как в отличие от ONNX Runtime GGUF-файлы не хранят сериализованный граф вычислений, вместо этого процедура инференса вручную кодится в C++-коде, и за счёт применения информации, которую в ONNX обычно не сериализуют (ONNX обычно экспортируется автоматически, но знания можно туда встроить, если закодировать конструирование ONNX-графа вручную), может быть достигнута большая эффективность (по потреблению ресурсов) инференса. <br><br>Это приводит к тому, что для того, чтобы исполнять модель на llama.cpp необходимы усилия программистов. В большинстве случаев каждая новая модель обладает уникальной архитектурой, и в большинстве случаев её поддержка кодится в проект сотрудниками компании-разработчика самой модели, если компания нуждается в продвижении своих моделей (зачастую такие модели распространяются под проприетарной лицензией, запрещающей коммерческое использование без заключения договора, при этом они закрывают некоторые потребности тех, https://www.opennet.me/openforum/vsluhforumID3/139144.html#28 Sun, 18 Oct 2026 23:58:38 GMT Слишком громко и самоуверенно сказано, что никто.<br> https://www.opennet.me/openforum/vsluhforumID3/139144.html#27 Sun, 27 Sep 2026 13:36:26 GMT &gt; Как сказать cmake так, чтоб собираемые бинарники сперва искали библиотеки в тех-же директориях где они сами?<br><br>set(CMAKE_BUILD_RPATH "$ORIGIN")<br><br><br>Workaround с LD_LIBRARY_PATH неудобен, его нужно добавлять при каждом запуске. Вместо этого можно изменить путь поиска библиотек в самом бинарнике:<br>patchelf --set-rpath '$ORIGIN' /path/to/binary<br><br>Здесь $ORIGIN - это не переменная среды, а специальная подстановка для загрузчика, означающая "каталог, где находится сам бинарник". Путь может быть относительным, например '$ORIGIN/../lib'.<br> https://www.opennet.me/openforum/vsluhforumID3/139144.html#26 Fri, 07 Aug 2026 05:37:27 GMT У меня наверное тривиальный вопрос по сборке llama.cpp, касается он нахождения путей динамических библиотек (точнее приоритет), так что ответ наверное знает любой разработчик который использует cmake. Надеюсь мне кто поможет с решением, хотя надо было попробовать спросить какою-то локальную модель, AI поисковика google вчера вечером мне не помог :) <br><br>Я собираю llama по инструкции: `cmake -B build -DGGML_VULKAN=ON && cmake --build build --config Release`, условно это происходит в `~/project/thid-party/llama.cpp`, получающийся билд будет в поддиректории `./build/release/bin`. <br><br>Так-как я отслеживаю прогресс я копирую билд в отдельную директорию, условно в `~/apps/llama.cpp.146`. И все вроде хорошо, но все бинарники резолвят рядом лежащие динамические библиотеки почему-то из директории где был собран проект: `~/project/thid-party/llama.cpp/build/release/bin` что видно по выводу команды ldd, разумеется старые билды падают при старте. <br><br>Есть два workaround`a: использование переменной окружения `LD_LIBRARY_ https://www.opennet.me/openforum/vsluhforumID3/139144.html#25 Mon, 20 Apr 2026 06:25:22 GMT Если ты не собрался конвертить модели в GGUF - не требует. Если собрался ... так ВНЕЗАПНО все эти модели созданы фреймворками на питоне, и читаются обычно этими самыми же фреймворками. А для llama-cli и llama-server питон необязателен.<br> https://www.opennet.me/openforum/vsluhforumID3/139144.html#24 Sun, 19 Apr 2026 21:41:34 GMT К чему столько слов? Отошли патчи сам.<br> https://www.opennet.me/openforum/vsluhforumID3/139144.html#23 Sun, 19 Apr 2026 21:40:35 GMT &gt; на питоне ... вспомогательные утилиты<br><br>- Уже ведь требует установку этого zog-высера...<br><br>/мимопроходил<br> https://www.opennet.me/openforum/vsluhforumID3/139144.html#22 Sun, 19 Apr 2026 21:20:37 GMT Тоже самое что и если только 1 день с магазина. Любое устройство/комп - конь, троянский .)<br> https://www.opennet.me/openforum/vsluhforumID3/139144.html#21 Sat, 18 Apr 2026 06:53:07 GMT У них бывает.<br>Взяли васянский образ, развасянили, ляп-тяп в продакшн.<br>Потом оно свалилось, но к тому моменту за васяном идти уже некому - герой уже сбежал.<br>И на его месте - новый герой, который пошёл к другому васяну, модному на данный момент.<br>А потом финансы берут состояние проектов и рисуют красивые зелёные графики красным цветом.<br> https://www.opennet.me/openforum/vsluhforumID3/139144.html#20 Wed, 08 Apr 2026 14:51:59 GMT &gt; там можно пакетами обойтись<br><br>Никто не пакетирует стандартный продукционный софт, разрабатываемый внутри компаний. Это просто никому не нужно было даже до контейнеров, а с появлением контейнеров и подавно.<br>