https://www.opennet.ru/openforum/vsluhforumID3/139144.html При работе с llama.cpp имеется постоянная необходимость её пересобирать, так как в отличие от ONNX Runtime GGUF-файлы не хранят сериализованный граф вычислений, вместо этого процедура инференса вручную кодится в C++-коде, и за счёт применения информации, которую в ONNX обычно не сериализуют (ONNX обычно экспортируется автоматически, но знания можно туда встроить, если закодировать конструирование ONNX-графа вручную), может быть достигнута большая эффективность (по потреблению ресурсов) инференса. <br><br>Это приводит к тому, что для того, чтобы исполнять модель на llama.cpp необходимы усилия программистов. В большинстве случаев каждая новая модель обладает уникальной архитектурой, и в большинстве случаев её поддержка кодится в проект сотрудниками компании-разработчика самой модели, если компания нуждается в продвижении своих моделей (зачастую такие модели распространяются под проприетарной лицензией, запрещающей коммерческое использование без заключения договора, при этом они закрывают некоторые потребности тех, https://www.opennet.ru/openforum/vsluhforumID3/139144.html#19 Tue, 24 Mar 2026 14:35:41 GMT Не понимаю о чём вы, там jinja на c++ переписана, что большая RCE-уязвимость, на питоне только вспомогательные утилиты, весь инференс идёт на C++, Cuda, OpenCL и SPIR-V.<br> https://www.opennet.ru/openforum/vsluhforumID3/139144.html#18 Sat, 21 Mar 2026 09:39:16 GMT &gt; Все патчи можно скачать единым архивом. Архив имеет 2 директории,<br>&gt; в одной патчи для ускорения пересборки<br><br>А вы не могли бы хотя-бы избавление от питона закинуть в основной проект?<br> https://www.opennet.ru/openforum/vsluhforumID3/139144.html#13 Wed, 11 Feb 2026 06:57:33 GMT &gt; FIDO2 и Windows Hello.<br><br>Не слышал про такие вещи, хотя и пользуюсь гитхабом. Может я на каком-то другом гитхабе? А даже если бы мне их там впаривали, я бы просто игнорировал. (Да, так тоже можно было.)<br><br>&gt; ради стада пользователей<br><br>Ну вот в твоем нарративе есть некое стадо, а есть весь такой индивидуум Ты, который не такой, как все. Прикольный нарратив, я и сам в подростковом возрасте таким баловался. Но со стороны я вижу, что в стаде тусуются куда более талантливые представители индустрии (включая например Торвальдса, создающего личные репы именно на гитхабе), а ты просто пишешь корявые статьи, отправленные не по адресу. То есть я твой нарратив воспринимаю с иронией. С моей точки зрения, ты рассказываешь самому себе сказки о собственной исключительности. И ладно, если бы они были для ЧСВ -- мы все 24/7 рассказываем самим себе историю о самих себя. Твой же нарратив не столько повышает ЧСВ, сколько понижает КПД, -- вот что забавно. От нарратива должна быть осязаемая польза.<br><br>&gt; купить какой приказано кам https://www.opennet.ru/openforum/vsluhforumID3/139144.html#12 Wed, 11 Feb 2026 06:04:40 GMT &gt;То есть ты даже собственному нарративу об идеологической неверности не следуешь? Каша в голове что жесть.<br><br>Неверность гитхаба заключается в использовании купленной популярной платформы, купленной ради стада пользователей, майкрософтом для навязывания этому стаду FIDO2 и Windows Hello.<br><br>&gt;Достаточно просто выбирать эффективные пути решений, тем более если их эффективность очевидна примерно всем.<br><br>Я и говорю. Не пердолиться с линуксом и пиратскими сайтами, а купить какой приказано камень с каким надо DRM, купить лицензию на Windows 11, и подписку на Netflix. А лучше вообще телефон Apple.<br><br>&gt;Всем было пофиг всю неделю<br><br>Эта статья неделю и не висела. Она через две недели после того, как я её Чиркову отправил, тут появилась. Я уже думал что её ффтопку пустили, как мою предыдущую статью подобного рода уже не помню о чём (но где-то у меня лежит Markdown-файл).<br><br>&gt;Вот у тебя то же самое: тебе внушили какую-то незатейливую мысль про "докер овно, гитхаб овно", и теперь двухминутная задача уносит тебя в недельный https://www.opennet.ru/openforum/vsluhforumID3/139144.html#11 Tue, 10 Feb 2026 19:39:54 GMT &gt; Гитхаб пока-что позволяет качать без аккаунта<br><br>То есть ты даже собственному нарративу об идеологической неверности не следуешь? Каша в голове что жесть.<br><br>&gt; Чтобы не было бессонных ночей, нужно машину нормальную купить.<br><br>Не обязательно. Достаточно просто выбирать эффективные пути решений, тем более если их эффективность очевидна примерно всем.<br><br>&gt; Если всё всем настолько пофиг на этот набор патчей, то как ты тут оказался?<br><br>Всем было пофиг всю неделю. Потом появился я и из жалости посоветовал отправить в апстрим. А потом ты стал нести дичь про идеологическую неверность, так что ща я тут чисто поржать над тем, как вирусня в твоей башке заставляет тебя выбирать максимально неэффективные пути. Знаешь про DoS-атаки? Это когда серверу посылают минимальное количество байт, а он их обрабатывает вечность, так что даже DDoS не нужен? Вот у тебя то же самое: тебе внушили какую-то незатейливую мысль про "докер овно, гитхаб овно", и теперь двухминутная задача уносит тебя в недельный DoS.<br> https://www.opennet.ru/openforum/vsluhforumID3/139144.html#10 Tue, 10 Feb 2026 18:56:23 GMT &gt;Ты за это время еще только-только пытаешься сообразить, откуда бы стянуть исходники, не заходя на идеологически неверный гитхаб<br><br>Гитхаб пока-что позволяет качать без аккаунта, так что мимо. BTW, я ничего не ищу, у меня на машине постоянный репозиторий лежит, который надо иногда с апстримом синхронизировать.<br><br>&gt;После этого следуют бессонные ночи на обдумывание, как бы ускорить конпеляцию<br><br>Чтобы не было бессонных ночей, нужно машину нормальную купить. А ещё лучше - просто ChatGPT/Claude использовать или решение под ключ и со всякими llama.cpp не пердолиться, раз такая задача поставлена - максимально ускорить запуск. <br><br>&gt;А фактический выхлоп -- ноль, т.к. единственный, кто в твоем мартышкином труде мог бы быть заинтересован, не получил от тебя пулл реквест.<br><br>Однако ты тут, в этом треде. Если всё всем настолько пофиг на этот набор патчей, то как ты тут оказался?<br> https://www.opennet.ru/openforum/vsluhforumID3/139144.html#9 Tue, 10 Feb 2026 16:15:01 GMT &gt; Не бывает двухминутных задач.<br><br>Я на расслабоне запускаю `podman run ghcr.io/ggml-org/llama.cpp:server-cuda` и всё. Нахождение урла занимает минуту. Скачивание образа занимает минуту. Ты за это время еще только-только пытаешься сообразить, откуда бы стянуть исходники, не заходя на идеологически неверный гитхаб. После этого следуют бессонные ночи на обдумывание, как бы ускорить конпеляцию. А фактический выхлоп -- ноль, т.к. единственный, кто в твоем мартышкином труде мог бы быть заинтересован, не получил от тебя пулл реквест.<br><br>&gt; Купите себе отдельную физическую машину на каждый бинарник.<br><br>Инструменты применяются сообразно задачам и модели безопасности. Впрочем, ты видимо из тех, кто оставляет квартиру нараспашку, потому что "настоящая защита бывает только у противоядерных бункеров, а всё остальное это лишь полумеры."<br><br>Раз уж ты пользователь LLM, попробуй спросить у LLM мнение по поводу нашего диалога. Скопируй все сообщения, спроси мнение. Вдруг окажется, что и LLM идеологически неверный!<br> https://www.opennet.ru/openforum/vsluhforumID3/139144.html#8 Tue, 10 Feb 2026 15:16:54 GMT &gt;Убеждения, превращающие двухминутную задачу в недельную<br><br>Не бывает двухминутных задач. Откуда вы взяли 2 недели - хз.<br><br>&gt;Изолировать желательно все бинарники<br><br>Отлично, это вы сказали - вот вы и изолируйте. Купите себе отдельную физическую машину на каждый бинарник. Потому что что-либо иное - это несеръёзно, а докер - это вообще не для безопасности, а для развёртывания, для безопасности - это минимум гипервизоры, причём не общего назначения вроде QEMU или VirtualBox, а хардкорные с минимальной поверхностью атаки вроде firecracker, но гипервизоры вы как раз использовать не планировали. При этом гипервизоры вас даже такие не особо защитят, ведь аппаратура - общая. Серьёзные дяди используют отдельные физические машины в айргапнутых сетях. Вот и используйте, у вас же задекларирована цель - изоляция любой ценой. А я не могу себе позволить разбазаривать бабло на такое. С удовольствием бы собрал кластер из сотни физических малинок, по малинке на процесс, если бы мог себе это позволить.<br> https://www.opennet.ru/openforum/vsluhforumID3/139144.html#7 Tue, 10 Feb 2026 15:07:40 GMT А если дыра в ядре десять лет сидит?<br>