https://www.opennet.ru/openforum/vsluhforumID3/132212.html Разработчики из компании Mozilla представили первый выпуск утилиты llamafile, позволяющей создавать универсальные исполняемые файлы для запуска больших языковых моделей машинного обучения (LLM). При помощи llamafile можно взять файл с параметрами модели машинного обучения в формате GGUF и преобразовать его в исполняемый файл, который может запускаться в шести различных операционных системах на оборудовании с процессорами AMD64 и ARM64. Инструментарий написан на С/С++ и распространяется под лицензией Apache 2.0...<br><br>Подробнее: https://www.opennet.ru/opennews/art.shtml?num=60206<br> https://www.opennet.ru/openforum/vsluhforumID3/132212.html#40 Fri, 01 Dec 2023 20:58:44 GMT а DragonflyBSD где?!??!<br> https://www.opennet.ru/openforum/vsluhforumID3/132212.html#39 Fri, 01 Dec 2023 19:48:56 GMT &gt; Не факт, что один человек может руками оптимизировать модель лучше, чем автоматический оптимизатор и JIT-компилятор, вылизанный командой специалистов ведущей ИИ-корпорации.<br><br>Как только модель готова - оптимизированная версия пишется достаточно просто<br><br>&gt; Это всё части рантайма, который устанавливается один раз и используется ваеми программами совместно.<br><br>Очень редко на конечном компьютере из ONNX исполняется всё, обычно как раз используется с десяток функций из тысячи имеющихся)<br><br>&gt; Это явно не случай LLM<br><br>Именно. Потому что LLM не остальные модели, LLM именно что тяжело вместить в память consumer-grade GPU.<br>Для подобных вещей однако можно вынести на GPU лишь часть вычислений, например с BLAS/compute шейдером, и по скорости получится как раз бесплатный ChatGPT.<br><br>ONNX однако не очень способен исполнять модель гибридно.<br> https://www.opennet.ru/openforum/vsluhforumID3/132212.html#38 Fri, 01 Dec 2023 17:35:55 GMT Силой почувствовал<br> https://www.opennet.ru/openforum/vsluhforumID3/132212.html#37 Fri, 01 Dec 2023 13:14:00 GMT Да были конверторы на гитхабе.<br> https://www.opennet.ru/openforum/vsluhforumID3/132212.html#36 Fri, 01 Dec 2023 13:13:08 GMT &gt;Для эффективности всё таки проще реализовать оптимизированную модель руками в коде, и грузить только веса.<br><br>Не факт, что один человек может руками оптимизировать модель лучше, чем автоматический оптимизатор и JIT-компилятор, вылизанный командой специалистов ведущей ИИ-корпорации.<br><br>&gt;В ONNX есть огромная библиотека функций, все из которых нужно собирать себе в программу для подгрузки ONNX моделей, его не сделать менее жирным вынесением protobuf и прочего.<br><br>Это всё части рантайма, который устанавливается один раз и используется ваеми программами совместно.<br><br>&gt;для остальных моделей инференс на процессоре зачастую быстрее, поскольку копирование данных CPU-&gt;GPU занимает больше времени чем сам инференс.<br><br>Это явно не случай LLM. llama.cpp взлетела именно потому, что это маленькая программа, которая игрушка, которая сравнительно независима от железа, которая заведётся везде, где есть C++ и AVX/NEON. Но у меня инференс на CPU даже минимальной модели alpaca очень тормозит. Для трансформеров инференс на GPU должен https://www.opennet.ru/openforum/vsluhforumID3/132212.html#35 Fri, 01 Dec 2023 09:45:20 GMT &gt; Это Micro$oft виновата - все либы слинкованы статически<br><br>А я не в этом смысле жирный говорю. В ONNX есть огромная библиотека функций, все из которых нужно собирать себе в программу для подгрузки ONNX моделей, его не сделать менее жирным вынесением protobuf и прочего.<br><br>&gt; Ну возможность инферить на GPU - это жирный плюс<br><br>Не везде это полезно, многие модели не влезут в consumer-grade GPU, а для остальных моделей инференс на процессоре зачастую быстрее, поскольку копирование данных CPU-&gt;GPU занимает больше времени чем сам инференс.<br><br>&gt; Возможность легко интегрировать в свои программы на любом ЯП - это жирный плюс.<br><br>Ровно как и FFI. ONNX позволяет быстрее довести модель от прототипа до прода, но не всегда эффективнее. Для эффективности всё таки проще реализовать оптимизированную модель руками в коде, и грузить только веса.<br> https://www.opennet.ru/openforum/vsluhforumID3/132212.html#34 Fri, 01 Dec 2023 08:55:58 GMT &gt;ONNX рантайм достаточно жирный<br><br>Это Micro$oft виновата - все либы слинкованы статически, включая протобуф. И перекомпилированны. Гугл покусал. Не смотря на то, что для сборки используется CMake, подход к зависимостям - как в Базеле. Если делать всё по уму, большая часть либ будет переиспользована системная. При этом onnxruntime умеет и в GPU, и в оптимизации, причём обгоняет хвалёный Apache TVM, который оптимизирует и компилирует ONNX-модели в Vulkan, OpenCL или оптимизированный машинный код для CPU, по производительности (да, onnxruntime на CPU обгоняет TVM на Vulkan). Формат ONNX позволяет лёгкую интеграцию моделей в свои программы, так как файл модели есть законченная программа, а не набор тензоров, который надо обвесить своим кодом. Также формат ONNX позволяет делать на моделях хирургию: я так резал одну модель (mobile-ViT от Apple) посередине с целью извлечения векторного представления.<br><br>&gt;Его преимущество в возможности компилироваться под произвольные архитектуры и ускорители, но если задача поддержи https://www.opennet.ru/openforum/vsluhforumID3/132212.html#33 Fri, 01 Dec 2023 06:42:27 GMT А он типа Windows - экспортный товар. А для себя - самое лучшее.<br> https://www.opennet.ru/openforum/vsluhforumID3/132212.html#32 Fri, 01 Dec 2023 06:41:22 GMT &gt; У них еще есть нормальные кодеры?<br><br>Они там и есть. Остальные либо пузырь надувают, либо троянством занимаются.<br>