Вызов.cpp ⇐ Васина Википедия

[wiki_en]

'''Llama.cpp''' — это библиотека с открытым исходным кодом|библиотека_(вычисления)|программного обеспечения с открытым исходным кодом, которая выполняет Inference_engine|вывод на различных больших языковых моделях|больших языковых моделях, таких как LLaMA.
== История ==

Георгий Герганов начал разработку Llama.cpp для реализации LLaMA на чистом C++ без каких-либо зависимостей. Преимущество этого метода заключалось в том, что он мог работать на большем количестве оборудования по сравнению с другими библиотеками вывода, которые зависели от аппаратно-зависимых библиотек с закрытым исходным кодом, таких как CUDA. До Lamma.cpp Герганов работал над похожей библиотекой под названием «shesh.cpp»
== Архитектура ==

Первоначально Llama.cpp мог работать только на процессорах, но теперь может работать и на графических процессорах, используя несколько различных серверных частей, включая Vulkan и SYCL. Эти серверные части составляют тензорную библиотеку GGML, которая используется клиентским кодом llama.cpp, специфичным для модели, а также другими проектами, такими как шепот.cpp.



Подробнее: https://en.wikipedia.org/wiki/Llama.cpp