БытьВасина Википедия

Новости с планеты OGLE-2018-BLG-0677
Что вы не только не знали, но и не хотели знать
Автор темы
wiki_de
Всего сообщений: 49248
Зарегистрирован: 13.01.2023
 Быть

Сообщение wiki_de »



«Ollama» — это американская компания, занимающаяся бесплатным программным обеспечением и базирующаяся в Пало-Альто, Калифорния, которая предоставляет среду выполнения для локального запуска больших языковых моделей (LLM).
== История ==
Компания Ollama была основана разработчиками программного обеспечения Джеффри Морганом и Майклом Чангом.
Ollama была создана с целью упростить настройку и работу местных LLM. Сообщения в блогах и статьи часто сравнивают это программное обеспечение с Docker, поскольку модели можно загружать и запускать аналогично контейнерам.

== Программное обеспечение ==
=== Архитектура и лицензия ===
Ядро Ollama состоит из среды выполнения языковых моделей, управления моделями и локального HTTP-сервера, через который приложения могут получать доступ к моделям через REST API.
Программное обеспечение предоставляет собственный формат модели и так называемые «файлы модели», в которых можно указать ссылку на базовые модели и конфигурации, такие как квантование, длина контекста или системные подсказки.
=== Платформы и установка ===
Ollama доступна для macOS, Linux и Windows.

== Функции ==
=== Локальное исполнение языковых моделей ===
Ollama позволяет выполнять различные модели открытого языка локально на ЦП или — в зависимости от аппаратного обеспечения и платформы — с ускорением на графическом процессоре.

ollama запустите llama3.2 «Пример приглашения»


Среда поддерживает, среди прочего:
* Управление и обновление нескольких моделей,
* Настройка контекстного окна, системных подсказок и квантования,
* Потоковый вывод и параллельные запросы.
=== API и библиотеки ===
В дополнение к интерфейсу командной строки Ollama предоставляет локальный HTTP API, через который приложения могут запрашивать модели.
Программное обеспечение можно комбинировать с различными графическими интерфейсами и инструментами, такими как независимые веб-интерфейсы, расширения браузера или интеграция в среды разработки.
== Поддерживаемые модели ==
Оллама специализируется на открытых программах LLM и предоставляет предварительно настроенные определения моделей для различных проектов. К ним, среди прочего, относятся:

* Мета модели серии Llama,
* DeepSeek-R1,
* Модели Джеммы,
* Модели кода, такие как Code Llama,
* модели меньшего размера и для конкретной предметной области.
Многие модели имеют разные размеры и уровни квантования, что позволяет им работать на разных конфигурациях оборудования: от ноутбуков до рабочих станций с большими графическими процессорами.
== Использование ==
Ollama особенно используется разработчиками и специалистами по обработке данных, которые хотят запускать языковые модели локально, чтобы избежать затрат на API или удовлетворить требования к защите данных.
* местные помощники в чате,
* Интеграция в IDE и рабочие процессы разработки,
* Поисковая расширенная генерация (RAG) для документов и хранилищ кода,
* Прототипирование функций ИИ в приложениях,
* Обработка конфиденциальных данных в вашей собственной инфраструктуре.
В блогах и на форумах Ollama часто называют «Docker для LLM», поскольку модели, похожие на контейнеры, можно загружать, запускать и интегрировать в другие инструменты с помощью всего лишь нескольких команд.
== Прием ==
Технические блоги, руководства и дискуссионные форумы описывают Ollama как сравнительно легкое и удобное для разработчиков решение для локального вывода LLM.
По сравнению с альтернативными решениями, такими как LM Studio, Ollama частично хвалят за простоту использования и интеграции, но при этом указывают на ограничения поддержки графических процессоров в Windows.
* [https://ollama.com Официальный сайт Олламы]
* [https://github.com/ollama/ollama Страница проекта Ollama на GitHub]
* [https://docs.ollama.com Официальная документация]



Подробнее: https://de.wikipedia.org/wiki/Ollama
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ, комментарий, отзыв

Изменение регистра текста: 
Смайлики
:) :( :oops: :chelo: :roll: :wink: :muza: :sorry: :angel: :read: *x) :clever:
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.