Быть ⇐ Васина Википедия

[wiki_de]

«Ollama» — это программное обеспечение с открытым исходным кодом для локального запуска больших языковых моделей (LLM) на настольных компьютерах. Приложение позволяет загружать, управлять и использовать различные свободно доступные модели искусственного интеллекта|ИИ через интерфейс командной строки или интерфейс прикладного программирования|API. Ollama доступна для macOS, Linux и Microsoft Windows|Windows.

== Обзор ==
Ollama был разработан, чтобы обеспечить возможность использования современных языковых моделей без облачных вычислений | облачной инфраструктуры. В отличие от многих сервисов искусственного интеллекта, которые предоставляют модели через удаленные серверы, Оллама запускает модели непосредственно на локальном компьютере. Это означает, что введенные данные остаются в вашей системе. Программное обеспечение ориентировано как на разработчиков, так и на технически опытных пользователей, которые хотят интегрировать языковые модели в свои собственные приложения или использовать их в автономном режиме.

== Функции ==
Ключевые особенности Олламы:

* Загружайте языковые модели и управляйте ими с помощью управления пакетами|структуры пакетов
* Локальное выполнение LLM через командную строку
* Предоставление REST API | REST API для внешних приложений
* Поддержка графического процессора | ускорение графического процессора (в зависимости от конфигурации системы)
* Настройка параметров (информатика)|параметры модели, такие как температура (KI)|температура или длина контекста

Модели можно запускать с помощью простых команд терминала, например:
оллама бежит мистраль

== Поддерживаемые модели ==
Ollama поддерживает множество свободно доступных языковых моделей, в том числе:

* Языковая модель LLaMA|Llama 2 от Meta Platforms|Meta
* Мистраль от Mistral AI
* Код Ламы
* Джемма из Google LLC|Google

Доступность отдельных моделей зависит от их лицензии и аппаратного обеспечения пользователя.

== Технические основы ==
Ollama основана на среде выполнения для эффективного выполнения квантованных моделей Transformer (Machine Learning) | Transformer на потребительском оборудовании. Квантование (ИИ) | Квантование модели (например, 4-битные или 8-битные варианты) позволяет работать с большими моделями даже на компьютерах с ограниченной памятью. Программное обеспечение также предлагает механизмы для создания собственных конфигураций модели («файлов модели»), с помощью которых можно постоянно определять системные подсказки или параметры модели.

== Области применения ==
Типичные области применения:

* Местный чат-бот|Чат-боты
* Генерация текста и кода
* Поддержка при разработке программного обеспечения
* Прототипирование приложений ИИ
* Среды, чувствительные к защите данных, без использования облака

== Преимущества и ограничения ==

=== Преимущества ===

* Локальная обработка данных
* Никаких текущих затрат на API
* Возможно использование в автономном режиме
* Широкие возможности настройки

=== Ограничения ===

* Высокие требования к ресурсам (ОЗУ и, возможно, графическому процессору)
* Производительность зависит от оборудования
* Частично меньший размер модели по сравнению с большими облачными моделями

== Лицензия и доступность ==
Ollama выпущен как проект с открытым исходным кодом. На каждую поддерживаемую языковую модель распространяются собственные условия лицензии. Программное обеспечение можно скачать с официального сайта проекта.

* [https://ollama.com/Сайт Олламы]

Категория:Программное обеспечение (искусственный интеллект)

Подробнее: https://de.wikipedia.org/wiki/Ollama