Мобильная версияБыть ⇐ Васина Википедия
-
Автор темыwiki_de
- Всего сообщений: 49447
- Зарегистрирован: 13.01.2023
Быть
«Ollama» — это бесплатное программное обеспечение (с открытым исходным кодом), которое позволяет запускать модели большого языка (LLM) локально на вашем компьютере. Программное обеспечение служит интерфейсом и средой выполнения для работы с такими моделями, как Llama (языковая модель)|Llama 3, Mistral, Gemma и другими, без зависимости от облачных вычислений|облачных сервисов на оборудовании с macOS, Linux или Microsoft Windows|Windows.
== Функциональность и архитектура ==
Ollama действует как внутренний сервер и инструмент командной строки (CLI), который абстрагирует сложность выполнения LLM. Технически ядро Ollama основано на «llama.cpp», программной библиотеке, предназначенной для эффективного запуска модели LLaMA на различных аппаратных архитектурах (в частности, на Apple Silicon и стандартных процессорах/графических процессорах|GPU).
Программное обеспечение использует модель клиент-сервер | архитектуру клиент-сервер:
* '''Сервер:''' Фоновый процесс, который загружает модели, управляет памятью и предоставляет локальный интерфейс программирования|API (порт по умолчанию 11434).
* '''Клиент:''' CLI или стороннее приложение, которое отправляет запросы на сервер (например, подсказки) и получает ответы.
Оллама использует такие методы, как квантование (информационные технологии) | квантование (снижение точности модели, например, до 4 бит), чтобы радикально снизить требования к памяти, так что современные LLM также могут работать на потребительском оборудовании с ограниченной основной памятью | RAM или видео RAM | VRAM.
== Функции ==
* '''Локальное выполнение:''' Модели работают полностью автономно. Данные не покидают ваш компьютер, что делает Ollama особенно подходящим для приложений, чувствительных к защите данных («Частный ИИ»). * '''Modelfile:''' Подобно Dockerfile, Modelfile позволяет определять и настраивать модели. Пользователи могут задавать системные подсказки, параметры (например, «температура») и шаблоны моделей для создания специализированных мастеров.
* '''REST API:''' Ollama предоставляет простой интерфейс передачи репрезентативного состояния | REST, с помощью которого разработчики могут интегрировать модели в свои собственные приложения, сценарии или рабочие процессы (например, n8n).
* '''Аппаратное ускорение:''' Программное обеспечение поддерживает ускорение графического процессора (Nvidia|NVIDIA, AMD), а также Neural Engine (Metal) от Apple Silicon для увеличения скорости вывода.
== Использование и установка ==
В зависимости от операционной системы установка происходит через установщик (macOS, Windows) или сценарий оболочки (Linux). После установки модели можно загрузить и запустить с помощью простых команд.
Пример команды:
ollama pull llama3 # Загрузка модели Llama 3
ollama run llama3 # Начинает сеанс интерактивного чата
ollama list # Перечисляет все установленные модели
Для разработки программного обеспечения проект предоставляет официальные библиотеки Python (язык программирования)|Python и JavaScript. Сообщество также поддерживает различные интерфейсы и интеграции, например для LangChain.
== Поддерживаемые модели ==
Оллама поддерживает «библиотеку» моделей, которые можно загрузить напрямую. Наиболее известные поддерживаемые семейства моделей включают:
* Llama (языковая модель)|Llama (из Meta Platforms|Meta)
* Мистраль и Микстрал (от Mistral AI)
* Джемма (из Google)
* Qwen (от Alibaba Group|Alibaba Cloud)
* DeepSeek (от DeepSeek)
* Фи (от Microsoft)
Кроме того, пользователи могут импортировать свои собственные модели в формате GGUF.
== Развитие и история ==
Компания Ollama была основана Джеффри Морганом и Майклом Чангом.
Компания, стоящая за Ollama, базируется в Пало-Альто, Калифорния. Хотя ядро программного обеспечения находится под лицензией MIT и доступно с открытым исходным кодом, более поздние версии настольного приложения обсуждали в сообществе детали лицензии и интеграцию компонентов.
== Области применения и приема ==
Оллама обычно используется при местной разработке LLM:
* '''Корпоративные LLM:''' Компании используют Ollama для запуска внутренних баз знаний и чат-ботов без отправки конфиденциальных данных компании облачным провайдерам (Общий регламент по защите данных | соответствие GDPR).
* '''Поисковая расширенная генерация (RAG):''' В сочетании с векторными базами данных и такими инструментами, как LangChain, Ollama используется для предоставления ИИ доступа к их собственным документам (PDF-файлам, текстовым файлам).
* '''Прототипирование.''' Разработчики используют локальный API для экономичного тестирования функций ИИ.
В технологическом сообществе Ollama часто хвалят за простоту использования, поскольку она снижает барьер для входа в местный ИИ. Зависимость от командной строки иногда подвергается критике, хотя в настоящее время сообществом разработаны различные графические пользовательские интерфейсы (WebUI), основанные на Ollama.
== См. также ==
* Большая языковая модель
* Искусственный интеллект
Категория:Свободное программное обеспечение
Категория:Искусственный интеллект
Категория:Программное обеспечение Linux
Категория:Программное обеспечение для MacOS
Категория:Программное обеспечение для Windows
Подробнее: https://de.wikipedia.org/wiki/Ollama
«Ollama» — это бесплатное программное обеспечение (с открытым исходным кодом), которое позволяет запускать модели большого языка (LLM) локально на вашем компьютере. Программное обеспечение служит интерфейсом и средой выполнения для работы с такими моделями, как Llama (языковая модель)|Llama 3, Mistral, Gemma и другими, без зависимости от облачных вычислений|облачных сервисов на оборудовании с macOS, Linux или Microsoft Windows|Windows.
== Функциональность и архитектура ==
Ollama действует как внутренний сервер и инструмент командной строки (CLI), который абстрагирует сложность выполнения LLM. Технически ядро Ollama основано на «llama.cpp», программной библиотеке, предназначенной для эффективного запуска модели LLaMA на различных аппаратных архитектурах (в частности, на Apple Silicon и стандартных процессорах/графических процессорах|GPU).
Программное обеспечение использует модель клиент-сервер | архитектуру клиент-сервер:
* '''Сервер:''' Фоновый процесс, который загружает модели, управляет памятью и предоставляет локальный интерфейс программирования|API (порт по умолчанию 11434).
* '''Клиент:''' CLI или стороннее приложение, которое отправляет запросы на сервер (например, подсказки) и получает ответы.
Оллама использует такие методы, как квантование (информационные технологии) | квантование (снижение точности модели, например, до 4 бит), чтобы радикально снизить требования к памяти, так что современные LLM также могут работать на потребительском оборудовании с ограниченной основной памятью | RAM или видео RAM | VRAM.
== Функции ==
* '''Локальное выполнение:''' Модели работают полностью автономно. Данные не покидают ваш компьютер, что делает Ollama особенно подходящим для приложений, чувствительных к защите данных («Частный ИИ»). * '''Modelfile:''' Подобно Dockerfile, Modelfile позволяет определять и настраивать модели. Пользователи могут задавать системные подсказки, параметры (например, «температура») и шаблоны моделей для создания специализированных мастеров.
* '''REST API:''' Ollama предоставляет простой интерфейс передачи репрезентативного состояния | REST, с помощью которого разработчики могут интегрировать модели в свои собственные приложения, сценарии или рабочие процессы (например, n8n).
* '''Аппаратное ускорение:''' Программное обеспечение поддерживает ускорение графического процессора (Nvidia|NVIDIA, AMD), а также Neural Engine (Metal) от Apple Silicon для увеличения скорости вывода.
== Использование и установка ==
В зависимости от операционной системы установка происходит через установщик (macOS, Windows) или сценарий оболочки (Linux). После установки модели можно загрузить и запустить с помощью простых команд.
Пример команды:
ollama pull llama3 # Загрузка модели Llama 3
ollama run llama3 # Начинает сеанс интерактивного чата
ollama list # Перечисляет все установленные модели
Для разработки программного обеспечения проект предоставляет официальные библиотеки Python (язык программирования)|Python и JavaScript. Сообщество также поддерживает различные интерфейсы и интеграции, например для LangChain.
== Поддерживаемые модели ==
Оллама поддерживает «библиотеку» моделей, которые можно загрузить напрямую. Наиболее известные поддерживаемые семейства моделей включают:
* Llama (языковая модель)|Llama (из Meta Platforms|Meta)
* Мистраль и Микстрал (от Mistral AI)
* Джемма (из Google)
* Qwen (от Alibaba Group|Alibaba Cloud)
* DeepSeek (от DeepSeek)
* Фи (от Microsoft)
Кроме того, пользователи могут импортировать свои собственные модели в формате GGUF.
== Развитие и история ==
Компания Ollama была основана Джеффри Морганом и Майклом Чангом.
Компания, стоящая за Ollama, базируется в Пало-Альто, Калифорния. Хотя ядро программного обеспечения находится под лицензией MIT и доступно с открытым исходным кодом, более поздние версии настольного приложения обсуждали в сообществе детали лицензии и интеграцию компонентов.
== Области применения и приема ==
Оллама обычно используется при местной разработке LLM:
* '''Корпоративные LLM:''' Компании используют Ollama для запуска внутренних баз знаний и чат-ботов без отправки конфиденциальных данных компании облачным провайдерам (Общий регламент по защите данных | соответствие GDPR).
* '''Поисковая расширенная генерация (RAG):''' В сочетании с векторными базами данных и такими инструментами, как LangChain, Ollama используется для предоставления ИИ доступа к их собственным документам (PDF-файлам, текстовым файлам).
* '''Прототипирование.''' Разработчики используют локальный API для экономичного тестирования функций ИИ.
В технологическом сообществе Ollama часто хвалят за простоту использования, поскольку она снижает барьер для входа в местный ИИ. Зависимость от командной строки иногда подвергается критике, хотя в настоящее время сообществом разработаны различные графические пользовательские интерфейсы (WebUI), основанные на Ollama.
== См. также ==
* Большая языковая модель
* Искусственный интеллект
Категория:Свободное программное обеспечение
Категория:Искусственный интеллект
Категория:Программное обеспечение Linux
Категория:Программное обеспечение для MacOS
Категория:Программное обеспечение для Windows
Подробнее: https://de.wikipedia.org/wiki/Ollama