Мобильная версияТензорРТ ⇐ Васина Википедия
-
Автор темыwiki_en
- Всего сообщений: 121052
- Зарегистрирован: 16.01.2024
ТензорРТ
«TensorRT» — это комплект разработки программного обеспечения (SDK) и механизм вывода | среда выполнения оптимизации вывода, разработанный Nvidia для развертывания обученных моделей глубокого обучения и машинного обучения на графических процессорах (GPU).
В текущей документации Nvidia имя TensorRT также используется для более широкого семейства продуктов, которое включает в себя основной TensorRT SDK, TensorRT-LLM и TensorRT-RTX.
== История ==
TensorRT был доступен как часть программного стека глубокого обучения Nvidia к 2017 году, когда он был описан как высокопроизводительный механизм вывода для развертывания обученных нейронных сетей на графических процессорах Nvidia.
== Обзор ==
Ядро TensorRT — это библиотека C++, которая использует обученную сеть, состоящую из определения сети и обученных параметров, и создает высокооптимизированный механизм выполнения для вывода на графических процессорах Nvidia. TensorRT предоставляет API-интерфейсы C++ и Python (язык программирования)|Python, а модели можно либо выражать непосредственно через API определения сети, либо импортировать через синтаксический анализатор ONNX.
Согласно документации Nvidia, TensorRT выполняет перезапись графов | на уровне графа и вычислительное ядро | оптимизацию на уровне ядра, такую как объединение слоев и выбор эффективных реализаций для поддерживаемых операций. рабочие нагрузки языковой модели.
Механизмы TensorRT можно создавать с помощью API-интерфейсов TensorRT или с помощью утилиты командной строки trtexec.
== Лицензирование и компоненты с открытым исходным кодом ==
Модель лицензирования TensorRT разделена между проприетарным основным SDK и набором репозиториев и инструментов с открытым исходным кодом. Упакованное программное обеспечение TensorRT, распространяемое Nvidia, регулируется Лицензионным соглашением на программное обеспечение Nvidia. В то же время Nvidia поддерживает общедоступный репозиторий TensorRT на GitHub под лицензией Apache. 2.0.
Официальная документация TensorRT также направляет пользователей в репозиторий программного обеспечения с открытым исходным кодом TensorRT для быстрого запуска кода и примеров. В документации по архитектуре описаны соответствующие инструменты, такие как Polygraphy для отладки и постоянного свертывания, а также ONNX-GraphSurgeon для изменения графиков ONNX перед развертыванием с помощью TensorRT.
== Семейство продуктов ==
Текущая документация Nvidia группирует несколько продуктов вывода под названием TensorRT. В этой документации основной SDK обозначается как «TensorRT (Enterprise)», а сопутствующие предложения включают TensorRT-LLM для вывода больших языковых моделей и TensorRT-RTX для потребительских графических процессоров GeForce RTX|RTX.
=== TensorRT-LLM ===
«TensorRT-LLM» — это связанный набор инструментов с открытым исходным кодом для оптимизации и обслуживания больших языковых моделей на графических процессорах Nvidia.
Согласно документации семейства продуктов Nvidia, TensorRT-LLM поддерживает выполнение на нескольких графических процессорах и на нескольких узлах, пакетную обработку в реальном времени, постраничное преобразование Transformer (глубокое обучение)#KV-кэширование|KV-кэширование и большие языковые модели#Quantization|методы квантования, такие как FP8, INT8 и INT4, для обслуживания моделей с более высокой пропускной способностью. Опубликована кодовая база TensorRT-LLM на GitHub под лицензией Apache 2.0.
Поскольку Nvidia документирует TensorRT-LLM как отдельный член семейства продуктов TensorRT, его обычно рассматривают как родственный, но отдельный программный проект, а не как отдельную функцию базового пакета TensorRT SDK.
== См. также ==
* llama.cpp
* СГЛанг
* vLLM
* Списки программного обеспечения для искусственного интеллекта с открытым исходным кодом
* Сравнение программного обеспечения глубокого обучения
* Сравнение программного обеспечения для машинного обучения
* [https://docs.nvidia.com/tensorrt-llm/index.html Документация TensorRT-LLM] от Nvidia
* [https://nvidia.github.io/TensorRT-LLM/ TensorRT-LLM Документация для разработчиков GitHub]
Программное обеспечение 2017 года
Программное обеспечение для глубокого обучения
Программное обеспечение NVIDIA
Комплекты разработки программного обеспечения
Подробнее: https://en.wikipedia.org/wiki/TensorRT
«TensorRT» — это комплект разработки программного обеспечения (SDK) и механизм вывода | среда выполнения оптимизации вывода, разработанный Nvidia для развертывания обученных моделей глубокого обучения и машинного обучения на графических процессорах (GPU).
В текущей документации Nvidia имя TensorRT также используется для более широкого семейства продуктов, которое включает в себя основной TensorRT SDK, TensorRT-LLM и TensorRT-RTX.
== История ==
TensorRT был доступен как часть программного стека глубокого обучения Nvidia к 2017 году, когда он был описан как высокопроизводительный механизм вывода для развертывания обученных нейронных сетей на графических процессорах Nvidia.
== Обзор ==
Ядро TensorRT — это библиотека C++, которая использует обученную сеть, состоящую из определения сети и обученных параметров, и создает высокооптимизированный механизм выполнения для вывода на графических процессорах Nvidia. TensorRT предоставляет API-интерфейсы C++ и Python (язык программирования)|Python, а модели можно либо выражать непосредственно через API определения сети, либо импортировать через синтаксический анализатор ONNX.
Согласно документации Nvidia, TensorRT выполняет перезапись графов | на уровне графа и вычислительное ядро | оптимизацию на уровне ядра, такую как объединение слоев и выбор эффективных реализаций для поддерживаемых операций. рабочие нагрузки языковой модели.
Механизмы TensorRT можно создавать с помощью API-интерфейсов TensorRT или с помощью утилиты командной строки trtexec.
== Лицензирование и компоненты с открытым исходным кодом ==
Модель лицензирования TensorRT разделена между проприетарным основным SDK и набором репозиториев и инструментов с открытым исходным кодом. Упакованное программное обеспечение TensorRT, распространяемое Nvidia, регулируется Лицензионным соглашением на программное обеспечение Nvidia. В то же время Nvidia поддерживает общедоступный репозиторий TensorRT на GitHub под лицензией Apache. 2.0.
Официальная документация TensorRT также направляет пользователей в репозиторий программного обеспечения с открытым исходным кодом TensorRT для быстрого запуска кода и примеров. В документации по архитектуре описаны соответствующие инструменты, такие как Polygraphy для отладки и постоянного свертывания, а также ONNX-GraphSurgeon для изменения графиков ONNX перед развертыванием с помощью TensorRT.
== Семейство продуктов ==
Текущая документация Nvidia группирует несколько продуктов вывода под названием TensorRT. В этой документации основной SDK обозначается как «TensorRT (Enterprise)», а сопутствующие предложения включают TensorRT-LLM для вывода больших языковых моделей и TensorRT-RTX для потребительских графических процессоров GeForce RTX|RTX.
=== TensorRT-LLM ===
«TensorRT-LLM» — это связанный набор инструментов с открытым исходным кодом для оптимизации и обслуживания больших языковых моделей на графических процессорах Nvidia.
Согласно документации семейства продуктов Nvidia, TensorRT-LLM поддерживает выполнение на нескольких графических процессорах и на нескольких узлах, пакетную обработку в реальном времени, постраничное преобразование Transformer (глубокое обучение)#KV-кэширование|KV-кэширование и большие языковые модели#Quantization|методы квантования, такие как FP8, INT8 и INT4, для обслуживания моделей с более высокой пропускной способностью. Опубликована кодовая база TensorRT-LLM на GitHub под лицензией Apache 2.0.
Поскольку Nvidia документирует TensorRT-LLM как отдельный член семейства продуктов TensorRT, его обычно рассматривают как родственный, но отдельный программный проект, а не как отдельную функцию базового пакета TensorRT SDK.
== См. также ==
* llama.cpp
* СГЛанг
* vLLM
* Списки программного обеспечения для искусственного интеллекта с открытым исходным кодом
* Сравнение программного обеспечения глубокого обучения
* Сравнение программного обеспечения для машинного обучения
* [https://docs.nvidia.com/tensorrt-llm/index.html Документация TensorRT-LLM] от Nvidia
* [https://nvidia.github.io/TensorRT-LLM/ TensorRT-LLM Документация для разработчиков GitHub]
Программное обеспечение 2017 года
Программное обеспечение для глубокого обучения
Программное обеспечение NVIDIA
Комплекты разработки программного обеспечения
Подробнее: https://en.wikipedia.org/wiki/TensorRT