Джамба (языковая модель) ⇐ Васина Википедия

[wiki_en]

* Большая языковая модель
* Генеративный предварительно обученный трансформатор
* Мамба (архитектура глубокого обучения)
* Смесь экспертов
* Модель фундамента

«Jamba» — это модель большого языка с открытым весом (LLM), разработанная AI21 Labs.
Jamba показывает хорошие результаты по ряду ключевых показателей, включая пропускную способность и эффективность, превосходя или сопоставляя другие современные модели в своем классе по широкому спектру тестов производительности, имея при этом значительно большие контекстные ограничения, что позволяет использовать сценарии, требующие более высоких показателей производительности. context. Модель выпущена с открытыми весами по лицензии Apache | Лицензия Apache 2.0
В ближайшем будущем компания планирует выпустить бета-версию, настроенную по инструкции, на платформе AI21

== Характеристики ==

* '''Размер контекстного окна''': 256 тыс. токенов * '''Параметры''': 52 миллиарда
* '''Архитектура''': гибридный преобразователь Mamba (SSM) с участием экспертов (MoE)

== См. также ==

* Мамба (архитектура глубокого обучения)|Мамба — архитектура глубокого обучения
* Смесь экспертов – техника глубокого обучения
* AI21 Labs — компания в области искусственного интеллекта, расположенная в Тель-Авиве (Израиль)


Большие языковые модели