Т5 (языковая модель) ⇐ Васина Википедия

[wiki_en]

*Большая языковая модель
*Трансформер (архитектура глубокого обучения)

«T5 (преобразователь передачи текста в текст)» — это серия больших языковых моделей | больших языковых моделей, разработанных Google AI. Представлено в 2019 году
Как и оригинальная модель Трансформера
В 2022 году T5X обновил его для использования Google JAX|JAX.
== Обучение ==
Модели T5 предварительно обучены на Colossal Clean Crawled Corpus (C4), содержащем текст и код веб-сканера, взятые из Интернета. Этот процесс предварительного обучения позволяет моделям изучить общее понимание языка и способности к генерации. Затем модели T5 можно точно настроить для конкретных последующих задач, адаптируя их знания для эффективной работы в различных приложениях.

Модели T5 были предварительно обучены для выполнения многих задач, все в формате -> .

Некоторые примеры:

* восстановление поврежденного текста: Спасибо мне на вашей вечеринке недели. -> за приглашение на последнюю , где < code> означает «конец вывода».
* перевод: перевести с английского на немецкий: Это хорошо. -> Das ist Gut..
* оценка грамматической приемлемости предложения (Корпус лингвистической приемлемости|предложение CoLA): Курс прыгает хорошо. -> не приемлемо .

== Архитектура ==
Серия T5 включает в себя несколько моделей разных размеров и возможностей. Эти модели часто отличаются количеством параметров, что указывает на сложность и потенциальную емкость модели. В исходной статье сообщалось о следующих 5 моделях:

В приведенной выше таблице

* # слоев: количество слоев в кодировщике; также количество слоев в декодере. У них всегда одинаковое количество слоев.
* d_{model}: Размерность векторов внедрения.
* d_{ff}: размер сети прямой связи внутри каждого уровня кодера и декодера.
* '''d_{kv}''': Размерность векторов ключа и значения, используемых в механизме самообслуживания.

== См. также ==

* Большая языковая модель|большие языковые модели