Учебная программа ⇐ Васина Википедия

[wiki_en]

«Обучение по учебной программе» — это метод машинного обучения, при котором модель обучается на примерах возрастающей сложности, при этом определение «сложности» может быть предоставлено извне или обнаружено автоматически в рамках процесса обучения. Это предназначено для более быстрого достижения хорошей производительности или достижения лучшего локального оптимума, если глобальный оптимум не найден
== Подход ==

В целом обучение по учебной программе — это метод последовательного увеличения сложности примеров в обучающем наборе, который представляется модели в течение нескольких итераций обучения. При некоторых обстоятельствах это может дать лучшие результаты, чем немедленное воздействие на модель всего обучающего набора; чаще всего, когда модель способна изучить общие принципы на более простых примерах, а затем постепенно включать более сложную и тонкую информацию по мере введения более сложных примеров, таких как крайние случаи. Было показано, что это работает во многих областях, скорее всего, как форма регуляризации (математика)|регуляризация.

Существует несколько основных вариантов применения этой техники:

* Необходимо определить понятие «сложность». Это может быть результат человеческой аннотации * Сложность можно постепенно увеличивать * Заявки также должны определить график повышения сложности. В простых подходах может использоваться фиксированный график, например обучение на простых примерах для половины доступных итераций, а затем на всех примерах для второй половины.
Поскольку обучение по учебной программе касается только выбора и упорядочения обучающих данных, его можно комбинировать со многими другими методами машинного обучения. Успех метода предполагает, что модель, подготовленная для более простой версии проблемы, может быть обобщена для более сложных версий, поэтому ее можно рассматривать как форму трансферного обучения. Некоторые авторы также считают, что обучение по учебной программе включает другие формы постепенно возрастающей сложности, такие как увеличение количества параметров модели.
Некоторые области показали успех в «антиучебном обучении»: сначала обучение на самых сложных примерах. Одним из примеров является метод ACCAN для распознавания речи, который сначала обучается на примерах с самым высоким соотношением сигнал/шум.
== История ==

Термин «обучение по учебной программе» был введен Йошуа Бенджио и др. в 2009 году. set", что предполагает хорошее обобщение.

С тех пор этот метод был применен во многих других областях:

* Обработка естественного языка:
** Теги части речи ** Обнаружение намерений ** Анализ настроений ** Машинный перевод ** Распознавание речи * Распознавание изображений:
** Система распознавания лиц|Распознавание лиц ** Обнаружение объектов * Обучение с подкреплением:
** Игра * Графовая нейронная сеть|Обучение графа * Матричная факторизация (рекомендательные системы)|Матричная факторизация
== Дальнейшее чтение ==
* [https://arxiv.org/abs/2101.10382 Обучение по учебной программе: опрос]
* [https://ieeexplore.ieee.org/document/9392296 Опрос по учебной программе]
* [https://dl.acm.org/doi/abs/10.5555/3455716.3455897 Учебная программа для областей обучения с подкреплением: структура и исследование]
* [https://ieeexplore.ieee.org/search/sear ... 20Learning Учебная программа обучения в IEEE Xplore]

Алгоритмы машинного обучения