Свернуть режим ⇐ Васина Википедия

[wiki_en]

В машинном обучении «коллапс режима» — это режим отказа, наблюдаемый в генеративных моделях, первоначально отмеченный в разделе «Генеративно-состязательная сеть | Генеративно-состязательные сети» (GAN). Это происходит, когда модель выдает результаты, которые менее разнообразны, чем ожидалось, фактически «схлопываясь», создавая только несколько режимов (статистики) | режимов распределения данных, игнорируя при этом другие. Это явление подрывает цель генеративных моделей по охвату всего разнообразия обучающих данных.

Обычно есть два момента, когда модель может разрушиться: либо во время обучения, либо во время тонкой настройки после обучения.

Коллапс режима снижает полезность генеративных моделей в приложениях, например в

*синтез изображений (повторяющиеся или почти идентичные изображения);
* увеличение данных (ограниченное разнообразие синтетических данных);
* научные симуляции (неспособность изучить все правдоподобные сценарии).

Коллапс режима отличается от переоснащения, когда модель изучает подробные закономерности в обучающих данных, которые не обобщаются на тестовые данные, от недостаточной подгонки, когда ей не удается запомнить закономерности, и от запоминания, когда модель учится воспроизводить данные из обучающих данных. Запоминание часто путают с коллапсом режима. Однако модель может запомнить набор обучающих данных без коллапса режима. Действительно, если модель сильно разрушена, то она не запомнит большую часть набора обучающих данных. Это также отличается от коллапса модели, который представляет собой особый механизм коллапса мод, т. е. когда новая генеративная модель предварительно обучается в основном на выходных данных предыдущей модели, затем другой и т. д. Когда модели обучаются таким образом, модели могут становятся все более свернутыми в режиме.

== В GAN ==
Коллапс режима времени обучения первоначально был отмечен и изучен в GAN, где он возникает в первую очередь из-за дисбаланса в динамике обучения между генератором и дискриминатором в GAN. Общие причины включают в себя: * Если дискриминатор обучается слишком медленно, генератор может использовать свои слабости, создавая узкий набор выходных данных, которые постоянно обманывают дискриминатор.
* Традиционные функции потерь GAN (например, дивергенция Дженсена-Шеннона | дивергенция Дженсена-Шеннона) могут быть слишком мягкими при создании одинаковых выходных данных.
* Состязательный процесс обучения может привести к колебательному поведению, при котором генератор и дискриминатор не могут прийти к устойчивому равновесию, а вместо этого участвуют в циклическом цикле «камень-бьет-бумага-ножницы-ножницы». Генератор будет генерировать только «камень», пока дискриминатор не научится классифицировать его как сгенерированный, затем генератор переключится на генерацию только «ножниц» и так далее. Генератор всегда будет сворачиваться по режимам, хотя точный режим, в который он сворачивается, будет меняться во время обучения.
Для предотвращения коллапса режима было разработано несколько стратегий, специфичных для GAN:

* Правило обновления двух временных масштабов.
* Мини-пакетная дискриминация * Развёрнутые GAN
* Wasserstein GAN использует расстояние Earth Mover для обеспечения более стабильных градиентов. * Используйте большой и сбалансированный набор тренировочных данных.
* Регуляризация (математика)|Методы регуляризации, такие как градиентный штраф и нормализация (машинное обучение)|спектральная нормализация.
== Точная настройка ==
Большая языковая модель | Большие языковые модели обычно обучаются в два этапа. На первом этапе («предварительное обучение») модель обучается просто генерировать текст, выбранный из большого набора данных. На втором этапе («тонкая настройка») модель обучается выполнять конкретные задачи, обучая ее на небольшом наборе данных, содержащем только данные, относящиеся к конкретной задаче. Например, чтобы создать чат-бота по этому методу, сначала нужно предварительно обучить большую модель Transformer (архитектура глубокого обучения)|трансформера на нескольких триллионах слов текста, взятого из Интернета, а затем выполнить точную настройку на нескольких миллионах слов примеров журналов чата, которые модель должна подражать.

Коллапс режима может произойти во время точной настройки, поскольку модель учится генерировать текст, который выполняет конкретную задачу, но теряет способность генерировать другие формы текста. Он также может генерировать меньшее подмножество текстов, выполняющих конкретную задачу. Предполагается, что существует компромисс между качеством и разнообразием. Имея одну предварительно обученную модель, можно точно настроить ее для выполнения конкретной задачи. Более точная настройка приведет к более высокой средней производительности задач, но менее разнообразным результатам. Меньшая точная настройка приведет к более низкой средней производительности, но более разнообразным результатам.
Аналогичным образом, коллапс режима может произойти во время обучения с подкреплением на основе обратной связи человека |RLHF, посредством взлома модели вознаграждения или других механизмов.
== См. также ==
* Вариационный автоэнкодер
* Генеративная модель
* Генеративный искусственный интеллект
* Генеративный предварительно обученный трансформатор
* Переоснащение

*
Машинное обучение
Искусственный интеллект
Генеративный искусственный интеллект

Подробнее: https://en.wikipedia.org/wiki/Mode_collapse