Мобильная версияВ методе классификации | статистической классификации ИИ существует два основных подхода, называемых «генеративный подход» и «дискриминативный подход». Оба подхода рассчитывают классификаторы разными методами и отличаются уровнем статистического моделирования.
= Генеративные модели =
Обычно генеративные классификаторы основаны на «генеративной модели» (совместное распределение), а дискриминационные классификаторы — на «дискриминативной модели» (условное распределение или отсутствие распределения), без различия последних двух классов.
«Генеративная модель» — это статистическая модель совместного распределения вероятностей (P=вероятность) P(X, Y) для заданной наблюдаемой переменной X и целевой переменной Y. Генеративная модель может использоваться для генерации случайных результатов наблюдения x.
Альтернативное, симметричное определение двух основных подходов относится к генеративным моделям: «Генеративная модель» — это модель условного распределения вероятностей наблюдаемой переменной X при заданной целевой переменной y, символической P(X \ середина Y=y) .
Независимо от точного определения, эта терминология полезна, поскольку генеративная модель может использоваться для генерации случайных экземпляров (результатов) либо наблюдения и целевой переменной (x, y), либо наблюдения x с учетом целевое значение y для «генерации».
Термин «генеративная модель» также используется для описания моделей, которые генерируют экземпляры выходных переменных таким образом, который не имеет четкой связи с распределениями вероятностей по потенциальным выборкам входных переменных. Генеративно-состязательные сети|
Генеративно-состязательные сети (GAN) являются примерами этого класса генеративных моделей и оцениваются в первую очередь по сходству определенных выходных данных с потенциальными входными данными.Ян Гудфеллоу и др.: [https://papers.nips.cc/paper_files/ paper/ 2014/hash/5ca3e9b122f61f8f06494c97b1afccf3-Abstract.html Генеративно-состязательные сети.] Advances in Neural Information Processing Systems 27 (NIPS 2014), по состоянию на 11 ноября 2024 г. Такие модели не являются классификаторами.
Применительно к классификации наблюдаемая переменная X часто является непрерывной переменной, а целевая переменная Y обычно представляет собой дискретную переменную, состоящую из конечного набора меток. Условное распределение вероятностей P(Y\mid X) также можно интерпретировать как недетерминированную целевую функцию, которую следует рассматривать f\colon.
=== Отношения между обоими подходами классификации ===
Применительно к классификации наблюдаемая переменная X часто является непрерывной переменной, целевая переменная Y обычно представляет собой дискретную переменную, состоящую из конечного набора меток, а условное распределение вероятностей P(Y\mid /math> также может интерпретироваться как недетерминированная целевая функция f\colon X \to Y, где X считается входными данными, а Y считается выходными данными.
Учитывая конечный набор меток, два определения генеративной модели тесно связаны. Модель условного распределения P(X\mid Y = y) — это модель распределения каждой метки, а модель совместного распределения эквивалентна модели распределения значений метки P(Y ) вместе с распределением наблюдений с меткой P(X\mid Y) символически P(X, Y) = P(X\mid Y) P(Y) .. Хотя совместная модель распределения вероятностей более информативна, чем модель распределения меток (но без учета их относительных частот), это относительно небольшой шаг, поэтому они не всегда различаются.
Учитывая совместную модель распределения P(X, Y), распределения отдельных переменных можно назвать маргинальными распределениями P(X) = \sum_y P(X, Y = y)< / math> и P(Y) = \int_x P(Y, ), и любое условное распределение можно вычислить на основе определения условной вероятности: P(X\mid Y)=P(X, Y)/P(Y) и P(Y \mid X)=P(X, Y)/P(X).
Дана модель условного распределения вероятностей и предполагаемые распределения вероятностей для переменных. Правило оценки:
(X\mid Y)P(Y) = P(Y\mid X)P(X)..Например, учитывая генеративную модель для P(X\mid Y), ее можно оценить:
(Y\mid X) = P(X\mid Y)P(Y)/P(X),и с учетом дискриминационной модели для P(Y\mid X) можно оценить:
(X\mid Y) = P(Y\mid X)P(X)/P(Y).Обратите внимание, что правило Байеса (вычисление одного условного распределения вероятностей относительно другого) и определение условного распределения вероятностей (вычисление условного распределения вероятностей относительно совместного распределения) также часто путают друг с другом.
=== Отличие от дискриминативных классификаторов ===
«Генераторный алгоритм» моделирует способ генерации данных для классификации сигнала. Он задает вопрос: исходя из моих предположений о поколениях, какая категория с наибольшей вероятностью будет генерировать этот сигнал? «Дискриминативный алгоритм» не заботится о том, как были сгенерированы данные, он просто классифицирует данный сигнал. Дискриминационные алгоритмы пытаются изучить p(y|x) непосредственно из данных, а затем классифицировать данные. С другой стороны, генеративные алгоритмы пытаются изучить p(x,y), который позже можно преобразовать в p(y|x) для классификации данных. Одним из преимуществ генеративных алгоритмов является то, что вы можете использовать p(x,y) для генерации новых данных, аналогичных существующим данным. С другой стороны, было показано, что некоторые дискриминационные алгоритмы работают лучше, чем некоторые генеративные алгоритмы в задачах классификации.
Несмотря на то, что дискриминационным моделям не требуется моделировать распределение наблюдаемых переменных, они, как правило, не могут выражать сложные взаимосвязи между наблюдаемыми и целевыми переменными. Но в целом они не обязательно работают лучше, чем генеративные модели, при решении задач классификации и регрессии. Эти два класса считаются взаимодополняющими или разными взглядами на одну и ту же процедуру.
=== Глубокие генеративные модели ===
С появлением глубокого обучения появилось новое семейство методов, названное глубокими многоуровневыми генеративными моделями (DGM). Они формируются путем объединения генеративных моделей в глубоких искусственных нейронных сетях. Увеличение размера нейронных сетей обычно сопровождается увеличением размера обучающих данных, оба из которых являются хорошими показателями производительности. требуется. Популярные DGM включают вариационные автокодировщики (VAE), генеративно-состязательные сети (GAN) и авторегрессионные модели. Коул Страйкер, Марк Скапиккио: [https://www.ibm.com/de-de/topics /generative-ai Что такое генеративный ИИ?] ibm.com, 22 марта 2024 г., по состоянию на 11 ноября 2024 г. Недавно Существует тенденция к разработке очень больших глубоких генеративных моделей. Например, GPT-3 и его предшественник OpenAI#GPT-2 |GPT-2 представляют собой авторегрессионные модели нейронного языка, которые содержат миллиарды параметров (искусственный интеллект)|параметры, а также системы искусственного интеллекта, используемые для генерации изображений, которые могут иметь миллиарды параметров. Арне Арнольд: [https://www.pcwelt.de/article/2314933/g ... weise.html Генеративный ИИ: 10 вопросов и ответы о том, как это работает.] PC World, 2-й раздел, 26 апреля 2024 г., по состоянию на 11 ноября 2024 г. Электронный музыкальный автомат представляет собой очень большую генеративную модель музыкального звука, которая также содержит миллиарды параметров.< бр />
=== Виды генеративных моделей ===
* Скрытая марковская модель|Скрытая марковская модель
* Классификатор Байеса (например, наивный Байес, модель авторегрессии)
* Скрытое распределение Дирихле | Скрытое распределение Дирихле * Машина Больцмана (например, Ограниченная машина Больцмана, Deep Belief Network)
* Вариационный автоэнкодер (VAE)
* Генеративно-состязательная сеть (GAN)
* Модель диффузии (особенно для генерации изображений)
= Дискриминационные модели =
Дискриминационные модели ИИ сортируют данные на основе различий.
Дискриминантный анализ|дискриминативная модель — это модель условного распределения вероятностей P(Y\mid X = x) целевой переменной Y при условии наблюдения x. Его можно использовать для «различения» значения целевой переменной Y с учетом наблюдения x. Применительно к классификации требуется получить от наблюдения x метку y (или распределение вероятностей по меткам). Это можно рассчитать напрямую, не используя распределение вероятностей (классификатор без распределения); можно оценить вероятность метки с учетом наблюдения P(Y|X=x) (дискриминативная модель) и классифицировать на основе этого; или вы можете оценить совместное распределение P(X, Y) (генеративная модель), вычислить из него условную вероятность P(Y|X=x) и классифицировать на основе что. Эти подходы становятся все более косвенными, но все более вероятностными, что позволяет применять больше предметных знаний и теории вероятностей. На практике в зависимости от конкретной проблемы используются разные подходы, а гибриды могут сочетать в себе сильные стороны нескольких подходов.
Разница между «дискриминировать» и «классифицировать» тонкая и не всегда четко различима.
=== Виды дискриминативных моделей ===
* Логистическая регрессия
* Машины опорных векторов
* Изучение дерева решений
* Случайный лес
* Метод максимальной энтропии|Марковские модели максимальной энтропии
= См. также =
* Грамматика генеративного преобразования
* Генеративный предварительно обученный Трансформер
* Модели фундамента
= Индивидуальные доказательства =
Категория:Искусственный интеллект
Категория:Алгоритм
Категория:Чат-бот
Подробнее: https://de.wikipedia.org/wiki/Generativ ... telligenz)