Случайная функция Фурье ⇐ Васина Википедия

[wiki_en]

'''Случайные функции Фурье''' (RFF) — это метод, используемый в машинном обучении для аппроксимации метода ядра | методы ядра, представленный Али Рахими и Беном Рехтом в их статье 2007 года «Случайные функции для крупномасштабных машин с ядром». ".
RFF — это метод Монте-Карло | аппроксимация Монте-Карло карты признаков, связанной с ядрами, инвариантными к сдвигу. Этот метод включает в себя отображение входных данных в многомерное пространство с использованием синусоидальных функций, выбранных случайным образом. Он используется для наборов данных, которые слишком велики для традиционных методов ядра, таких как машина опорных векторов, регрессия гребня ядра и гауссов процесс.

== Математика ==
Поскольку машины опорных векторов и другие модели, использующие трюк с ядром, плохо масштабируются для большого количества обучающих выборок или большого количества функций во входном пространстве, было введено несколько аппроксимаций ядра RBF (и подобных ядер).Андреас Мюллер (2012). [http://peekaboo-vision.blogspot.de/2012 ... cient.html Аппроксимации ядра для эффективных SVM (и других методов извлечения признаков)]. Обычно они принимают форму функции ''z'', которая отображает один вектор в вектор более высокой размерности, аппроксимируя ядро:

: \langle z(\mathbf{x}), z(\mathbf{x'}) \rangle \approx \langle \varphi(\mathbf{x}), \varphi(\mathbf{x'}) \rangle = K(\mathbf{x}, \mathbf{x'})

где \textstyle\varphi — неявное отображение, встроенное в ядро ​​RBF.

Один из способов построить такое «z» — это случайная выборка из преобразования Фурье ядра
'''Теорема: (несмещенное оценивание)''' \operatorname E[\langle \varphi(x), \varphi(y)\rangle] = e^{\|x-y\|^2/(2\ сигма^2)}.

'''Доказательство:''' Достаточно доказать случай D=1. Используйте тригонометрическое тождество \cos(a-b) = \cos(a)\cos(b) + \sin(a)\sin(b), сферическую симметрию гауссова распределения, затем вычислите интеграл

: \int_{-\infty}^\infty \frac{\cos (k x) e^{-x^2 / 2{\sqrt{2 \pi d x=e^{-k^2 / 2} .

'''Теорема: (сходимость)''' По мере увеличения количества случайных признаков R аппроксимация с высокой вероятностью сходится к истинному ядру.

'''Теорема: (граница дисперсии)''' \operatorname{Var}[\langle \varphi(x), \varphi(y)\rangle] = O(D^{-1}). (Приложение А.2
== Вариации ==
Ортогональные случайные объекты
== См. также ==
* Метод ядра
* Машина опорных векторов
* Преобразование Фурье
* Метод Монте-Карло

Машинное обучение
Методы Монте-Карло
Методы ядра для машинного обучения

Подробнее: https://en.wikipedia.org/wiki/Random_Fourier_feature