Частичная декомпозиция информации ⇐ Васина Википедия

[wiki_en]

'''Частичная декомпозиция информации''' — это расширение теории информации, целью которого является обобщение парных отношений, описанных теорией информации, на взаимодействие нескольких переменных.
== Мотивация ==

Теория информации может количественно оценить объем информации, которую имеет одна исходная переменная X_1 о целевой переменной Y через взаимную информацию I(X_1;Y) . Если мы теперь рассмотрим вторую исходную переменную X_2, классическая теория информации сможет описать только взаимную информацию совместной переменной \{X_1,X_2\ с Y< /math>, заданный I(X_1,X_2;Y). Однако в целом было бы интересно узнать, как именно отдельные переменные X_1 и X_2 и их взаимодействия связаны с Y.

Предположим, что нам даны две исходные переменные X_1, X_2 \in \{0,1\ и целевая переменная Y=XOR(X_1,X_2). В этом случае общая взаимная информация I(X_1,X_2;Y)=1, а индивидуальная взаимная информация I(X_1;Y)=I(X_2;Y)=0. То есть существует синергетическая информация, возникающая в результате взаимодействия X_1,X_2 с Y, которую невозможно легко уловить с помощью классических теоретико-информационных величин.

== Определение ==

Разложение частичной информации дополнительно разлагает взаимную информацию между исходными переменными \{X_1,X_2\ с целевой переменной Y как

I(X_1,X_2;Y)=\text{Unq}(X_1;Y \setminus X_2) + \text{Unq}(X_2;Y \setminus X_1) + \text{Syn}(X_1,X_2; Y) + \text{Red}(X_1,X_2;Y)

Здесь отдельные информационные атомы определяются как
* \text{Unq}(X_1;Y \setminus X_2) — это «уникальная» информация, которую X_1 имеет о Y, которая не находится в X_2
* \text{Syn}(X_1,X_2;Y) — это «синергетическая» информация, которая находится во взаимодействии X_1 и X_2 о Y
* \text{Red}(X_1,X_2;Y) — это «избыточная» информация, которая находится как в X_1, так и в X_2 о Да

На данный момент не существует единого мнения о том, как лучше всего оценить синергию, поскольку в литературе появляются различные подходы, которые разлагают информацию на избыточные, уникальные и синергетические компоненты.
== Приложения ==

Несмотря на отсутствие универсального согласия, частичное разложение информации применялось в различных областях, включая климатологию.
==См. также==
*Взаимная информация
*Общая корреляция
*Двойная общая корреляция
*Информация о взаимодействии

Теория информации

Подробнее: https://en.wikipedia.org/wiki/Partial_I ... omposition