Збільшення інформації, взаємна інформація та пов'язані з цим заходи

Ендрю Морі визначає приріст інформації як:

$IG(Y|X) = H(Y) - H(Y|X)$

де - умовна ентропія . Однак Вікіпедія називає вищезазначену кількість взаємною інформацією .$H(Y|X)$

Вікіпедія, з іншого боку, визначає приріст інформації як розбіжність Куллбека – Лейблера (відома також як розбіжність інформації або відносна ентропія) між двома випадковими змінними:

$D_{KL}(P||Q) = H(P,Q) - H(P)$

де визначається як перехресна ентропія .$H(P,Q)$

Ці два визначення, здається, суперечать один одному.

Я також бачив інших авторів, які говорять про дві додаткові пов'язані концепції, а саме: диференційну ентропію та відносний приріст інформації.

Яке точне визначення або співвідношення між цими величинами? Чи є хороша книга з текстами, яка охоплює їх усіх?

• Інформаційний приріст
• Взаємна інформація
• Поперечна ентропія
• Умовна ентропія
• Диференціальна ентропія
• Відносний інформаційний приріст

Я вважаю, що називати розбіжність Куллбека-Лейблера «інформаційним прирістком» нестандартно.

Перше визначення є стандартним.

EDIT: Однак також можна назвати взаємною інформацією.$H(Y)−H(Y|X)$

Зауважте, що я не думаю, що ви знайдете будь-яку наукову дисципліну, яка справді має стандартизовану, точну та послідовну схему іменування. Тож вам завжди доведеться подивитися на формули, адже вони, як правило, дадуть вам кращу думку.

Підручники: див. "Гарне введення в різні види ентропії" .

Також: Cosma Shalizi: Методи та методики комплексних системних наук: огляд, глава 1 (с. 33--114) у Thomas S. Deisboeck та J. Yasha Kresh (ред.), Комплексна наука про біомедицину http: // arxiv.org/abs/nlin.AO/0307015

Роберт М. Грей: Ентропія та теорія інформації http://ee.stanford.edu/~gray/it.html

Девід Маккай: Теорія інформації, умовиводи та алгоритми навчання http://www.inference.phy.cam.ac.uk/mackay/itila/book.html

також "Що таке" ентропія та отримання інформації "?"

$p(X,Y)$$P(X)P(Y)$

$$\begin{align} I(X; Y) &= H(Y) - H(Y \mid X)\\ &= - \sum_y p(y) \log p(y) + \sum_{x,y} p(x) p(y\mid x) \log p(y\mid x)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{y} \left(\sum_{x}p(x,y)\right) \log p(y)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{x,y}p(x, y) \log p(y)\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)}{p(y)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)p(x)}{p(y)p(x)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(x, y)}{p(y)p(x)}\\ &= \mathcal D_{KL} (P(X,Y)\mid\mid P(X)P(Y)) \end{align}$$

$p(y) = \sum_x p(x,y)$

Mutual information can be defined using Kullback-Liebler as

$$\begin{align*} I(X;Y) = D_{KL}(p(x,y)||p(x)p(y)). \end{align*}$$

Витяг взаємної інформації з текстових наборів даних як особливість для навчання моделі машинного навчання: (завдання було передбачити вік, стать та особистість блогерів)

Both definitions are correct, and consistent. I'm not sure what you find unclear as you point out multiple points that might need clarification.

Firstly: $MI_{Mutual Information}\equiv$ $IG_{InformationGain}\equiv I_{Information}$ are all different names for the same thing. In different contexts one of these names may be preferable, i will call it hereon Information.

The second point is the relation between the Kullback–Leibler divergence-$D_{KL}$, and Information. The Kullback–Leibler divergence is simply a measure of dissimilarity between two distributions. The Information can be defined in these terms of distributions' dissimilarity (see Yters' response). So information is a special case of $K_{LD}$, where $K_{LD}$ is applied to measure the difference between the actual joint distribution of two variables (which captures their dependence) and the hypothetical joint distribution of the same variables, were they to be independent. We call that quantity Information.

The third point to clarify is the inconsistent, though standard notation being used, namely that $\operatorname{H} (X,Y)$ is both the notation for Joint entropy and for Cross-entropy as well.

So, for example, in the definition of Information:

$$\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X|Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y|X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X|Y)-\mathrm {H} (Y|X)\end{aligned}$$ in both last lines, $\operatorname{H}(X,Y)$ is the joint entropy. This may seem inconsistent with the definition in the Information gain page however: $DKL(P||Q)=H(P,Q)−H(P)$ but you did not fail to quote the important clarification - $\operatorname{H}(P,Q)$ is being used there as the cross-entropy (as is the case too in the cross entropy page).

Joint-entropy and Cross-entropy are NOT the same.

Check out this and this where this ambiguous notation is addressed and a unique notation for cross-entropy is offered - $H_q(p)$

I would hope to see this notation accepted and the wiki-pages updated.