Як журнал (p (x, y)) нормалізує точну взаємну інформацію?

Я намагаюся зрозуміти нормалізовану форму точкової взаємної інформації.

$npmi = \frac{pmi(x,y)}{log(p(x,y))}$

Чому ймовірність спільного журналу нормалізує точкову взаємну інформацію між [-1, 1]?

Точна взаємна інформація:

$pmi = log(\frac{p(x,y)}{p(x)p(y)})$

p (x, y) обмежений [0, 1], тому журнал (p (x, y)) обмежений (, 0]. Схоже, що журнал (p (x, y)) повинен якось врівноважувати зміни в чисельник, але я не розумію, як саме. Він також нагадує про ентропію , але я знову не розумію точного співвідношення.$h=-log(p(x))$

З запису Вікіпедії по точковій взаємній інформації :

Точкова взаємна інформація може бути нормалізована між [-1, + 1], що призводить до -1 (в межі) для того, щоб ніколи не відбувалися разом, 0 для незалежності та +1 для повного спільного виникнення.

Чому це відбувається? Ну, визначення точкової взаємної інформації є

$$pmi \equiv \log \left[ \frac{p(x,y)}{p(x)p(y)} \right] = \log p(x,y) - \log p(x) - \log p(y),$$

тоді як для нормалізованої точкової взаємної інформації є:

$$npmi \equiv \frac{pmi}{-\log p(x,y)} = \frac{\log[ p(x) p(y)]}{\log p(x,y)} - 1.$$

Коли є:

• відсутність спільних подій, $\log p(x,y)\to -\infty$, тому nmpi дорівнює -1,
• випадкові випадки, $\log p(x,y)= \log[p(x) p(y)]$, тому nmpi дорівнює 0,
• завершення спільних подій, $\log p(x,y)= \log p(x) = \log p(y)$, тому nmpi - 1.

Хоча відповідь Пьотра Мігдала є інформативною при поданні прикладів, коли nmpi досягає трьох крайніх значень, це не доводить, що вона знаходиться на інтервалі $[-1,1]$. Ось нерівність та її виведення.

$$\begin{align} &\log\,p(x,y) \\ \le&\log\,p(x,y))-\log\,p(x)-\log\,p(y) \\ =&\log \frac{p(x,y)}{p(x)p(y)}=:\text{pmi}(x;y) \\ =&\log\, p(y|x)+\log\, p(y|x)-\log\,p(x,y) \\ \le&-\log\,p(x,y) \end{align}$$ як $-\log\,p(A)\ge0$ на будь-яку подію $A$. Поділ обох сторін на негативні$h(x,y):=-\log\,p(x,y)$, ми маємо $$-1\le\text{nmpi}(x;y):=\frac{\text{mpi(x;y)}}{h(x,y)}\le1.$$