Обмеження взаємної інформації, заданої межею, на точкову взаємну інформацію

Припустимо, у мене є два множини $X$ і і спільний розподіл ймовірностей над цими множинами . Нехай і позначають граничні розподіли по і відповідно. $Y$ $p(x,y)$ $p(x)$ $p(y)$ $X$ $Y$

Взаємна інформація між і визначається як: $X$ $Y$

I (X; Y) = \sum_{x, y} p (x, y) \cdot \log (\frac{p (x, y)}{p (x) p (y)})

$I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

тобто це середнє значення точкової взаємної інформації pmi . $(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

Припустимо, я знаю верхню та нижню межі на pmi : тобто я знаю, що для всіх виконується наступне: $(x,y)$ $x,y$

- k \leq \log (\frac{p (x, y)}{p (x) p (y)}) \leq k

$-k \leq \log\left(\frac{p(x,y)}{p(x)p(y)}\right) \leq k$

Яку верхню межу це означає для . Звичайно, це означає, що , але я хотів би, якщо це можливо, більш жорстке обмеження. Це здається мені правдоподібним, оскільки р визначає розподіл ймовірностей, а pmi не може прийняти своє максимальне значення (або навіть бути негативним) для кожного значення та . $I(X; Y)$ $I(X; Y) \leq k$ $(x,y)$ $x$ $y$

entropy mutual-information information-theory

— Флоріан
джерело

Коли спільні та граничні ймовірності є рівномірними, pmi (

x

$x$ ,

y

$y$ ) рівномірно дорівнює нулю (і, отже, негативний, мабуть, суперечить вашому останньому твердженню, але лише ледве). Мені здається, якщо я не помиляюсь, що збурення цієї ситуації над малими підмножинами

X \times Y

$X \times Y$ вказує на те, що межі на pmi майже нічого не говорять про

I (X; Y)

$I(X;Y)$ .

— whuber

Насправді, якщо

X

$X$ і

Y

$Y$ незалежні, то

p m i (x, y)

$\mathrm{pmi}(x,y)$ є постійним, незалежно від граничних розподілів. Отже, існує цілий клас розподілів для яких отримує своє максимальне значення для кожного та .

p (x, y)

$p(x,y)$

p m i (x, y)

$\mathrm{pmi}(x,y)$

x

$x$

y

$y$

— кардинал

Так, звичайно вірно, що pmi

(x, y)

$(x,y)$ може бути рівним для всіх

x

$x$ і

y

$y$ , але це не виключає більш жорсткої межі. Наприклад, не важко довести, що

I (X; Y) \leq k (e^{k} - 1)

$I(X; Y) \leq k(e^k-1)$ . Це

\approx k^{2}

$\approx k^2$ коли

k < 1

$k < 1$ , і є нетривіальним посиленням зв'язаної

k

$k$ коли

k < 1

$k < 1$ . Мені цікаво, чи є нетривіальні межі, які тримаються більш загально.

— Флоріан

Я сумніваюся, що для

ви отримаєте кращу межу, ніж

. Якщо ви хочете виглядати важче, спробуйте переформулювати своє запитання з точки зору розбіжності KL між p (x) p (y) і p (x, y). Нерівність Пінкера забезпечує нижню межу ІМ, що може підтвердити мою думку. Див. Також розділ 4 ajmaa.org/RGMIA/papers/v2n4/relog.pdf .

O (k^{2})

$O(k^2)$

k \to 0

$k \to 0$

— vqv

Відповіді:

Мій внесок складається з прикладу. Він ілюструє деякі обмеження щодо того, як взаємна інформація може бути обмежена заданими межами по точкової взаємній інформації.

Візьмемо і для всіх . Для будь-якого нехай є рішенням рівняння $X = Y = \{1,\ldots, n\}$ $p(x) = 1/n$ $x \in X$ $m \in \{1,\ldots, n/2\}$ $k > 0$

m e^{k} + (n - m) e^{- k} = n .

$m e^{k} + (n - m) e^{-k} = n.$ Потім розміщуємо точкову масу

точок у просторі виробу

таким чином, щоб у кожному рядку та кожному стовпчику було

цих точок. (Це можна зробити декількома способами. Почніть, наприклад, з перших точок

у першому рядку, а потім заповніть решта рядків, перемістивши

точок на одну праворуч із умовою циклічної межі для кожного ряду). Розміщуємо точку маси

залишилися

e^{k} / n^{2}

$e^k / n^2$

n m

$nm$

{1, \dots, n}^{2}

$\{1,\ldots,n\}^2$

m

$m$

m

$m$

m

$m$

e^{- k} / n^{2}

$e^{-k}/n^2$

балів. Сума цих точкових мас дорівнює

n^{2} - n m

$n^2 - nm$

тому вони дають міру ймовірності. Всі граничні ймовірності точки

\frac{n m}{n^{2}} e^{k} + \frac{n^{2} - n m}{n^{2}} e^{- k} = \frac{m e^{k} + (n - m) e^{- k}}{n} = 1,

$\frac{nm}{n^2} e^{k} + \frac{n^2 - nm}{n^2} e^{-k} = \frac{me^k + (n-m)e^{-k}}{n} = 1,$

тому обидва граничні розподіли є рівномірними.

\frac{m}{n^{2}} e^{k} + \frac{m - n}{n^{2}} e^{- k} = \frac{1}{n},

$\frac{m}{n^2} e^{k} + \frac{m - n}{n^2} e^{-k} = \frac{1}{n},$

За побудовою ясно , що для всіх , і (після деяких обчислень) $\mathrm{pmi}(x,y) \in \{-k,k\},$ $x,y \in \{1,\ldots,n\}$ з взаємної інформацією поводитися якдляа такождля.

I (X; Y) = k \frac{n m}{n^{2}} e^{k} - k \frac{n^{2} - n m}{n^{2}} e^{- k} = k (\frac{1 - e^{- k}}{e^{k} - e^{- k}} (e^{k} + e^{- k}) - e^{- k}),

$I(X;Y) = k \frac{nm}{n^2} e^{k} - k \frac{n^2 - nm}{n^2} e^{-k} = k\Big(\frac{1-e^{-k}}{e^k - e^{-k}} (e^k + e^{-k}) - e^{-k}\Big),$

k^{2} / 2

$k^2 / 2$

k \to 0

$k \to 0$

k

$k$

k \to \infty

$k \to \infty$

— NRH
джерело

Я не впевнений, що це те, що ви шукаєте, оскільки це здебільшого алгебраїчно і не дуже корисно для властивостей p як розподілу ймовірностей, але ось щось ви можете спробувати.

Через межі на pmi чітко і, отже,. Ми можемо підставитивщоб отримати $\frac{p(x,y)}{p(x)p(y)}\leq e^k$ $p(x,y)\leq p(x)p(y)\cdot e^k$ $p(x,y)$ $I(X;Y)$ $I(X;Y)\leq \sum_{x,y}p(x)p(y)\cdot e^k\cdot log(\frac{p(x)p(y)\cdot e^k}{p(x)p(y)}) = \sum_{x,y}p(x)p(y)\cdot e^k\cdot k$

Я не впевнений, корисно це чи ні.

EDIT: Upon further review I believe this is actually less useful than the original upper bound of k. I won't delete this though in case it might hint at a starting point.

— Michael McGowan
джерело

The value of this bound becomes apparent after you note

\sum_{x, y} p (x) p (y) = 1

$\sum_{x,y}p(x)p(y)=1$ and (since

k \geq 0

$k \ge 0$ ) that

e^{k} \geq 1

$e^k \ge 1$ .

— whuber

Yes, when I realized that I made my edit.

— Michael McGowan