Дивергенція Кульбека-Лейблера БЕЗ теорії інформації

Після довгого траулінгу Cross Valified я все ще не відчуваю, що я ближче до розуміння розбіжності KL поза сферою теорії інформації. Це досить дивно, як комусь із математичним фоном, щоб було набагато простіше зрозуміти пояснення теорії інформації.

Щоб окреслити моє розуміння з передумови теорії інформації: Якщо у нас є випадкова величина з обмеженою кількістю результатів, існує оптимальне кодування, яке дозволяє нам спілкуватися про результат з кимось іншим із середнім найкоротшим повідомленням (я вважаю, що це найлегше малюнок у розряді). Очікувана довжина повідомлення, яке потрібно повідомити про результат, задається якщо використовується оптимальне кодування. Якщо ви використовували суб оптимальне кодування, то KL розбіжність підказує нам в середньому, наскільки довше буде наше повідомлення.

- \sum_{α} p_{α} {журнал}_{2} (p_{α})

$-\sum _{\alpha}p_{\alpha}\log_{2}(p_{\alpha})$

Мені подобається це пояснення, оскільки воно досить інтуїтивно стосується асиметрії дивергенції KL. Якщо у нас є дві різні системи, тобто дві завантажені монети, які завантажуються по-різному, вони матимуть різні оптимальні кодування. Я якось інстинктивно не відчуваю, що використання кодування другої системи для першого є «однаково поганим», ніж використання кодування першої системи для другого. Не переглядаючи процес думки про те, як я переконався в собі, зараз я досить щасливий, що дає вам цю "додаткову очікувану довжину повідомлення" при використанні кодування для .

\sum_{α} p_{α} ({журнал}_{2} q_{α} - {журнал}_{2} p_{α})

$\sum _{\alpha}p_{\alpha}( \log _{2}q_{\alpha}-\log_{2}p_{\alpha})$

q

$q$

p

$p$

Однак більшість визначень дивергенції KL, включаючи Вікіпедію, потім роблять твердження (зберігаючи це дискретно, щоб його можна порівняти з інтерпретацією теорії інформації, яка працює набагато краще в дискретних термінах, оскільки біти дискретні), що якщо у нас є дві дискретні ймовірності розподілу, то KL надає деяку метрику "наскільки вони різні". Я ще не бачив єдиного пояснення того, як ці дві концепції навіть пов'язані. Мені здається, я пам’ятаю, що у своїй книзі про умовивід Дейв Макей зазначає, що стиснення даних і умовиводів - це одне й те саме, і я підозрюю, що моє питання справді пов’язане з цим.

Незалежно від того, це чи ні, це таке питання, яке я маю на увазі, полягає в проблемах висновку. (Тримаючи речі дискретні), якщо у нас є два радіоактивні зразки, і ми знаємо, що один з них є певним матеріалом з відомою радіоактивністю (це сумнівна фізика, але давайте робити вигляд, що Всесвіт працює так), і таким чином ми знаємо "справжнє" розподіл радіоактивних клацань, які ми повинні виміряти, повинні бути отруйними з відомим , чи справедливо створити емпіричний розподіл для обох зразків і порівняти їх розбіжності KL з відомим розподілом і сказати, що чим нижчий, швидше за все, цей матеріал? $\lambda$

Якщо піти від сумнівної фізики, якщо я знаю, що два зразки витягнуті з одного і того ж розподілу, але я знаю, що вони не вибрані випадковим чином, порівнюючи їх розбіжності KL з відомими, глобальні розподіли дають мені відчуття "наскільки упереджені" зразки , відносно одного та іншого все одно?

І нарешті, якщо відповідь на попередні питання - так, то чому? Чи можливо зрозуміти ці речі лише зі статистичної точки зору, не здійснюючи жодних (можливо, дрібних) зв’язків з теорією інформації?

— gazza89
джерело

Дивіться мою відповідь тут: stats.stackexchange.com/questions/188903/… що не стосується теорії інформації

— kjetil b halvorsen

Чи розбіжність KL не є суто інформаційно-теоретичною концепцією? Я знаю, що вона дає взаємну інформацію між байєсівською передньою і задньою, або щось подібне, і я пам’ятаю, як бачив це один раз у контексті перетворень / кон'югатів Фенхеля (велика теорія відхилень), але в будь-якому випадку я вважав, що це теоретична концепція інформації .

— Chill2Macht

Відповіді:

Існує суто статистичний підхід до розбіжності Куллбека-Лейблера: взяти зразок iid з невідомого розподілу і розглянути потенціал, який відповідає сімейству розподілів, Відповідна ймовірність визначається як та її логарифм - Тому котрий є цікавою частиною розбіжності Куллбека-Лейблера між і $X_1,\ldots,X_n$ $p^\star$

Ж = {p_{θ}, θ \in Θ}

$\mathfrak{F}=\{p_\theta\,,\ \theta\in\Theta\}$

L (θ | х_{1}, \dots, х_{н}) = \prod_{i = 1}^{н} p_{θ} (х_{i})

$L(\theta|x_1,\ldots,x_n)=\prod_{i=1}^n p_\theta(x_i)$

ℓ (θ | х_{1}, \dots, х_{н}) = \sum_{i = 1}^{н} журнал p_{θ} (х_{i})

$\ell(\theta|x_1,\ldots,x_n)=\sum_{i=1}^n \log p_\theta(x_i)$

\frac{1}{н} ℓ (θ | х_{1}, \dots, х_{н}) ⟶ Е [журнал p_{θ} (Х)] = \int журнал p_{θ} (х) p^{⋆} (х) г х

$\frac{1}{n} \ell(\theta|x_1,\ldots,x_n) \longrightarrow \mathbb{E}[\log p_\theta(X)]=\int \log p_\theta(x)\,p^\star(x)\text{d}x$

p_{θ}

$p_\theta$

p^{⋆}

$p^\star$

Н (p_{θ} | p^{⋆}) \overset{деф}{=} \int журнал {p^{⋆} (х) / p_{θ} (х)} p^{⋆} (х) г х

$\mathfrak{H}(p_\theta|p^\star)\stackrel{\text{def}}{=}\int \log \{p^\star(x)/p_\theta(x)\}\,p^\star(x)\text{d}x$ інша частина там, щоб мінімум [in ] дорівнював нулю.

\int журнал {p^{⋆} (х)} p^{⋆} (х) г х

$\int \log \{p^\star(x)\}\,p^\star(x)\text{d}x$

θ

$\theta$

H (p_{θ} | p^{⋆})

$\mathfrak{H}(p_\theta|p^\star)$

Книга, яка пов'язує розбіжність, теорію інформації та статистичні умовиводи - це Оптимальна оцінка параметрів Ріссанена , яку я розглянув тут .

— Сіань
джерело

Будь-яка можливість бачити чисельний приклад цього?

— Пол Ушак

Ну я маю на увазі побачити деякі фактичні цифри. Теорія мила, але світ працює на цифрах. Немає прикладів дивергенції KL, які використовують фактичні числа, тому я роблю висновок, що це теорія без можливого застосування. ОП обговорювала тривалість повідомлень у бітах та стиснення даних. Я мав на увазі будь-який приклад, який містить у собі кілька біт ...

— Пол Ушак

@PaulUszak: якщо я скажу вам, що відстань Куллабека-Лейблера між розподілом N (0,1) та N (1,1) дорівнює 1/2, як це допомагає?

— Сіань

@ Xi'an: Має бути якийсь зв’язок між цим числом 1/2 та потужністю відповідного тесту на коефіцієнт ймовірності?

— kjetil b halvorsen

+1 Перегляньте нитку коментарів: розум хизується думкою, що будь-яка концепція, яку не можна звести до "кількості біт", марна.

— whuber

Ось статистичне тлумачення розбіжності Куллбека-Лейблера, вільно взятого з IJ Good ( Вага доказів: коротке опитування , Bayesian Statistics 2, 1985).

Вага доказів.

$x_1, x_2, \dots, x_n$ $f_0$ $H_1$ $H_2$ $f_0$ $H_1 = \{f_1\}$ $H_2 = \{f_2\}$ $f_0$ $f_1$ $f_2$

$x = (x_1, \dots, x_n)$ $H_1$ $H_2$

W (х) = журнал \frac{f_{1} (х)}{f_{2} (х)} .

$W(x) = \log \frac{f_1(x)}{f_2(x)} .$

P

$P$

H_{0}

$H_0$

H_{1}

$H_1$

W

$W$

журнал \frac{П (Н_{0} | х)}{П (Н_{1} | х)} = W (х) + журнал \frac{П (Н_{0})}{П (Н_{1})} .

$\log \frac{P(H_0 | x)}{P(H_1 | x)} = W(x) + \log\frac{P(H_0)}{P(H_1)}.$

W (х_{1}, \dots, х_{н}) = W (х_{1}) + \dots + W (х_{н}) .

$W(x_1, \dots, x_n) = W(x_1) + \dots +W(x_n) .$

W (x)

$W(x)$ $x$ $H_1$ $H_2$

$x$ $W(x)$ $W(x) > 2$

Розбіжність Куллбека-Лейблера

$f_1$ $f_2$ $x \sim f_1$

К L (f_{1}, f_{2}) = Е_{х \sim f_{1}} W (х) = \int f_{1} журнал \frac{f_{1}}{f_{2}} .

$KL(f_1, f_2) = \mathbb{E}_{x \sim f_1} W(x) = \int f_1 \log\frac{f_1}{f_2}.$

$x \sim f_1$ $H_1 = \{f_1\}$ $H_2$

Е_{х \sim f_{1}} W (х) \geq 0.

$\mathbb{E}_{x \sim f_1} W(x) \geq 0.$

— Олів'є
джерело

Я ще не бачив єдиного пояснення того, як ці дві концепції навіть пов'язані.

Я мало знаю про теорію інформації, але я так думаю про це: коли я чую, як людина з теорії інформації каже «довжина повідомлення», мій мозок каже «здивування». Сюрприз 1.) випадковий і 2.) суб'єктивний.

$X$ $q(X)$ $- \log q(X)$

$q$ $X$ $p$ $p$ $E_p[-\log p(X)]$ $q$ $p$ $E_p[-\log q(X)]$

Замість того, щоб думати про "наскільки вони різні", я думаю про "збільшення очікуваного сюрпризу від неправильного розподілу". Це все з властивостей логарифму.

Е_{p} [журнал (\frac{p (Х)}{q (Х)})] = Е_{p} [- журнал q (Х)] - Е_{p} [- журнал p (Х)] \geq 0.

$E_p[\log \left( \frac{p(X)}{q(X)} \right)] = E_p[-\log q(X)] - E_p[- \log p(X)] \ge 0.$

Редагувати

$−\log(q(x))$ $q$

$X$ $q$ $x$ $0$ $-\log(0) = \infty$ $1$ $0$

$-\log$

$q(x) > 1$

$X \sim q_X(x)$ $Y=aX+b \sim q_x((y-b)/a)|1/a|$ $X$ $-\log q_X(X) \neq -\log q_Y(Y)$

$(X-EX)^2$

Редагувати 2: схоже, що я не єдиний, хто вважає це "сюрпризом". Від сюди :

$y$ $\theta$ $-2 \log\{ p(y \mid \theta)\}$

— Тейлор
джерело

- \log (q (x))

$-\log(q(x))$

q

$q$

T

$T$

T (X) = a X

$T(X) = aX$

a \neq 0

$a \not = 0$

T

$T$

T (x)

$T(x)$

x

$x$

T (x)

$T(x)$

x

$x$

- \log q_{T (X)} (T (x)) > - \log q_{X} (x)

$-\log q_{T(X)}(T(x)) > -\log q_X (x)$

(X - E [X])^{2}

$(X - E[X])^2$