Оцініть розбіжність Кулбека Лейблера (KL) з Монте Карло

10

Я хочу оцінити розбіжність KL між двома безперервними розподілами f і g. Однак я не можу записати щільність ні для f, ні для g. Я можу зробити вибірку з f та g за допомогою якогось методу (наприклад, markov chain monte carlo).

Розбіжність KL від f до g визначається так

D_{K L} (f | | g) = \int_{- \infty}^{\infty} f (x) \log (\frac{f (x)}{g (x)}) d x

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx$

Це очікування $\log\left(\frac{f(x)}{g(x)}\right)$ стосовно f, щоб ви могли уявити собі якусь оцінку monte carlo

\frac{1}{N} \sum_{i}^{N} \log (\frac{f (x_{i})}{g (x_{i})})

$\frac{1}{N}\sum_i^N \log\left(\frac{f(x_i)}{g(x_i)}\right)$

Де я індексує N зразків, які витягуються з f (тобто $x_i \sim f()$ для i = 1, ..., N)

Однак, оскільки я не знаю f () і g (), я навіть не можу використовувати цю оцінку monte carlo. Який стандартний спосіб оцінки КЛ у цій ситуації?

EDIT: Я не знаю ненормалізованої щільності ні для f (), ні для g ()

kullback-leibler

— фрелк
джерело

Чи обдумали ви використовувати ecdfs?

— Тобі

це буде працювати, але це може бути довільно повільним для жорсткого вибору f і g (близькі або закриті хвости). Якщо ви вирішите ігнорувати зразки далеко від хвостів, то, можливо, вам буде більше удачі з верхнім обмеженням roc.

— Крістіан Чапман

По суті, дублікат: stats.stackexchange.com/questions/211175/…

— kjetil b halvorsen

7

Я припускаю, що ви можете оцінити $f$ і $g$ аж до нормалізуючої константи. Позначимо $f(x) = f_u(x)/c_f$ і $g(x) = g_u(x)/c_g$ .

Послідовний оцінювач, який може бути використаний, є

\hat{D_{K L}} (f | | g) = {[n^{- 1} \sum_{j} f_{u} (x_{j}) / π_{f} (x_{j})]}^{- 1} \frac{1}{N} \sum_{i}^{N} [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})}) \frac{f_{u} (z_{i})}{π_{r} (z_{i})}] - \log (\hat{r})

$\widehat{D_{KL}}(f || g) = \left[n^{-1} \sum_j f_u(x_j)/\pi_f(x_j)\right]^{-1}\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] - \log (\hat{r})$ де

\begin{matrix} (1) & \hat{r} = \frac{1 / n}{1 / n} \frac{\sum_{j} f_{u} (x_{j}) / π_{f} (x_{j})}{\sum_{j} g_{u} (y_{j}) / π_{g} (y_{j})} . \end{matrix}

$\hat{r} = \frac{1/n}{1/n}\frac{\sum_j f_u(x_j)/\pi_f(x_j)}{\sum_j g_u(y_j)/\pi_g(y_j)} \tag{1}.$ є важливим оцінкою вибірки для співвідношення

c_{f} / c_{g}

$c_f/c_g$ . Тут ви використовуєте

π_{f}

$\pi_f$ і

π_{g}

$\pi_g$ як інструментальна щільність для

f_{u}

$f_u$ і

g_{u}

$g_u$ відповідно, і

π_{r}

$\pi_r$ для орієнтації на коефіцієнт журналу ненормалізованої щільності.

Тож нехай $\{x_i\} \sim \pi_f$ , $\{y_i\} \sim \pi_g$ , і $\{z_i\} \sim \pi_r$ . Чисельник (1) сходить до $c_f$ . Знаменник сходить до $c_g$ . Коефіцієнт відповідає теоремі безперервного відображення. Журнал коефіцієнта узгоджується безперервним відображенням знову.

Що стосується іншої частини оцінювача,

\frac{1}{N} \sum_{i}^{N} [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})}) \frac{f_{u} (z_{i})}{π_{r} (z_{i})}] \overset{as}{\to} c_{f} E [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})})]

$\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] \overset{\text{as}}{\to} c_f E\left[ \log\left(\frac{f_u(z_i)}{g_u(z_i)}\right) \right]$ за законом великої кількості.

Моя мотивація полягає в наступному:

\begin{aligned} D_{K L} (f | | g) & = \int_{- \infty}^{\infty} f (x) \log (\frac{f (x)}{g (x)}) d x \\ = \int_{- \infty}^{\infty} f (x) {\log [\frac{f_{u} (x)}{g_{u} (x)}] + \log [\frac{c_{g}}{c_{f}}]} d x \\ = E_{f} [\log \frac{f_{u} (x)}{g_{u} (x)}] + \log [\frac{c_{g}}{c_{f}}] \\ = c_{f}^{- 1} E_{π_{r}} [\log \frac{f_{u} (x)}{g_{u} (x)} \frac{f_{u} (x)}{π_{r} (x)}] + \log [\frac{c_{g}}{c_{f}}] . \end{aligned}

$\begin{align*} D_{KL}(f || g) &= \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx \\ &= \int_{-\infty}^{\infty} f(x)\left\{ \log \left[\frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right]\right\} dx \\ &= E_f\left[\log \frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right] \\ &= c_f^{-1} E_{\pi_r}\left[\log \frac{f_u(x)}{g_u(x)}\frac{f_u(x)}{\pi_r(x)} \right] + \log \left[\frac{c_g}{c_f} \right]. \end{align*}$ Тож я просто розбиваю його на придатні шматки.

Для отримання додаткових ідей щодо моделювання коефіцієнта ймовірності я знайшов документ, який містить декілька: https://projecteuclid.org/download/pdf_1/euclid.aos/1031594732

— Тейлор
джерело

(+1) Тут варто зазначити, що вибіркове значення може мати надзвичайно велику дисперсію (навіть нескінченну дисперсію), якщо цільовий розподіл має більш жирні хвости, ніж розподіл, з якого вибираєте вибірку та / або кількість розмірів взагалі велика.

— Девід Дж. Харріс

@ DavidJ.Harris дуже дуже правдивий

— Тейлор

6

Тут я припускаю, що ви можете робити вибірки лише з моделей; функція ненормалізованої щільності недоступна.

Ви це пишете

D_{K L} (f | | g) = \int_{- \infty}^{\infty} f (x) \log (\underset{=: r}{\underset{⏟}{\frac{f (x)}{g (x)}}}) d x,

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\underbrace{\frac{f(x)}{g(x)}}_{=: r}\right) dx,$

де я визначив співвідношення ймовірностей бути $r$ . Алекс Смола пише, хоча в іншому контексті, що ви можете оцінити ці співвідношення "легко", просто навчаючи класифікатора. Припустимо, ви отримали класифікатор $p(f|x)$ , що може сказати вам ймовірність того, що спостереження $x$ створено користувачем $f$ . Зауважте, що $p(g|x) = 1 - p(f|x)$ . Тоді:

r = \frac{p (x | f)}{p (x | g)} = \frac{p (f | x) p (x) p (g)}{p (g | x) p (x) p (f)} = \frac{p (f | x)}{p (g | x)},

$r = \frac{p(x|f)}{p(x|g)} \\ = \frac{p(f|x) {p(x) p(g)}}{p(g|x)p(x) p(f)} \\ = \frac{p(f|x)}{p(g|x)},$

де перший крок належить Байєсу, а останній випливає з припущення, що $p(g) = p(f)$ .

Отримати такий класифікатор може бути досить просто з двох причин.

По-перше, ви можете робити стохастичні оновлення. Це означає, що якщо ви використовуєте оптимізатор на основі градієнта, як це характерно для логістичної регресії або нейронних мереж, ви можете просто взяти зразки з кожного $f$ і $g$ і зробити оновлення.

По-друге, оскільки у вас практично необмежені дані - ви можете просто зробити вибірку $f$ і $g$ до смерті – вам не доведеться турбуватися про надрядний одяг тощо.

— байерж
джерело

0

Крім імовірнісного методу класифікатора, згаданого @bayerj, ви також можете використовувати нижню межу розбіжності KL, похідну в [1-2]:

K L [f ‖ g] \geq sup_{T} {E_{x \sim f} [T (x)] - E_{x \sim g} [\exp (T (x) - 1)]},

$\mathrm{KL}[f \Vert g] \ge \sup_{T} \left\{ \mathbb{E}_{x\sim f}\left[ T(x) \right] - \mathbb{E}_{x\sim g} \left[ \exp \left( T(x) - 1 \right)\right] \right\},$ де - довільна функція. За деяких м'яких умов межа обмежується:

T : X \to R

$T:\mathcal{X}\to\mathbb{R}$

T (x) = 1 + \ln [\frac{f (x)}{g (x)}]

$T(x) = 1 + \ln \left[ \frac{f(x)}{g(x)} \right]$

Оцінити розбіжність KL між $f$ і $g$ , максимізуємо нижню межу wrt до функції $T(x)$ .

Список літератури:

[1] Nguyen, X., Wainwright, MJ та Jordan, MI, 2010. Оцінка дивергенційних функціоналів та коефіцієнта ймовірності шляхом опуклої мінімізації ризику. Операції IEEE з інформаційної теорії, 56 (11), стор.5847-5861.

[2] Nowozin, S., Cseke, B. and Tomioka, R., 2016. f-gan: Навчання генеративних нейронних пробовідбірників з використанням варіативної мінімізації дивергенції. У досягненні нейронних систем обробки інформації (с. 271-279).

— Куонг
джерело