Чи можна застосувати дивергенцію KL між дискретним та безперервним розподілом?

12

Я не математик. Я шукав в Інтернеті про KL Divergence. Що я дізнався - це розбіжність KL вимірює втрачену інформацію, коли ми наближаємо розподіл моделі відносно вхідного розподілу. Я бачив це між будь-якими двома безперервними або дискретними розподілами. Чи можемо ми зробити це між безперервним та дискретним чи навпаки?

distributions mathematical-statistics kullback-leibler

— пракаш
джерело

Пов’язано: stats.stackexchange.com/q/6907/2970

— кардинал

4

Ні: розбіжність KL визначається лише для розподілів на загальному просторі. Він запитує про щільність ймовірності точки $x$ за двома різними розподілами, $p(x)$ і $q(x)$ . Якщо $p$ - це розподіл на $\mathbb{R}^3$ і $q$ розподіл на $\mathbb{Z}$ , тоді $q(x)$ не має сенсу для балів $p \in \mathbb{R}^3$ і $p(z)$ не має сенсу для балів $z \in \mathbb{Z}$ . Насправді, ми навіть не можемо це зробити для двох безперервних розподілів на просторах різних розмірів (або дискретних, або будь-якого випадку, коли основні простори ймовірностей не збігаються).

Якщо ви маєте на увазі конкретний випадок, можливо, можна придумати якийсь подібний настрій міри, що відрізняються між розподілами. Наприклад, може бути доцільним кодувати безперервний розподіл під кодом для дискретного (очевидно, із втраченою інформацією), наприклад, округленням до найближчої точки дискретного випадку.

— Дугал
джерело

Зауважимо, що розбіжність KL між дискретними та абсолютно неперервними розподілами добре визначена.

— Олів'є

@Olivier Звичайне визначення вимагає загальної домінуючої міри, ні?

— Дугал

1

Ви праві, коли P і Q визначені на різних просторах. Але у загальному вимірюваному просторі такий захід завжди існує (наприклад, Р + Q), і розбіжність KL не залежить від конкретного вибору домінуючої міри.

— Олів'є

8

Так, відмінності KL між неперервними та дискретними випадковими змінними добре визначені. Якщо $P$ і $Q$ - це розподіли на якомусь просторі $\mathbb{X}$ , то обидва $P$ і $Q$ мають щільність $f$ , $g$ з повагою до $\mu = P+Q$ і

D_{K L} (P, Q) = \int_{X} f \log \frac{f}{g} d μ .

$D_{KL}(P,Q) = \int_{\mathbb{X}} f \log\frac{f}{g}d\mu.$

Наприклад, якщо $\mathbb{X} = [0,1]$ , $P$ - міра Лебега і $Q = \delta_0$ - точкова маса при $0$ , тоді $f(x) = 1-\mathbb{1}_{x=0}$ , $g(x) = \mathbb{1}_{x=0}$ і

D_{K L} (P, Q) = \infty .

$D_{KL}(P, Q) = \infty.$

— Олів'є
джерело

Як ти це доводиш

\int_{X} f \log \frac{f}{g} d μ

$\int_{\mathbb{X}} f \log\frac{f}{g}d\mu$ не залежить від домінуючого заходу?

— Габріель Ромон

Зміна теореми міри.

— Олів'є

1

Не взагалі. Дивергенція KL є

D_{К L} (П | | Q) = \int_{Х} журнал (\frac{г П}{г Q}) г П

$D_{KL}(P \ || \ Q) = \int_{\mathcal{X}} \log \left(\frac{dP}{dQ}\right)dP$

за умови, що $P$ є абсолютно безперервним щодо $Q$ і обидва $P$ і $Q$ є $\sigma$ -кінцевий (тобто за умов, де $\frac{dP}{dQ}$ чітко визначено).

Для "неперервної дискретності" KL-розбіжності між заходами на звичайному просторі, у вас є випадок, коли міра Лебега абсолютно безперервна щодо міри підрахунку, але міра підрахунку не є $\sigma$ -кінцевий.

— jtobin
джерело