Інтерпретація похідної Радона-Нікодима між мірами ймовірності?

Я бачив в деяких моментах використання похідної Радона-Нікодима однієї міри ймовірності відносно іншої, особливо це стосується розбіжності Куллбека-Лейблера, де це похідна від міри ймовірності моделі для якогось довільного параметра щодо реального параметра : $\theta$ $\theta_0$

\frac{d P_{θ}}{d P_{θ_{0}}}

$\frac {dP_\theta}{dP_{\theta_0}}$

Де ці обидві міри ймовірності на просторі точок даних, що залежать від значення параметра: . $P_\theta(D)=P(D|\theta)$

Яка інтерпретація такої похідної Радона-Нікодима у розбіжності Куллбека-Лейблера, або взагалі між двома імовірнісними заходами?

— user56834
джерело

По-перше, нам не потрібні міри ймовірності, просто -кінцевість. Так нехай вимірні простір і нехай і бути -Звичайно заходи по . $\sigma$ $\mathcal M = (\Omega, \mathscr F)$ $\mu$ $\nu$ $\sigma$ $\mathcal M$

Радону-Никодима теорема стверджує , що якщо для всіх , позначимо через , то існує невід'ємне Борель функція така , що для всіх . $\mu(A) = 0 \implies \nu(A) = 0$ $A \in \mathscr F$ $\mu \gg \nu$ $f$

ν (A) = \int_{A} f d μ

$\nu(A) = \int_A f \,\text d\mu$

A \in F

$A \in \mathscr F$

Ось як мені подобається думати про це. По-перше, для будь-яких двох заходів на визначимо для значення . Це дійсне співвідношення еквівалентності, і ми кажемо, що та є рівнозначними в цьому випадку. Чому це доцільна еквівалентність заходів? Заходи - це лише функції, але їхні області є складними для візуалізації. Що робити, якщо дві звичайні функції мають цю властивість, тобто ? Добре, визначте і зауважте, що в будь-якому місці на підтримці $\mathcal M$ $\mu \sim \nu$ $\mu(A) = 0 \iff \nu(A) = 0$ $\mu$ $\nu$ $f, g :\mathbb R \to \mathbb R$ $f(x) = 0 \iff g(x) = 0$

h (x) = {\begin{cases} f (x) / g (x) & g (x) \neq 0 \\ π^{e} & o.w. \end{cases}

$h(x) = \begin{cases} f(x) / g(x) & g(x) \neq 0 \\ \pi^e & \text{o.w.}\end{cases}$

g

$g$ нас , а поза підтримкою (оскільки підтримує і спільний доступ), тому дозволяє нам змінити масштаб у . Як зазначає @whuber, ключова ідея тут полягає не в тому, що якимось чином "безпечно" робити або ігнорувати, а скоріше, коли то не має значення, що робить, ми можемо просто визначити це довільно ( бути що тут не має особливого значення) і все ще працює. Також у цьому випадку ми можемо визначити аналогічну функцію з так, що

g h = f

$gh = f$

g

$g$

g h = 0 \cdot π^{e} = 0 = f

$gh = 0 \cdot \pi^e = 0 = f$

f

$f$

g

$g$

h

$h$

g

$g$

f

$f$

0 / 0

$0/0$

g = 0

$g = 0$

h

$h$

π^{e}

$\pi^e$

h^{'}

$h'$

g / f

$g / f$

f h^{'} = g

$fh' = g$ .

Далі припустимо, що , але інший напрямок не обов'язково має місце. Це означає, що наше попереднє визначення все ще працює, але зараз не працює, оскільки воно матиме фактичні поділи на . Таким чином, ми можемо змінити масштаб у через , але ми не можемо піти в іншому напрямку, оскільки нам знадобиться змінити масштаб в щось не нульове. $g(x) = 0 \implies f(x) = 0$ $h$ $h'$ $0$ $g$ $f$ $gh = f$ $0$

Тепер повернемося до та та позначимо наш RND . Якщо , то це інтуїтивно означає, що одного можна змінити в інший, і навпаки. Але, як правило, ми хочемо в цьому напрямку піти лише в одному напрямку (тобто змінити хороший захід, як міра Лебега, на більш абстрактний захід), тому нам потрібно лише робити корисні речі. Цей масштаб є серцем RND. $\mu$ $\nu$ $f$ $\mu \sim \nu$ $\mu \gg \nu$

Повертаючись до пункту @ whuber у коментарях, є додаткова тонкість, чому можна ігнорувати питання . Це тому, що за допомогою заходів ми лише коли-небудь визначаємо речі до множин вимірювання тому в будь-якому множині з ми можемо просто змусити наш RND приймати будь-яке значення, скажімо, . Тож справа не в тому, що є суто безпечною, а навпаки, де у нас було б - це набір вимірювань wrt тому ми можемо просто визначити наш RND, щоб бути чимось приємним, не впливаючи на що-небудь. $0/0$ $0$ $A$ $\mu(A) = 0$ $1$ $0/0$ $0/0$ $0$ $\mu$

Наприклад, припустимо, що для деяких . Тоді тому у нас є - RND (це може бути виправдано більш формально теоремою зміни мір). Це добре, тому що ми точно відновили коефіцієнт масштабування. $k \cdot \mu = \nu$ $k > 0$

ν (A) = \int_{A} d ν = \int_{A} k d μ

$\nu(A) = \int_A \,\text d\nu = \int_A k \,\text d \mu$

f (x) = k = \frac{d ν}{d μ}

$f(x) = k = \frac{\text d\nu}{\text d\mu}$

Ось другий приклад, щоб підкреслити, як зміна RND на наборах мір не впливає на них. Нехай , тобто стандартний звичайний PDF плюс якщо введення раціональне, і нехай - RV з цією щільністю. Це означає, що тому насправді все ще є стандартним гауссовим RV. Це ніяким чином не вплинуло на розподіл, щоб змінити на оскільки це набір міри wrt $0$ $f(x) = \varphi(x) + 1_{\mathbb Q}(x)$ $1$ $X$

P (X \in A) = \int_{A} (φ + 1_{Q}) d λ

$P(X \in A) = \int_A \left(\varphi + 1_{\mathbb Q}\right) \,\text d\lambda$

= \int_{A} φ d λ + λ (Q) = \int_{A} φ d λ

$= \int_A \varphi \,\text d\lambda + \lambda\left(\mathbb Q \right) =\int_A \varphi \,\text d\lambda$

X

$X$

X

$X$

Q

$\mathbb Q$

0

$0$

λ

$\lambda$ .

Як кінцевий приклад, припустимо, що і і нехай і є їх відповідними розподілами. Нагадаємо, що pmf є RND щодо міри підрахунку , і оскільки має властивість, що , виходить, що $X \sim \text{Pois}(\eta)$ $Y \sim \text{Bin}(n, p)$ $P_X$ $P_Y$ $c$ $c$ $c(A) = 0 \iff A = \emptyset$

\frac{d P_{Y}}{d P_{X}} = \frac{d P_{Y} / d c}{d P_{X} / d c} = \frac{f_{Y}}{f_{X}}

$\frac{\text dP_Y}{\text dP_X} = \frac{\text dP_Y / \text dc}{\text dP_X / \text dc} = \frac{f_Y}{f_X}$

тому ми можемо обчислити

P_{Y} (A) = \int_{A} d P_{Y}

$P_Y(A) = \int_A \,\text dP_Y$

= \int_{A} \frac{d P_{Y}}{d P_{X}} d P_{X} = \int_{A} \frac{d P_{Y}}{d P_{X}} \frac{d P_{X}}{d c} d c

$= \int_A \frac{\text dP_Y}{\text dP_X}\,\text dP_X = \int_A \frac{\text dP_Y}{\text dP_X}\frac{\text dP_X}{\text dc}\,\text dc$

= \sum_{y \in A} \frac{d P_{Y}}{d P_{X}} (y) \frac{d P_{X}}{d c} (y) = \sum_{y \in A} \frac{f_{Y} (y)}{f_{X} (y)} f_{X} (y) = \sum_{y \in A} f_{Y} (y) .

$= \sum_{y \in A} \frac{\text dP_Y}{\text dP_X}(y)\frac{\text dP_X}{\text dc}(y) = \sum_{y \in A} \frac{f_Y(y)}{f_X(y)}f_X(y) = \sum_{y \in A} f_Y(y).$

Таким чином, оскільки для всіх в підтримці , ми можемо змінити масштаб інтеграції щодо розподілу Пуассона в інтеграцію відносно біноміального розподілу, хоча, оскільки все дискретно, це виглядає як тривіальне результат. $P(X = n) > 0$ $n$ $Y$

Я торкнувся вашого більш загального питання, але не торкнувся розбіжностей KL. Принаймні, мені здається, що дивергенцію KL набагато простіше інтерпретувати через тестування гіпотез, як відповідь @kjetil b halvorsen тут . Якщо і існує міра яка домінує над обома, використовуючи ми можемо відновити форму з щільністю, тому для мене мені це легше. $P \ll Q$ $\mu$ $\frac{\text dP}{\text dQ} = \frac{\text dP / \text d\mu}{\text dQ / \text d\mu} := p / q$

— jld
джерело

Мені сподобалося це викладення (як і мені подобається весь ваш внесок), але внизу, здається, випливає з (повторного) твердження, що має певний сенс - але це не так. Щось відбувається з заходами, що не відбувається автоматично з функціями реальних значень: ви можете просто ігнорувати те, що відбувається на множинах міри нуля. Ось так уникнути необхідності мати значення у налаштуваннях похідних Радон-Нікодим.

0 / 0

$0/0$

0 / 0

$0/0$

— whuber

@whuber дякую за коментар, що справді допомагає. Я намагався оновити, щоб вирішити цю

— проблему