Спеціальний розподіл ймовірностей

Якщо - розподіл ймовірності з ненульовими значеннями на , для якого типу (s) існує константа така, що для всіх ? $p(x)$ $[0,+\infty)$ $p(x)$ $c\gt 0$ $\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2$ $0\lt\epsilon\lt 1$

Нерівність, наведена вище, насправді є дивергенцією Кулбека-Лейблера між розподілом та стислим його варіантом . Я з’ясував, що ця нерівність стосується розподілів експоненціальної, гамма та вейбулла, і мені цікаво знати, чи працює це для більшого класу розподілів ймовірностей. $p(x)$ ${(1+\epsilon)}p({x}{(1+\epsilon)})$

Будь-яка ідея, що ця нерівність означає?

— Sus20200
джерело

Оскільки

ϵ

$\epsilon$ позитивний, він би стискався (у напрямку x), а не розтягувався.

— Glen_b -Встановіть Моніку

Це питання неоднозначне: які ваші квантори? Ви хочете, щоб ця нерівність дотримувалася для всіх , принаймні одного чи чогось іншого? Є урахуванням апріорної або ви маєте в виду повинно існувати хоча б одне таке значення в ? А оскільки ви згадуєте класи розподілу ймовірностей, під " " ви маєте на увазі одне конкретне розподіл чи ви, мабуть, маєте на увазі параметричне їх сімейство?

ϵ

$\epsilon$

ϵ

$\epsilon$

c

$c$

c

$c$

p (x)

$p(x)$

— whuber

@whuber Дякуємо за ваші коментарі. Я виправив свою заяву про проблему, щоб уточнити вказані проблеми. Я маю на увазі, для чого виконується наведена нерівність? Відповідь може бути або введенням параметричного сімейства розподілів, або пропонуванням диференціального рівняння для яке достатньо і дає бажану нерівність.

p (x)

$p(x)$

p (x)

$p(x)$

— Sus20200

Невже ця нерівність не спрацює для будь-якого p (x), який є безперервним і з нескінченною підтримкою? Ви обчислюєте розбіжність KL всередині параметричного сімейства ( . Якщо KL є значущим на 0, то його похідна дорівнює 0. Приймаючи як максимум кривизни KL (для ) ми пов'язані. Додатковою роботою може бути можливо зв’язати C з властивостями p

ϵ \to p (x (1 + ϵ))

$\epsilon \rightarrow p(x(1+\epsilon))$

C

$C$

ϵ \in [0, 1]

$\epsilon \in [0,1]$

— Гійом Дегаен

Це може бути нескінченність, поки . Розширення KL першого порядку -

L = lim_{x \to 0} p (x) x = 0

$L = \lim_{x \rightarrow 0} p(x)x = 0$

L ϵ + O (ϵ^{2})

$L \epsilon + O(\epsilon^2)$

— Артур Б.

Прелімінарії

Пишіть

I_{p} (ϵ) = \int_{0}^{\infty} p (x) \log (\frac{p (x)}{(1 + ϵ) p (x (1 + ϵ))}) d x .

$\mathcal{I}_p(\epsilon) = \int_0^\infty p(x) \log\left(\frac{p(x)}{(1+\epsilon)p(x(1+\epsilon))}\right)\, dx.$

Логарифми та зв'язок між та пропонують виразити як і його аргумент як експоненти. З цією метою визначте $p(x)$ $p(x(1+\epsilon))$ $p$

q (y) = \log (p (e^{y}))

$q(y) = \log(p(e^y))$

для всіх реальних для яких права сторона визначена і дорівнює де . Зауважте, що зміна змінних тягне за собою і (приймаючи за щільність розподілу), що закон сумарної ймовірності може бути виражений таким чином $y$ $-\infty$ $p(e^y)=0$ $x=e^y$ $dx=e^y dy$ $p$

\begin{matrix} (1) & 1 = \int_{0}^{\infty} p (x) d x = \int_{R} e^{q (y) + y} d y . \end{matrix}

$1 = \int_0^\infty p(x)dx = \int_\mathbb{R} e^{q(y)+y} dy.\tag{1}$

Припустимо, що коли . $e^{q(y)+y}\to 0$ $y\to\pm\infty$ Це виключає розподіл ймовірностей з нескінченно великими шипами щільності близько або . Зокрема, якщо хвости зрештою є монотонними, випливає це припущення, показуючи, що воно не є суворим. $p$ $0$ $\infty$ $p$ $(1)$

Щоб полегшити роботу з логарифмами, також це дотримуйтесь

1 + ϵ = e^{ϵ} + O (ϵ^{2}) .

$1+\epsilon = e^\epsilon + O(\epsilon^2).$

Оскільки наступні обчислення будуть виконані до кратних , визначте $\epsilon^2$

δ = \log (1 + ϵ) .

$\delta = \log(1+\epsilon).$

Ми також можемо замінити на , при цьому відповідає а позитивний відповідає позитивному . $1+\epsilon$ $e^\delta$ $\delta=0$ $\epsilon=0$ $\delta$ $\epsilon$

Аналіз

Одним із очевидних способів нерівності може бути невдача - це інтеграл розходитись для деякого . Це станеться, якби, наприклад, мали бути будь-який власний інтервал додатних чисел, незалежно від того, наскільки малий, у якому були однаково нульовими, але не були нульовими на інтервалі . Це призведе до того, що інтеград буде нескінченна з позитивною ймовірністю. $\mathcal{I}_p(\epsilon)$ $\epsilon \in (0, 1]$ $[u, v]$ $p$ $p$ $[u-\epsilon, v-\epsilon]$

Оскільки питання не є специфічним щодо природи , ми можемо заплутатися в технічних питаннях щодо того, наскільки гладким може бути . Давайте уникатимемо таких питань, все ще сподіваючись отримати деяке розуміння, припускаючи, що скрізь має стільки похідних, як ми могли б хотіти використовувати. (Двох буде достатньо, якщо безперервний.) Оскільки це гарантії залишається обмеженим у будь-якому обмеженому множині, це означає, що ніколи не дорівнює нулю, коли . $p$ $p$ $q$ $q^{\prime\prime}$ $q$ $p(x)$ $x \gt 0$

Зауважте, що питання дійсно стосується поведінки коли наближається до нуля зверху. Оскільки цей інтеграл є неперервною функцією в інтервалі , він досягає деякого максимуму коли обмежений будь-яким позитивним інтервалом , що дозволяє нам вибрати , тому що очевидно $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\epsilon$ $(0,1]$ $M_p(a)$ $\epsilon$ $[a,1]$ $c = M_p(a)/a^2$

c ϵ^{2} = M_{p} (a) {(\frac{ϵ}{a})}^{2} \geq M_{p} (a) \geq I_{p} (ϵ)

$c\epsilon^2 = M_p(a) \left(\frac{\epsilon}{a}\right)^2 \ge M_p(a) \ge \mathcal{I}_p(\epsilon)$

змушує нерівність працювати. Ось чому нам потрібно займатися лише модулем обчислення . $\epsilon^2$

Рішення

Використовуючи зміни змінної від до , від до та до , давайте обчислимо через другий порядок у (або ) у надії досягти спрощення. Для цього визначте $x$ $y$ $p$ $q$ $\epsilon$ $\delta$ $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\delta$

R (y, δ) δ^{2} = q (y + δ) - q (y) - δ q^{'} (y)

$\mathcal{R}(y, \delta) \delta^2 = q(y+\delta) - q(y) - \delta q^\prime(y)$

бути залишком порядку в розширенні Тейлора навколо . $2$ $q$ $y$

\begin{aligned} I_{p} (ϵ) & = \int_{R} e^{q (y) + y} (q (y) - q (y + δ) - δ) d y \\ = - \int_{R} e^{q (y) + y} (δ + δ q^{'} (y) + R (y, δ) δ^{2}) d y \\ = - δ \int_{R} e^{q (y) + y} (1 + q^{'} (y)) d y - δ^{2} \int_{R} e^{q (y) + y} R (y, δ) d y . \end{aligned}

$\eqalign{ \mathcal{I}_p(\epsilon) &= \int_\mathbb{R}e^{q(y) + y} \left(q(y) - q(y+\delta) - \delta\right)\, dy \\ &=-\int_\mathbb{R}e^{q(y) + y} \left(\delta + \delta q^\prime(y) + \mathcal{R}(y, \delta) \delta^2 \right)\, dy \\ &= -\delta\int_\mathbb{R}e^{q(y) + y} \left(1+q^\prime(y)\right)\, dy -\delta^2\int_\mathbb{R}e^{q(y) + y} \mathcal{R}(y, \delta)\, dy. }$

Зміна змінних на в лівій інтегралі показує, що вона повинна зникати, як це зазначалося в припущенні, що випливає з . Зміна змінних назад на в правій інтегралі дає $q(y)+y$ $(1)$ $x=e^y$

I_{p} (ϵ) = - δ^{2} \int_{R} p (x) R (\log (x), δ) d y = - δ^{2} E_{p} (R (\log (x), δ)) .

$\mathcal{I}_p(\epsilon) = - \delta^2 \int_\mathbb{R} p(x) \mathcal{R}(\log(x), \delta)\, dy = -\delta^2 \mathbb{E}_p\left(\mathcal{R}(\log(x), \delta)\right).$

Нерівність дотримується (за нашими різними технічними припущеннями) тоді і лише тоді, коли коефіцієнт праворуч кінцевий. $\delta^2$

Інтерпретація

Це хороший момент, щоб зупинитись, оскільки він, як видається, розкриває істотну проблему: обмежується квадратичною функцією саме тоді, коли квадратична помилка в розширенні Тейлора не відповідає вибухають (щодо розподілу) , як наближається . $\mathcal{I}_p(\epsilon)$ $\epsilon$ $q$ $y$ $\pm\infty$

Давайте перевіримо деякі випадки, згадані у питанні: Експоненціальні та гамма-розподіли. (Експоненція - це особливий випадок Гамми.) Нам ніколи не потрібно турбуватися про параметри шкали, оскільки вони просто змінюють одиниці вимірювання. Мають значення лише немасштабні параметри.

Тут, тому що для , Розширення Тейлора навколо довільного - цеЗ теореми Тейлора з залишком випливає, що переважає для досить малого . Оскільки очікування є скінченним, для розподілів Gamma існує нерівність. $p(x) = x^k e^{-x}$ $k \gt -1$

q (y) = - e^{y} + k y - \log Γ (k + 1) .

$q(y) = -e^y + k y - \log\Gamma(k+1).$

y

$y$

Constant + (k - e^{y}) δ - \frac{e^{y}}{2} δ^{2} + \dots .

$\text{Constant} + (k-e^y)\delta - \frac{e^y}{2}\delta^2 + \cdots.$

R (\log (x), δ)

$\mathcal{R}(\log(x),\delta)$

e^{y + δ} / 2 < x

$e^{y+\delta}/2 \lt x$

δ

$\delta$

x

$x$

Подібні обчислення передбачають нерівність розподілів Вейбулла, напівнормальних розподілів, лонормальних розподілів тощо. Насправді, для отримання контрприкладів нам потрібно було б порушити хоча б одне припущення, змусивши нас подивитися на розподіли, де зникає на певному інтервалі, або не безперервно двічі диференціюється, або має нескінченно багато режимів. Це прості тести, які можна застосувати до будь-якого сімейства розподілів, які зазвичай використовуються в статистичному моделюванні. $p$

— дзижчати
джерело