Яке максимальне значення розбіжності Kullback-Leibler (KL)

Я буду використовувати розбіжність KL в коді python, і я отримав цей підручник .

У цьому підручнику реалізувати розбіжність KL досить просто.

kl = (model * np.log(model/actual)).sum()

Як я розумію, розподіл ймовірностей modelі actualповинен бути <= 1.

Моє запитання, яке максимальне обмежене / максимально можливе значення k ?. Мені потрібно знати максимально можливе значення відстані kl як для максимально обмеженого в моєму коді.

Або навіть з тією ж підтримкою, коли один розподіл має набагато товстіший хвіст, ніж інший. Візьміть коли тоді і Існують інші відстані, які залишаються обмеженими, наприкладp ( x ) = щільність Коші ⏞

$$KL(P\vert\vert Q) = \int p(x)\log\left(\frac{p(x)}{q(x)}\right) \,\text{d}x$$ ДоЛ(Р||Q)=∫ $$p(x)=\overbrace{\frac{1}{\pi}\,\frac{1}{1+x^2}}^\text{Cauchy density}\qquad q(x)=\overbrace{\frac{1}{\sqrt{2\pi}}\,\exp\{-x^2/2\}}^\text{Normal density}$$ ∫ $$KL(P\vert\vert Q) = \int \frac{1}{\pi}\,\frac{1}{1+x^2} \log p(x) \,\text{d}x + \int \frac{1}{\pi}\,\frac{1}{1+x^2} [\log(2\pi)/2+x^2/2]\,\text{d}x$$ $$\int \frac{1}{\pi}\,\frac{1}{1+x^2} x^2/2\,\text{d}x=+\infty$$

• відстань, що еквівалентно загальному віддалі варіації,$L¹$
• відстані Вассерштейна
• відстань Хеллінгера

Для розподілів, які не мають однакової підтримки, розбіжність KL не обмежена. Подивіться на визначення:

$$KL(P\vert\vert Q) = \int_{-\infty}^{\infty} p(x)\ln\left(\frac{p(x)}{q(x)}\right) dx$$

якщо P і Q не мають однакової підтримки, існує деяка точка де і , завдяки чому KL переходить до нескінченності. Це також стосується дискретних розподілів, що у вашому випадку. p ( x ′ ) ≠ 0 q ( x ′ ) = $x'$$p(x') \neq 0$$q(x') = 0$

Редагувати: Можливо, кращим вибором для вимірювання розбіжності між розподілами ймовірностей буде так звана відстань Вассерстейна, яка є метрикою і має кращі властивості, ніж розбіжність KL. Він став досить популярним завдяки застосуванню в глибокому навчанні (див. Мережі WGAN)

Щоб додати до відмінних відповідей Карлоса та Сіану , також цікаво відзначити, що достатньою умовою для кінцевої розбіжності KL є те, що обидві випадкові величини мають однакову компактну опору і обмеження опорної щільності. . Цей результат також встановлює неявну межу для максимуму розбіжності KL (див. Теорему та доказ нижче).

---

Теорема: Якщо щільності і мають однакову компактну опору і щільність обмежена на цій опорі (тобто має кінцеву верхню межу), то .q X p K L ( P | | Q ) < $p$$q$$\mathscr{X}$$p$$KL(P||Q) < \infty$

Доказ: Оскільки має компактну підтримку це означає, що існує деяке додатне мінімальне значення:$q$$\mathscr{X}$

$$\underline{q} \equiv \inf_{x \in \mathscr{X}} q(x) > 0.$$

Аналогічно, оскільки має компактну підтримку це означає, що є деяке позитивне значення надкладу:$p$$\mathscr{X}$

$$\bar{p} \equiv \sup_{x \in \mathscr{X}} p(x) > 0.$$

Більше того, оскільки це обидві щільності на одній опорі, а остання обмежена, маємо . Це означає що:$0 < \underline{q} \leqslant \bar{p} < \infty$

$$\sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \leqslant \ln ( \bar{p}) - \ln(\underline{q}).$$

Тепер, нехай є останньою верхньою межею, ми чітко маємо так що:$\underline{L} \equiv \ln ( \bar{p}) - \ln(\underline{q})$$0 \leqslant \underline{L} < \infty$

$$\begin{equation} \begin{aligned} KL(P||Q) &= \int \limits_{\mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) p(x) dx \\[6pt] &\leqslant \sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &\leqslant (\ln ( \bar{p}) - \ln(\underline{q})) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &= \underline{L} < \infty. \\[6pt] \end{aligned} \end{equation}$$

Це встановлює необхідну верхню межу, що доводить теорему. $\blacksquare$