Кульбек – Лейблер проти дистанції Колмогоров-Смірнов

37

Я можу бачити, що між відстаніми мірами Кульбека – Лейблера проти Колмогорова-Смірнова відстані між великими формальними відмінностями. Однак обидва використовуються для вимірювання відстані між розподілами.

Чи є типова ситуація, коли одну слід використовувати замість іншої?
Що обґрунтовує це?

— Грег
джерело

Питання, пов’язані з цим: stats.stackexchange.com/questions/4/…

— GaBorgulya

23

Дивергенція KL, як правило, використовується в інформаційно-теоретичних налаштуваннях, або навіть байєсівських налаштуваннях, наприклад, для вимірювання зміни інформації між розподілами до і після застосування деяких висновків, наприклад. Це не відстань у типовому (метричному) розумінні, через відсутність симетрії та нерівності трикутника, і тому воно використовується в місцях, де спрямованість має значення.

Відстань KS зазвичай використовується в умовах непараметричного тесту. Насправді я рідко бачив, щоб він використовувався як загальне "відстань між розподілами", де відстань відстань Дженсена-Шеннона та інші відстані частіше зустрічаються. $\ell_1$

— Суреш Венкатасубраманійський
джерело

5

Ще одне використання KL-дивергенції, яке варто згадати, полягає у тестуванні гіпотез. Припустимо, що

є проміжною мірою з щільністю або

або

. Нехай

. За Нейманом - Пірсоном, оптимальний тест відхиляє, коли величина

велика. Тепер під

X_{1}, X_{2}, \dots

$X_1, X_2, \ldots$

p_{0}

$p_0$

p_{1}

$p_1$

T_{n} = n^{- 1} \sum_{i = 1}^{n} \log (p_{1} (X_{i}) / p_{0} (X_{i}))

$T_n = n^{-1} \sum_{i=1}^n \log( p_1(X_i) / p_0(X_i) )$

T_{n}

$T_n$

p_{0}

$p_0$

T_{n} \to - D (p_{0} | | p_{1})

$T_n \to -D(p_0 \,\vert\vert\, p_1)$

p_{1}

$p_1$

T_{n} \to D (p_{1} | | p_{0})

$T_n \to D(p_1 \,\vert\vert\, p_0)$

D (\cdot | | \cdot)

$D(\cdot \,\vert\vert\, \cdot)$

T_{n} > 0

$T_n > 0$

p_{0}

$p_0$

Справді. це відмінний приклад. І насправді в більшості загальних версій хвостових меж Чорноффа-Гоффдінга використовується KL-розбіжність.

— Суреш Венкатасубраманян

2

Ще один спосіб викласти те ж саме, що і попередня відповідь у більш непростому плані:

KL Divergence - насправді дає змогу визначити, наскільки великою є різниця в двох розподілах один від одного. Як зазначалося в попередній відповіді, цей захід не є відповідною метрикою відстані, оскільки не є симетричною. Тобто відстань між розподілом A і B - це різне значення від відстані між розподілом B і A.

Тест Колмогорова-Смірнова - Це показник оцінки, який розглядає найбільшу поділу між кумулятивним розподілом тестового розподілу відносно еталонного розподілу. Крім того, ви можете використовувати цю метрику так само, як z-бал проти розподілу Колмогорова, щоб виконати тест гіпотези щодо того, чи є тестовий розподіл таким же розподілом, як еталонний. Ця метрика може використовуватися як функція відстані, оскільки вона симетрична. Тобто найбільший поділ між CDF A і CDF з B є таким самим, як найбільший поділ між CDF від B проти CDF від A.

— SriK
джерело