Питання щодо розбіжності KL?

Я порівнюю два розподіли з дивергенцією KL, що повертає мені нестандартне число, яке, відповідно до того, що я читав про цей захід, є кількістю інформації, необхідної для перетворення однієї гіпотези в іншу. У мене є два питання:

a) Чи існує спосіб кількісної оцінки розбіжності KL, щоб вона мала більш змістовну інтерпретацію, наприклад, як розмір ефекту або R ^ 2? Будь-яка форма стандартизації?

b) У R при використанні KLdiv (пакет flexmix) можна встановити значення 'esp' (стандартний esp = 1e-4), який встановлює всі точки, менші від esp, до певного стандарту, щоб забезпечити числову стабільність. Я грав з різними значеннями esp, і для мого набору даних я отримую все більшу дивергенцію KL, тим меншу кількість, яку я вибираю. Що відбувається? Я б очікував, що чим менше esp, тим надійнішими повинні бути результати, оскільки вони дозволяють більше "реальних цінностей" стати частиною статистики. Ні? Я повинен змінити esp, оскільки він інакше не обчислює статистику, а просто відображається як NA у таблиці результатів ...

Припустимо, вам дано n зразків IID, згенерованих або p, або q. Ви хочете визначити, який розподіл генерував їх. Візьмемо як нульову гіпотезу, що вони були породжені q. Нехай вказують ймовірність помилки типу I, помилково відкидаючи нульову гіпотезу, і b вказують на ймовірність помилки II типу.

Тоді для великих n ймовірність помилки типу I принаймні

$\exp(-n \text{KL}(p,q))$

Іншими словами, для "оптимальної" процедури прийняття рішення ймовірність типу I падає максимум на коефіцієнт досвіду (KL (p, q)) з кожною точкою даних. Похибка типу II принаймні падає на коефіцієнт .$\exp(\text{KL}(q,p))$

Для довільних n a і b пов'язані наступним чином

$b \log \frac{b}{1-a}+(1-b)\log \frac{1-b}{a} \le n \text{KL}(p,q)$

і

$a \log \frac{a}{1-b}+(1-a)\log \frac{1-a}{b} \le n \text{KL}(q,p)$

Якщо ми виражаємо вищезазначене обмеження як нижню межу на a в умовах b і KL і зменшуємо b до 0, результат, здається, наближається до "exp (-n KL (q, p))", пов'язаного навіть для малих n

Детальніше на сторінці 10 тут і на сторінках 74-77 Кулбека "Інформаційна теорія та статистика" (1978).

Як бічне зауваження, ця інтерпретація може бути використана для мотивації метрики інформації про Фішера, оскільки для будь-якої пари розподілів p, q на відстані Фішера k один від одного (малого k) вам потрібно однакова кількість спостережень, щоб розказати їх

KL має глибокий зміст, коли ви візуалізуєте набір зубних рядів як колектор у метричному тензорі рибалки, він дає геодезичну відстань між двома "близькими" розподілами. Формально:

$ds^2=2KL(p(x, \theta ),p(x,\theta + d \theta))$

Наступні рядки наведені тут, щоб детально пояснити, що розуміється під цими математичними формулами.

Визначення метрики Фішера.

Розглянемо параметризоване сімейство розподілів ймовірностей (задане щільністю в R n ), де x - випадкова величина, а theta - параметр в R p . Ви можете знати, що матриця інформації про рибалки F = ( F i j ) є$D=(f(x, \theta ))$$R^n$$x$$R^p$$F=(F_{ij})$

$F_{ij}=E[d(\log f(x,\theta))/d \theta_i d(\log f(x,\theta))/d \theta_j]$

$D$$F(\theta)$

Ви можете сказати ... Добре математична абстракція, але де KL?

$p=1$$F_{11}$ пов'язаний з кривизною цієї кривої ... (див. Насіннєвий документ Bradley Efron http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1176343282 )

$ds^2$$p(x,\theta)$$p(x,\theta+d \theta)$

$ds^2= \sum F_{ij} d \theta^i d \theta^j$

і, як відомо, це двічі дивергенція Кулбека Лейблера:

$ds^2=2KL(p(x, \theta ),p(x,\theta + d \theta))$

Якщо ви хочете дізнатися більше про це, пропоную прочитати документ від Amari http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1176345779 (я думаю, що є також книга від Amari про риманова геометрія в статистиці, але я не пам'ятаю назви)

Дивергенція KL (p, q) між розподілами p (.) І q (.) Має інтуїтивну теоретичну теоретичну інтерпретацію інформації, яку ви можете вважати корисною.

Припустимо, ми спостерігаємо дані x, породжені деяким розподілом ймовірностей p (.). Нижня межа середньої довжини коду в бітах, необхідна для отримання даних, породжених p (.), Задається ентропією p (.).

Тепер, оскільки нам невідомо p (.), Ми вибираємо інший розподіл, скажімо, q (.) Для кодування (або опису, стану) даних. Середня довжина коду даних, згенерованих p (.) Та кодованих за допомогою q (.), Обов'язково буде довшою, ніж якби для кодування використовувався справжній розподіл p (.). Дивергенція KL говорить нам про неефективність цього альтернативного коду. Іншими словами, розбіжність KL між p (.) І q (.) - середня кількість зайвих бітів, необхідних для кодування даних, згенерованих p (.), Використовуючи розподіл кодування q (.). Розбіжність KL є негативною і дорівнює нулю, якщо фактичний розподіл даних, що генерує дані, використовується для кодування даних.

Що стосується частини (b) вашого запитання, ви можете зіткнутися з проблемою, що один з ваших дистрибутивів має щільність у регіоні, де інший не має.

$i$$p_i>0$ і$q_i=0$. Числовий епсилон у реалізації R "рятує вас" від цієї проблеми; але це означає, що отримане значення залежить від цього параметра (технічно$q_i=0$ не потрібно, просто це $q_i$ менше числового епсилона).