Як розрахувати розбіжність / відстань Куллбека-Лейблера?

У мене є три набори даних X, Y і Z. Кожен набір даних визначає частоту події, що відбувається. Наприклад:

Набір даних X: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0 тощо.
Набір даних Y: E1: 2, E2: 3, E3: 7, E4: 6, E5: 0, E6: 0 і т.
Д. Набір даних Z: E1: 0, E2: 4, E3: 8, E4: 4, E5: 1, E6: 0 тощо.

Я повинен знайти KL-розбіжність між X і Y; і між X і Z. Як ви бачите, для деяких подій буде 0 та ненульове значення. Для деяких подій усі три набори даних дорівнюють 0.

Я був би вдячний, якщо хтось може допомогти мені знайти розбіжність KL для цього. Я не дуже статистик, тому не маю багато уявлення. Підручники, які я дивився в Інтернеті, були занадто складними для мого розуміння.

Щоб відповісти на ваше запитання, слід згадати визначення розбіжності KL :

Перш за все, ви повинні піти від розподілу ймовірностей. Для цього слід нормалізувати свої дані таким чином, щоб вони підсумовували до одного:

$X_i := \frac{X_i}{\sum_{i=1}^N X_i}$ ; ; $Y_i := \frac{Y_i}{\sum_{i=1}^N Y_i}$$Z_i := \frac{Z_i}{\sum_{i=1}^N Z_i}$

Тоді для дискретних значень у нас є одне дуже важливе припущення, яке необхідне для оцінки KL-розбіжності і яке часто порушується:

$X_i = 0$ має означати .$Y_i = 0$

У випадку, коли і і дорівнює нулю, приймається рівним нулю (як граничне значення).$X_i$$Y_i$$\ln \left( Y_i / X_i \right) Y_i$

У вашому наборі даних це означає, що ви можете знайти , але не, наприклад, (через другий запис).$D_{KL}(X||Y)$$D_{KL}(Y||X)$

Що я міг би порадити з практичної точки зору:

або зробіть свої події "більшими" такими, що у вас буде менше нулів

або отримаєте більше даних, щоб ви охопили навіть рідкісні події хоча б одним записом.

Якщо ви не можете скористатися жодною з вищезазначених порад, вам, ймовірно, потрібно буде знайти інший показник між дистрибутивами. Наприклад,

Взаємна інформація , визначена як . Де - спільна ймовірність двох подій.$I(X, Y) = \sum_{i=1}^N \sum_{j=1}^N p(X_i, Y_j) \ln \left( \frac{p(X_i, Y_j)}{p(X_i) p(Y_j)} \right)$$p(X_i, Y_i)$

Сподіваюся, це допоможе.

Ви можете встановити \ epsilon на деяке дуже мале значення 0,00001 (скажімо) і продовжити ненульові значення для всіх ймовірностей та обчислити бали KL.

Будь ласка, дайте мені знати, чи це працює.