Плюси дистанції Джефріса Матусіта

Згідно з деякою книгою, яку я читаю, зазвичай використовується дистанція Джефріса та Матусіти. Але я не зміг знайти багато інформації про нього, окрім наведеної нижче формули

JMD (x, y) = $\sqrt[2]{\sum(\sqrt[2]{x_i}-\sqrt[2]{y_i})^2}$

Він схожий на евклідову відстань за винятком квадратного кореня

E (x, y) = $\sqrt[2]{\sum(x_i-y_i)^2}$

Вважається, що відстань JM є більш надійною, ніж евклідова відстань у терміні класифікації. Чи може хтось пояснити, чому ця різниця робить відстань JM кращою?

classification k-nearest-neighbour euclidean

— romy_ngo
джерело

Я не можу знайти авторитетного посилання, яке використовує цю формулу для відстані Джефріса-Матусіта. Формули, які я знаходжу, засновані на матрицях коваріації для двох класів і, схоже, не мають відношення до наведених тут, але, схоже, може бути дві (або більше) різних речей, відомих цим ім'ям. Чи можете ви надати посилання або (ще краще) посилання? До речі,

та

рахую випадково? (Якщо так, то є природна інтерпретація вашої формули.)

x_{i}

$x_i$

y_{i}

$y_i$

— блукання

@whuber: можливо,

виступають за

та

x

$x$

y

$y$

p (x)

$p(x)$

q (x)

$q(x)$

— user603

@ user603 Так, я думаю, у вас це вийшло. Тепер зв’язки з розбіжностями КЛ та мірою Баттачарія стають очевидними.

— whuber

Деякі ключові відмінності, що передують більш тривалому поясненню нижче, полягають у тому, що:

Головне: відстань Джеффріса-Матусіта стосується дистрибуцій, а не векторів загалом.
Формула відстані JM, яку ви цитуєте вище, стосується лише векторів, що представляють дискретні розподіли ймовірностей (тобто векторів, що дорівнюють 1).
На відміну від евклідової відстані, відстань JM можна узагальнити до будь-яких розподілів, для яких може бути сформульована відстань Бхаттачарри.
Відстань JM, через відстань Бхаттачаррія, має ймовірнісне тлумачення.

$b_{p,q}$ $[0, \inf)$ $[0, \sqrt{2}]$

J М_{p, q} = \sqrt{2 (1 - досвід (- б (p, q))}

$JM_{p,q}=\sqrt{2(1-\exp(-b(p,q))}$

Згідно з цим документом, практична перевага відстані JM полягає в тому, що цей захід "має тенденцію до придушення високих значень відокремлюваності, одночасно перебільшуючи низькі значення роздільної здатності".

$p$ $q$

б (p, q) = - \ln \int \sqrt{p (х) q (х)} г х

$b(p,q)=-\ln\int{\sqrt{p(x)q(x)}}dx$

p

$p$

q

$q$

i

$i$

i

$i$

N

$N$

б (p, q) = - \ln \sum_{i = 1}^{N} \sqrt{p_{i} \cdot q_{i}}

$b(p,q)=-\ln\sum_{i=1}^{N}\sqrt{p_i\cdot q_i}$

J М_{p, q} = \sqrt{2 (1 - \sum_{i = 1}^{N} \sqrt{p_{i} \cdot q_{i}})}

$JM_{p,q}=\sqrt{2\left(1-\sum_{i=1}^{N}{\sqrt{p_i\cdot q_i}}\right)}$

\sum_{i} p_{i} = 1

$\sum_{i}{p_i}=1$ , те саме, що формула, яку ви подали вище:

J М_{p, q} = \sqrt{\sum_{i = 1}^{N} {(\sqrt{p_{i}} - \sqrt{q_{i}})}^{2}} = \sqrt{\sum_{i = 1}^{N} (p_{i} - 2 \sqrt{p_{i}} \sqrt{q_{i}} + q_{i})} = \sqrt{2 (1 - \sum_{i = 1}^{N} \sqrt{p_{i} \cdot q_{i}})}

$JM_{p,q}=\sqrt{\sum_{i=1}^{N}{\left(\sqrt{p_i} - \sqrt{q_i}\right)^2}}=\sqrt{\sum_{i=1}^{N}{\left(p_i -2 \sqrt{p_i}\sqrt{q_i} + q_i \right)}}=\sqrt{2\left(1-\sum_{i=1}^{N}{\sqrt{p_i\cdot q_i}}\right)}$

— rroowwllaanndd
джерело

+1 Дуже дякую за те, що заскочили і зробили це дуже добре зробленим зусиллям для роз’яснення ситуації.

— whuber