Кластеризація: Чи слід використовувати розбіжність Дженсена-Шеннона або його квадрат?

Я кластеризую розподіл ймовірностей, використовуючи алгоритм розповсюдження афінності , і я планую використовувати дивергенцію Дженсена-Шеннона як мій показник відстані.

Чи правильно використовувати JSD як відстань, або JSD у квадраті? Чому? Які відмінності випливали б із вибору того чи іншого?

— AlcubierreDrive
джерело

Я думаю, це залежить від того, яким чином його використовувати.

$P$ $Q$

J (П, Q) = \frac{1}{2} (D (П ∣∣ R) + D (Q ∣∣ R))

$J(P,Q) = \frac{1}{2} \big( D(P \mid\mid R) + D(Q\mid\mid R) \big)$

R = \frac{1}{2} (P + Q)

$R = \frac{1}{2} (P + Q)$

D (\cdot ∣∣ \cdot)

$D(\cdot\mid\mid\cdot)$

Тепер я б спокусився використати квадратний корінь дивергенції Йенсена-Шеннона, оскільки він є метрикою , тобто він задовольняє всім "інтуїтивним" властивостям вимірювання відстані.

Детальніше про це див

Ендрес і Шинделін, нова метрика розподілу ймовірностей , IEEE Trans. в Інфо. Твій. , т. 49, ні. 3, липень 2003, стор 1858-1860.

Звичайно, в якомусь сенсі це залежить від того, для чого це потрібно. Якщо все, для чого ви користуєтесь, це оцінити деякий парний показник, то будь-яке монотонне перетворення JSD спрацює. Якщо ви шукаєте те, що є найближчим до "відстані в квадраті", то аналогічна кількість є самою JSD.

Між іншим, вас також може зацікавити це попереднє запитання та відповідні відповіді та дискусії.

— кардинальний
джерело

Класно, я якнайшвидше прочитаю "нову метрику розподілу ймовірностей". Txh

— ocram

Спасибі! Я не усвідомлював, що JSD вже є аналогом dist ** 2

— AlcubierreDrive

Дякую за чудове пояснення! Просто швидке запитання. Я знаю, що J-Divergence симетрична в цьому J(P,Q) = J(Q,P). Я читав, що розбіжність JS симетрична в P і Q. Чи означає це JS(P,Q) = JS(Q,P)? Я запитую це, тому що я використовую KLdivфункцію з flexmixпакета в R. Для моїх двох розподілів вихід матриці з KLdiv не симетричний. Я очікував, що JS виправить це, але вихід із JS (обчислений за допомогою KL) не симетричний.

— Легенда

P

$P$

Q

$Q$