Відстань між двома гауссовими сумішами для оцінки кластерних рішень

11

Я запускаю швидке моделювання для порівняння різних методів кластеризації, і в даний час натиснув на корч, намагаючись оцінити кластерні рішення.

Я знаю різні показники перевірки (багато з них знайдені у cluster.stats () в R), але я припускаю, що їх найкраще використовувати, якщо орієнтовна кількість кластерів насправді дорівнює дійсній кількості кластерів. Я хочу зберегти можливість вимірювати ефективність кластерного рішення, коли він не вказує правильну кількість кластерів у початковому моделюванні (тобто, наскільки добре дані моделі трьох кластерних рішень, змодельовані на 4-кластер рішення). Тільки для вашої інформації кластери моделюються з однаковими матрицями коваріації.

Я вважав, що розбіжність KL між двома сумішами Гаусса буде корисною для реалізації, але не існує рішення закритої форми ( Hershey та Olson (2007) ), а реалізація моделювання Монте-Карло починає обчислюватись дорого.

Чи є якісь інші рішення, які можуть бути легко реалізувати (навіть якщо це лише наближення)?

clustering kullback-leibler gaussian-mixture

— дмартін
джерело

Відстань L2 між двома гауссовими сумішами доступна у закритому вигляді. Використовуйте це, і вам слід все налаштувати.

Я не знаю, як би ви це зробили, але це не здається мені гарною ідеєю. Візьміть суміш, перестановіть компоненти (без зміни p (x)) і відстань L2 може бути чим завгодно. Крім того, відстань L2 не є хорошою ідеєю для матриць коваріації.

— bayerj

Задня передбачувальна ймовірність проведеного тестового набору даних. Я підозрюю, що вам знадобляться пріори по k.

— вигадки

Перша посилання розірвана

— ttnphns

6

Припустимо, у нас є дві гауссові суміші в $\mathbb R^d$ : $\DeclareMathOperator{\N}{\mathcal N} \newcommand{\ud}{\mathrm{d}} \DeclareMathOperator{\E}{\mathbb E} \DeclareMathOperator{\MMD}{\mathrm{MMD}}$

П = \sum_{i = 1}^{н} α_{i} П_{i} = \sum_{i = 1}^{н} α_{i} N ({мк}_{i}, Σ_{i}) Q = \sum_{j = 1}^{м} β_{j} Q_{j} = \sum_{j = 1}^{м} N (м_{j}, S_{j}) .

$P = \sum_{i=1}^{n} \alpha_i P_i = \sum_{i=1}^n \alpha_i \N(\mu_i, \Sigma_i) \qquad Q = \sum_{j=1}^m \beta_j Q_j = \sum_{j=1}^m \N(m_j, S_j) .$ Назвіть їх густини

p (\cdot)

$p(\cdot)$ і

q (\cdot)

$q(\cdot)$ відповідно і позначте щільність їх компонентів

P_{i}

$P_i$ ,

Q_{j}

$Q_j$ через

p_{i} (x) = N (x; μ_{i}, Σ_{i})

$p_i(x) = \N(x; \mu_i, \Sigma_i)$ ,

q_{j} (x) = N (x; m_{j}, S_{j})

$q_j(x) = \N(x; m_j, S_j)$ .

У закритому вигляді доступні такі відстані:

$L_2$ відстань, як це запропоновано у коментарі користувача39665. Це:
$\begin{aligned} L_{2} (П, Q)^{2} & = \int (p (х) - q (х))^{2} г х \\ = \int {(\sum_{i} α_{i} p_{i} (х) - \sum_{j} β_{j} q_{j} (х))}^{2} г х \\ = \sum_{i, i^{'}} α_{i} α_{i^{'}} \int p_{i} (х) p_{i^{'}} (х) г х + \sum_{j, j^{'}} β_{j} β_{j^{'}} \int q_{j} (х) q_{j^{'}} (х) г х \\ - 2 \sum_{i, j} α_{i} β_{j} \int p_{i} (х) q_{j} (х) г х . \end{aligned}$ $\begin{align} L_2(P, Q)^2 &= \int (p(x) - q(x))^2 \,\ud x \\&= \int \left( \sum_{i} \alpha_i p_i(x) - \sum_j \beta_j q_j(x) \right)^2 \ud x \\&= \sum_{i,i'} \alpha_i \alpha_{i'} \int p_i(x) p_{i'}(x) \ud x + \sum_{j,j'} \beta_j \beta_{j'} \int q_j(x) q_{j'}(x) \ud x \\&\qquad - 2 \sum_{i,j} \alpha_i \beta_j \int p_i(x) q_j(x) \ud x .\end{align}$ Зауважимо, що, як видно, наприклад, у розділі 8.1.8матричної кулінарної книги: $\begin{aligned} \int N (x; μ, Σ) N (x; μ^{'}, Σ^{'}) d x & = N (μ; μ^{'}, Σ + Σ^{'}) \end{aligned}$ $\begin{align} \int \N(x; \mu, \Sigma) \N(x; \mu', \Sigma') \,\ud x &= \N(\mu; \mu', \Sigma + \Sigma') \end{align}$ тому це можна легко оцінити за час $O(m n)$ .
Максимальна середня розбіжність (MMD) з ядром Gaussian RBF. Це крута відстань, ще не надто відома серед статистичної спільноти, яка потребує трохи математики для визначення.

Нехай
$к (х, у) : = досвід (- \frac{1}{2 σ^{2}} ‖ х - у ‖^{2}),$ $k(x, y) := \exp\left( - \frac{1}{2 \sigma^2} \lVert x - y \rVert^2 \right),$ визначимо гільбертовому просторі $\mathcal{H}$ як відтворює ядром Гільберта просторувідповідного $k$ :.

Визначимо середню карту ядро як
$K (P, Q) = E_{X \sim P, Y \sim Q} k (X, Y) = ⟨ E_{X \sim P} φ (X), E_{Y \sim Q} φ (Y) ⟩ .$ $K(P, Q) = \E_{X \sim P, Y \sim Q} k(X, Y) = \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle .$

Тоді MMD - це
$\begin{aligned} M M D (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖ \\ = \sqrt{K (P, P) + K (Q, Q) - 2 K (P, Q)} \\ = sup_{f : ‖ f ‖_{H} \leq 1} E_{X \sim P} f (X) - E_{Y \sim Q} f (Y) . \end{aligned}$ $\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert \\&= \sqrt{K(P, P) + K(Q, Q) - 2 K(P, Q)} \\&= \sup_{f : \lVert f \rVert_{\mathcal H} \le 1} \E_{X \sim P} f(X) - \E_{Y \sim Q} f(Y) .\end{align}$

Для наших сумішей $P$ і $Q$ зауважимо, що
$К (П, Q) = \sum_{i, j} α_{i} β_{j} К (П_{i}, Q_{j})$ $K(P, Q) = \sum_{i, j} \alpha_i \beta_j K(P_i, Q_j)$ і аналогічно для $K(P, P)$ і .

Виявляється, використовуючи аналогічні трюки, що і для $L_2$ , що $K(\N(\mu, \Sigma), \N(\mu', \Sigma'))$ є
$(2 π σ^{2})^{г / 2} N (мк; {мк}^{'}, Σ + Σ^{'} + σ^{2} Я) .$ $(2 \pi \sigma^2)^{d/2} \N(\mu; \mu', \Sigma + \Sigma' + \sigma^2 I) .$

Оскільки $\sigma \to 0$ , це чітко сходиться до кратного відстані $L_2$ . Як правило, ви хочете використовувати інше $\sigma$ , однак, масштаб варіації даних.

Закриті форми також доступні для поліномних ядер $k$ в MMD; подивитися

Muandet, Fukumizu, Dinuzzo, Schölkopf (2012). Навчання з дистрибуцій за допомогою апаратів вимірювання підтримки. Вдосконалення систем нейронної обробки інформації ( офіційна версія ). arXiv: 1202.6504 .

Про багато приємних властивостей цієї відстані див

Sriperumbudur, Gretton, Fukumizu, Schölkopf, Lanckriet (2010). Гільбертові просторові вбудовування та метрики щодо імовірнісних заходів. Журнал досліджень машинного навчання, 11, 1517–1561 . arXiv: 0907.5309 .
Квадратична розбіжність Йенсена-Рені. Ентропія Rényi- $\alpha$ визначається як
$Н_{α} (p) = \frac{1}{1 - α} журнал (\int p (х)^{α} г х) .$ $H_\alpha(p) = \frac{1}{1-\alpha} \log\left( \int p(x)^\alpha \,\ud x \right) .$ Його межа як $\alpha \to 1$ - ентропія Шеннона. Дивергенція Йенсена-Рені - ${J R}_{α} (p, q) = Н_{α} (\frac{p + q}{2}) - \frac{Н_{α} (p) + Н_{α} (q)}{2}$ $\mathrm{JR}_\alpha(p, q) = H_\alpha\left( \frac{p + q}{2} \right) - \frac{H_\alpha(p) + H_\alpha(q)}{2}$ де $\frac{p + q}{2}$ позначає рівну суміш між $p$ і $q$ . Виявляється, що коли $\alpha = 2$ і коли $P$ і $Q$ є гауссовими сумішами (як тут), можна обчислити закриту форму для $\mathrm{JR}_2$ . Це зробив о

Ван, Саєда-Махмуд, Вемурі, Беймер і Рангараджан (2009). Закрита форма розбіжності Jensen-Renyi для суміші гасівців та додатків до реєстрації групової форми. Med Image Comput Assistance Interv., 12 (1), 648–655. ( безкоштовна опублікована версія )

— Дугал
джерело

0

Якщо ваші кластери насправді не є гауссовими сумішами, а довільної форми, результати можуть бути насправді набагато кращими, коли ви створюєте набагато більше кластерів, а потім знову об'єднуйте їх.

У багатьох випадках просто вибирається k довільно високим, наприклад 1000 для великого набору даних; зокрема, коли вас не дуже цікавлять моделі, а просто потрібно зменшити складність набору даних за допомогою векторного квантування.

— Має QUIT - Аноні-Мус
джерело

Я імітував кластери, що витягуються із суміші Гаусса, тому вважаю, що моє припущення справедливе. Метою тут є не зменшити складність або придумати критерій рішення для вибору k, а порівняти, наскільки добре кластери k моделюють дані, коли k насправді невірно. Деякі неправильні варіанти можуть моделювати дані краще, ніж інші, і я намагаюся кількісно оцінити цю ступінь невідповідності (як, наприклад, дивергенція KL, але простіше реалізувати для гауссових сумішей).

— dmartin

0

Ось узагальнення Mahalanobis D до GMMs методом Fisher Kernel та іншими методами:

Майкл Е. "Виведення аналітичних дистанційних функцій кластера з моделей суміші Гаусса". (1999): 815-820. https://pdfs.semanticscholar.org/08d2/0f55442aeb79edfaaaafa7ad54c513ee1dcb.pdf

Дивіться також: Чи існує багатогауссівська версія відстані махаланобіса?

— Ленар Хойт
джерело