Виконайте K-засоби (або його близькі споріднення), кластеризуючи лише матрицю відстані, а не дані по характеристиках

Я хочу виконати кластеризацію K-засобів на об'єктах, які у мене є, але об'єкти не описуються як точки в просторі, тобто за objects x featuresнабором даних. Однак я в змозі обчислити відстань між будь-якими двома об’єктами (воно засноване на функції подібності). Отже, я розпоряджаюсь матрицею відстані objects x objects.

Я раніше реалізував K-засоби, але це було з введенням набору даних точок; і з введенням матриці відстані мені незрозуміло, як оновити кластери, щоб вони були "центрами" кластера без точкового подання. Як це нормально зробити? Чи є для цього версії K-засобів або близьких до них методів?

Очевидно, що k-засоби повинні вміти обчислювати засоби .

Однак є добре відома його версія, відома як k-медоїди або PAM (Partitioning Around Medoids), де медоїд є існуючим об'єктом, який є найважливішим для кластера. К-медоїдам потрібні лише парні відстані.

Ви точно описуєте задачу проблеми kernel -means; коли ви не можете представити точку даних як евклідового вектора, але якщо ви все-таки можете обчислити (або визначити) внутрішній добуток між двома точками даних, ви можете кернелізувати алгоритм. Наступна веб-сторінка містить короткий опис алгоритму:$k$

Ядро -значить сторінку$k$

Цей трюк з ядром є дуже популярною та фундаментальною ідеєю у статистиці та машинному навчанні.

Сторінка Вікі про хитрість ядра

Якщо вас цікавить, книга « Навчання з ядрами» Бернарда Шелкопфа та Олександра Дж. Смола стане дуже приємним вступом.

Ця замітка Макса Веллінга здається дуже приємною; Крім того , якщо ви використовуєте R ви подивіться на може цього R пакет .

MDS може бути одним із способів вирішити вашу проблему, але він безпосередньо не атакує проблему, яку ви хочете вирішити; тоді як ядро ​​k-означає.

@gung абсолютно коректний, пропонує вам багатовимірне масштабування (MDS) як попередній інструмент для створення points X dimensions даних з матриці відстаней. Я повинен додати лише кілька штрихів. Кластеризація К означає, що передбачає евклідові відстані . MDS дасть вам координати точок у розмірах, тим самим гарантуючи евклідові відстані. Ви повинні використовувати метричний MDS і запитувати якомога більше розмірів, тому що ваша мета полягає в тому, щоб мінімізувати помилки відновлення даних, а не відображати їх у 2D або 3D.

Що робити, якщо у вас немає програмного забезпечення MDS під рукою, але у вас є деякі функції матриці, такі як розкладання власного значення або розкладання сингулярного значення? Тоді ви могли б зробити просту метричну MDS самостійно - Torgerson MDS, також відому як аналіз основних координат (PCoA). Це становить трохи "скручений" аналіз основних компонентів. Я не буду це описувати тут, хоча це досить просто. Ви можете прочитати про це у багатьох місцях, наприклад, тут .

Нарешті, можна запрограмувати "K-засоби для введення матриці відстані" безпосередньо - без виклику чи запису функцій, виконуючи PCoA або інший метричний MDS. Ми знаємо, що (a) сума квадратичних відхилень від центроїда дорівнює сумі попарно квадратних евклідових відстаней, поділених на кількість точок; та (b) знати, як обчислити відстані між центроїдами кластера поза матрицею відстані ; (c) і далі ми знаємо, як суми квадратів взаємопов'язані в K-значенні. Все це разом робить написання алгоритму, який ви хочете, просто, а не складне завдання. Слід пам’ятати, що K-засоби призначені лише для евклідових відстаней / евклідового простору. Використовуйте К-медоїди або інші методи для неевклідових дистанцій.

Подібне запитання .

Я, звичайно, не знаю, як це "нормально" робиться, і для запису я не знаю багато про кластерний аналіз. Однак ви знайомі з багатовимірним масштабуванням ? ( Ось ще одна довідка, вікі , і ви можете шукати резюме під тегом багатовимірного масштабування .) Багатовимірне масштабування бере матрицю парних відстаней, що схоже на вашу ситуацію. З MDS можна отримати розташування об'єктів у просторі з найменшими розмірами, необхідним для їх адекватного представлення. Я б припустив, що ви можете використовувати ці локації для подальшого аналізу кластерів, наприклад k-означає; або, як тільки ви отримали вихід, вам більше не знадобиться CA.

Я не знаю, чи ви використовуєте R, але ось перегляд завдань для Psychometrics, який включає в себе розділ про MDS в Р. Надія, який допомагає.

$k$

У вашому випадку вам потрібно зробити:

1. $D$ з нульовою самовідмінністю.
2. $D_{ij}$$D_{ji}$ .
3. $D^c$
4. $S^c = -\frac{1}{2}D^c$
5. $S^c$$S^c$$\tilde S^c$
6. $\tilde S^c = V \Lambda V^\top$ .
7. $n-1$$X = V\Lambda^{1/2}$

$n$

Ваші дані також можна розглядати як мережу, і ви можете використовувати один із багатьох доступних алгоритмів кластеризації мережі. Для цього вам, ймовірно, потрібно буде застосувати поріг на вазі ребер та перетворити відстані на подібність. Це не спосіб «статистики», але аналіз кластерів - це наперед не визначена проблема, і алгоритми кластеризації дослідницьких інструментів дуже добре працюють.

Я не знаю, чому це так нечасто в літературі, проте рішення, запропоноване @gung та @ttnphns (спочатку запроектуйте свої парні відстані в евклідовий простір, використовуючи аналіз основних координат, наприклад, через цей пакет, якщо ви використовуєте R, а потім виконувати K-означає звичайний спосіб) простий і не вимагає спеціалізованих алгоритмів. Я особисто використовував його тут, вбудований в рамки оптимізації, і він працював досить добре.

Що стосується кластеризації та MDS, я б запропонував такі ресурси:

• Числова екологія (Pierre Legendre та Louis Legendre): http://www.sciencedirect.com/science/bookseries/01678892/20 або http://tinyurl.com/cgrdfqk (книги Google) - розділ "Екологічна схожість"
• Аналіз кластерів (Брайан С. Еверітт, Сабіне Ландау, Морвен Ліз, Даніель Шталь): http://tinyurl.com/bld7k8h (книги Google) - розділ "Вимірювання близькості"
• Курс «Біостатистика-II, багатоваріантні методи» професора Брайана К. Маккарті з Університету Огайо: http://www.ohio.edu/plantbio/staff/mccarthy/multivariate/multivariate.htm

Ці посилання також добре висвітлюють теми подібності та функції відстані (заходи близькості) для бінарних та безперервних даних.