Ініціалізація центрів K-засобів за допомогою випадкових підпроборів набору даних?

Якщо у мене є певний набір даних, наскільки розумним буде ініціалізація центрів кластерів за допомогою випадкових вибірок цього набору даних?

Наприклад, припустимо, я хочу 5 clusters. Я вважаю 5 random samples, size=20%оригінальний набір даних. Чи можу я потім взяти середнє значення кожного з цих 5 випадкових вибірок і використовувати ці засоби як мої 5 початкових центрів кластерів? Я не знаю, де я це читав, але мені хотілося знати, що ви думаєте про цю ідею.

ОНОВЛЕННЯ: Будь ласка, дивіться цей потік Ініціалізація кластеризації K-засобів: які існують методи? для загального обговорення різних методів ініціалізації.

Якщо ви випадково розділите зразок на 5 підпроборів, то ваші 5 засобів майже збігаються. Який сенс робити такі близькі точки початковими центрами кластерів?

У багатьох реалізаціях K-засобів вибір стандартних центрів кластерів за замовчуванням базується на протилежній ідеї: знайти 5 точок, які найбільш віддалені один від одного, і зробити їх початковими центрами. Ви можете запитати, який може бути спосіб знайти ті далеко відстані точки? Ось що K-засоби SPSS роблять для цього:

Візьміть будь-які k випадків (точок) набору даних як вихідні центри. Усі інші випадки перевіряються на можливість заміни таких як вихідних центрів такими умовами:

• а) Якщо випадок знаходиться від найближчого до нього центру, ніж відстань між двома найбільш близькими один до одного центрами, випадок замінює той центр останніх двох, до якого він ближче.
• б) Якщо випадок знаходиться далі від центру, що знаходиться найближче до нього, ніж відстань між центром, найближчим до нього, та центром, найближчим до цього останнього, випадок замінює центр, найближчий до нього.

Якщо умова (а) не виконується, умова (б) перевіряється; якщо його не влаштовують, то справа не стає центром. В результаті такого запуску випадків ми отримуємо k кращих випадків у хмарі, які стають початковими центрами. Результат цього альго, хоча і досить надійний, не є повністю нечутливим до початкового вибору "будь-яких k випадків" та до порядку сортування випадків у наборі даних; Таким чином, кілька випадкових спроб запуску все ще вітаються, як це завжди буває з K-засобами.

Дивіться мою відповідь зі списком популярних методів ініціалізації для k-засобів. Метод розбиття на випадкові підпроби (тут я критикував мене та інші), а також описаний метод, використовуваний SPSS - також є у списку.

Засоби будуть занадто схожими. Ви можете так само знайти середнє значення набору даних, а потім розмістити початкові центроїди в невеликому колі / сфері навколо цього значення.

Якщо ви хочете побачити ще якусь схему ініціалізації звуку для k-засобів, перегляньте k-означає ++. Вони розробили досить розумний метод посіву k-засобів.

• Артур, Д. та Васильвіцький, С. (2007).
  k-означає ++: переваги дбайливого висіву ".
  Матеріали вісімнадцятого щорічного симпозіуму ACM-SIAM про дискретні алгоритми

Авторські слайди: http://www.ima.umn.edu/~iwen/REU/BATS-Means.pdf

Використання засобів випадкових вибірок дасть вам протилежне тому, що вам потрібно, як вказував ttnphns у своєму коментарі. Нам знадобиться спосіб знайти точки даних, які знаходяться досить далеко один від одного.

В ідеалі ви можете перебрати всі точки, знайти відстані між ними, визначити, де відстані найбільші ...

Не уникати наміру ОП, але я думаю, що "рішення" вбудоване в алгоритм k-засобів. Ми виконуємо кілька ітерацій та перераховуємо кластерні центроїди на основі попередніх ітерацій. Ми також зазвичай кілька разів запускаємо алгоритм kmeans (із випадковими початковими значеннями) та порівнюємо результати.

Якщо хтось має апріорні знання, знання про домен, то це може призвести до вищого методу визначення місця початку початкових кластерних центрів. В іншому випадку, ймовірно, йдеться про вибір випадкових точок даних у якості початкових значень, а потім використання декількох запусків та декількох ітерацій на пробіг.

$k$