Як визначитися з правильною кількістю кластерів?

Ми знаходимо центри кластерів і призначаємо точки k різним бункерам кластерів в кластеризації k-означає, що є дуже відомим алгоритмом і знаходиться майже в кожному пакеті машинного навчання в мережі. Але відсутнім і найважливішим на мою думку є вибір правильного k. Яке найкраще значення для цього? І що мається на увазі під найкращим ?

Я використовую MATLAB для наукових обчислень, де перегляд сюжетних силуетів подається як спосіб вирішити питання, про яке йде мова . Однак мене більше цікавлять байєсівські підходи. Будь-які пропозиції вдячні.

Про це кілька разів запитували про stackoverflow: тут , тут і тут . Ви можете поглянути на те, що думає натовп з цього питання (або невеликий його варіант).

Дозвольте також скопіювати власну відповідь на це запитання на stackoverflow.com:

На жаль, немає способу автоматичного встановлення "правильного" K, а також визначення того, що таке "правильно". Не існує принципового статистичного методу, простого або складного, який може встановити "правильний K". Є евристика, правила, які іноді працюють, іноді не відповідають.

Ситуація є загальнішою, оскільки у багатьох методах кластеризації є такі параметри, і я вважаю, що це велика відкрита проблема в кластерному / непідконтрольному навчальному співтоваристві навчальному закладі.

По-перше, застереження. У кластеризації часто немає жодної "правильної відповіді" - одна кластеризація може бути кращою за іншу за одним метрикою, а зворотний може бути істинним, використовуючи інший показник. І в деяких ситуаціях два різних кластеризації можуть бути однаково вірогідними за однією метрикою.

Сказавши це, ви, можливо, захочете ознайомитись з процесами Діріхле . Також дивіться цей підручник .

Якщо ви починаєте з моделі Гауссової суміші, у вас є та сама проблема, що і з k-засобами - що вам потрібно вибрати кількість кластерів. Ви можете використовувати моделі доказів, але це не буде надійним у цьому випадку. Таким чином, фокус полягає у використанні процесу Dirichlet перед компонентами суміші, який потім дозволяє мати потенційно нескінченну кількість компонентів суміші, але модель (як правило) автоматично знайде "правильну" кількість компонентів (під припущеннями модель).

Зауважте, що вам досі потрібно вказати параметр концентрації процесу Діріхле. Для малих значень зразки з ДП, ймовірно, складаються з невеликої кількості атомних заходів з великою вагою. При великих значеннях більшість зразків, ймовірно, будуть виразними (концентрованими). Ви можете використовувати гіпер-пріоритет за параметром концентрації, а потім вивести його значення з даних, і цей гіпер-пріор може бути відповідним розпливчастим, щоб дозволити багато різних можливих значень. Однак, отримавши достатньо даних, параметр концентрації перестане бути таким важливим, і цей гіперпрем може бути знижений.$\alpha$$\alpha$

Я використовую метод Лікоть :

• Почніть з K = 2, і продовжуйте збільшувати його на кожному кроці по 1, обчислюючи свої кластери та вартість, що йде на навчання. При деякому значенні для K вартість різко падає, і після цього вона досягає плато, коли ви збільшуєте її далі. Це значення K, яке ви хочете.

Обґрунтування полягає в тому, що після цього ви збільшуєте кількість кластерів, але новий кластер знаходиться поблизу деяких існуючих.

Розміри кластерів сильно залежать як від ваших даних, так і від того, для чого ви будете використовувати результати. Якщо ви використовуєте свої дані для поділу речей на категорії, спробуйте уявити, скільки категорій потрібно спочатку. Якщо це візуалізація даних, зробіть її конфігуруваною, щоб люди могли бачити як великі кластери, так і менші.

Якщо вам потрібно його автоматизувати, ви можете додати штраф до збільшення k та обчислити оптимальний кластер таким чином. І тоді ви просто набираєте вагу k залежно від того, чи хочете ви тонну скупчень або дуже мало.

Ви також можете перевірити непідконтрольні оптимальні нечіткі кластери, які вирішують проблему, про яку ви згадали (знаходження кількості кластерів), яка модифікована версія її реалізована тут

Мені вдалося скористатися "Методом L" для визначення кількості кластерів у географічному застосуванні (тобто, по суті, це проблема 2d, хоча технічно не євклідова).

Тут описаний метод L: Визначення кількості кластерів / сегментів в ієрархічній кластеризації / Алгоритми сегментації Стен Сальвадор та Філіп Чан

По суті це оцінює придатність для різних значень k. Графік у формі "L" видно з оптимальним значенням k, представленим коліном на графіку. Для знаходження точки коліна використовується простий підрахунок розміщення міні-квадратів з двома лініями.

Я знайшов метод дуже повільним, тому що ітеративні k-засоби повинні бути обчислені для кожного значення k. Також я виявив, що k-засоби найкраще працювали з декількома запусками та вибирали найкращі в кінці. Хоча кожна точка даних мала лише два виміри, просту піфагорійську відстань не вдалося використати. Тож це дуже багато підрахунків.

Однією думкою є пропустити будь-яке інше значення k (скажімо) до половини обчислень та / або зменшити кількість ітерацій k-значень, а потім трохи згладити отриману криву для отримання більш точного пристосування. Я запитав про це в StackOverflow - IMHO, питання згладжування залишається відкритим дослідницьким питанням.

Вам потрібно переглянути, що означає k-означає. Він намагається знайти оптимальний розподіл Вороного даних, встановлених на комірки. Клітини Вороного - це клітини дивної форми, ортогональна структура триангуляції Делоне.$k$

Але що робити, якщо ваш набір даних насправді не вписується у схему Вороного?

Швидше за все, фактичні кластери будуть не дуже змістовними. Однак вони все одно можуть працювати на те, що ви робите. Навіть розбивши «справжній» кластер на дві частини, оскільки ваш занадто високий, результат може працювати дуже добре, наприклад, для класифікації. Тож я б сказав: найкращий - це найкращий , який найкраще працює для вашої конкретної задачі.$k$$k$

Насправді, коли у вас є кластерів, які не мають однакового розміру та розміщення (і, таким чином, не вписуються в схему розподілу Вороного), можливо, вам доведеться збільшити k для k-засобів, щоб отримати кращі результати.$k$

Загалом ви можете вибрати кількість кластерів у двох різних контурах.

1. на основі знань: ви повинні мати кілька ідей, скільки кластерів вам потрібен з точки зору бізнесу. Наприклад, ви кластеризуєте клієнтів, ви повинні запитати себе, отримавши цих клієнтів, що мені робити далі? Можливо, у вас буде по-різному лікування для різних кластерів? (наприклад, реклама по електронній пошті чи телефону). Тоді скільки можливих методів лікування ви плануєте? У цьому прикладі ви вибираєте, скажімо, 100 кластерів не матиме занадто великого сенсу.

2. На основі даних: більша кількість кластерів є надмірною і менша кількість кластерів є недостатньою. Ви завжди можете розділити дані навпіл і запустити перехресну перевірку, щоб побачити, скільки кластерів хороші. Зауважте, у кластеризації у вас все ще функція втрат, подібно до контрольованих параметрів.

Нарешті, ви завжди повинні поєднувати в реальному світі керовані знаннями та керованими даними.

Оскільки це ще ніхто не вказував, я думав, що поділюсь цим. Існує метод, званий X-засобом ( див. Це посилання ), який оцінює належну кількість кластерів, використовуючи байєсівський критерій інформації (BIC). По суті, це було б як спробувати K засоби з різними Ks, обчислення BIC для кожного K та вибір кращого K. Цей алгоритм робить це ефективно.

Також є реалізація Weka , детальну інформацію про яку можна знайти тут .

Інший підхід полягає у використанні еволюційного алгоритму, індивіди якого мають хромосоми різної довжини. Кожна людина - це рішення кандидата: кожен несе координати центроїдів. Кількість центроїдів та їх координати еволюціонують для того, щоб досягти рішення, яке дає найкращу оцінку кластеризації.

У цій роботі пояснюється алгоритм.