Як вибрати метод кластеризації? Як перевірити рішення кластера (гарантувати вибір методу)?

Однією з найбільш важливих проблем кластерного аналізу є те, що, можливо, нам доведеться робити різні висновки, коли базуватися на різних методах кластеризації (включаючи різні методи зв’язку в ієрархічній кластеризації).

Мені хотілося б дізнатися вашу думку з цього приводу - який метод ви виберете та як. Можна сказати, «найкращий метод кластеризації - це те, що дає правильну відповідь»; але я можу поставити під сумнів, що кластерний аналіз повинен бути непідвладним методом - тож як я можу знати, який метод чи зв'язок є правильною відповіддю?

Загалом: чи достатньо надійним є групування, на яке можна покластися? Або нам потрібен другий метод, щоб отримати спільний результат, який базується на обох?

Моє запитання не лише щодо можливих способів перевірити / оцінити ефективність кластеризації, але й більш широке - на основі чого ми вибираємо / надаємо перевагу одному методу / алгоритму кластеризації над іншим. Крім того, чи є загальні попередження , про які нам варто оглянути, коли вибираємо метод кластеризації наших даних?

Я знаю, що це дуже загальне питання і дуже важко відповісти. Мені хотілося б знати, чи є у вас якийсь коментар, будь-яка порада чи будь-яка пропозиція, щоб дізнатися більше про це.

Часто кажуть, що не існує іншої аналітичної методики настільки сильно, як «як сієш, ти будеш косити», як це кластерний аналіз.

Я можу уявити собі численні виміри або аспекти "правильності" того чи іншого методу кластеризації :

1. Метафора кластеру . "Я віддав перевагу цьому методу, оскільки він становить такі кластери (або такий спосіб), який відповідає моїй концепції кластеру в моєму конкретному проекті" . Кожний алгоритм кластеризації або субальгоритм / метод передбачає його відповідну структуру / побудову / форму кластера. Що стосується ієрархічних методів, я спостерігав це в одному з пунктів тут , а також тут. Тобто одні методи дають кластери, які є прототипно "типами", інші дають "кола [за інтересами]", інші ж "[політичні] платформи", "класи", "ланцюги" тощо. Виберіть той метод, який метафора кластера вам підходить. Наприклад, якщо я розглядаю сегменти своїх клієнтів як типи - більш-менш сферичні форми з ущільненням в середині, я чітко виберу метод з’єднання Варда або K-засоби, але ніколи не єдиний метод зв'язку. Якщо мені потрібен фокусний представницький пункт, я міг би використати медоїдний метод. Якщо мені потрібно екранувати точки, щоб вони були основними та периферійними представниками, я міг би використовувати підхід DBSCAN.

2. Припущення щодо даних / методів . "Я віддав перевагу цьому методу, оскільки моя природа або формат даних схильні до нього" . Цей важливий і величезний момент також згадується у моєму посиланні вище. Різні алгоритми / методи можуть зажадати для них різного типу даних або застосовувати різні міри близькості до даних, і навпаки, різні дані можуть вимагати різних методів. Існують методи кількісні та методи якісних даних. Кількісні + якісні ознаки суміші різко звужують сферу вибору серед методів. Уорд або К-засобиґрунтуються - явно чи неявно - на (квадраті) мірі близькості евклідової відстані, а не на довільній мірі. Бінарні дані можуть вимагати спеціальних заходів подібності, які, в свою чергу, серйозно поставлять під сумнів використання деяких методів, наприклад, засобів Уорда або К-засобів. Для великих даних можуть знадобитися спеціальні алгоритми або спеціальні реалізації.

3. $^1$про), тому висока достовірність може бути частково обумовлена ​​випадковою особливістю даного набору даних; наявність тестового набору даних завжди корисне.]

4. Зовнішня дійсність . "Я віддав перевагу цьому методу, оскільки він дав мені кластери, які відрізняються за своїм фоном або кластери, які відповідають справжнім, які я знаю" . Якщо кластерний розділ представляє кластери, які чітко відрізняються за деякими важливими характеристиками (тобто не брали участь в аналізі кластера), то це актив для цього методу, який створив розділ. Використовуйте будь-який аналіз, який застосовується для перевірки різниці; також існує ряд корисних критеріїв зовнішньої кластеризації(Rand, F-мера тощо). Інший варіант випадку зовнішньої перевірки - це коли ви якось знаєте справжні кластери у ваших даних (знаєте "основну правду"), наприклад, коли ви створювали кластери самостійно. Тоді, наскільки точно ваш метод кластеризації здатний розкрити реальні кластери - це міра зовнішньої обґрунтованості.

5. Перехресний термін дії . "Я віддав перевагу цьому методу, оскільки він дає мені дуже схожі кластери на еквівалентних зразках даних або добре екстраполює на такі вибірки" . Існують різні підходи та їх гібриди, деякі більш здійсненні з деякими методами кластеризації, а інші з іншими методами. Два основні підходи - перевірка стійкості та узагальненняперевірити. Перевіряючи стійкість методу кластеризації, один випадковим чином розбиває або перекомпонує дані в частково перетинаються або повністю роз'єднані набори і робить кластеризацію на кожному; потім співставляє і порівнює рішення wrt з деякою новою характеристикою кластера (наприклад, центральним місцем тенденції кластера), чи є вона стабільною для множин. Перевірка узагальненості передбачає здійснення кластеризації на наборі поїздів, а потім використання його кластерної характеристики або правила для призначення об'єктів тестового набору, а також виконання кластеризації на тестовому наборі. Потім порівнюються результати результатів присвоєння та члени кластеру результатів об'єктів тестового набору.

6. Інтерпретація . "Я віддав перевагу цьому методу, тому що він дав мені кластери, які, пояснили, є найбільш переконливими, що в світі є сенс" . Це не статистично - це ваша психологічна перевірка. Наскільки значущими є результати для вас, домену та, можливо, аудиторії / клієнта. Виберіть метод, який дає найбільш інтерпретаційні, гострі результати.

7. Багатість . Деякі дослідження регулярно, і всі дослідження періодично говорять, що "я віддав перевагу цьому методу, оскільки він дав мої дані аналогічні результати з низкою інших методів серед усіх тих, кого я досліджував" . Це евристична, але сумнівна стратегія, яка передбачає існування досить універсальних даних або досить універсального методу.

Точки 1 і 2 є теоретичними і передують отриманню результату; Винятково покладатися на ці моменти - це зарозуміла, впевнена в собі стратегія дослідження. Точки 3, 4 та 5 є емпіричними та слідують за результатом; Винятково покладатися на ці моменти - це непомітна, випробувальна дослідницька стратегія. Пункт 6 є креативним, тобто означає, що він заперечує будь-який результат, щоб спробувати його омолодити. Пункт 7 - лояльний мауайз-фой.

Бали 3 - 7 також можуть бути суддями у виборі "найкращої" кількості кластерів .

$^1$

В основному є критерії червоного прапора . Властивості даних, які говорять про те, що певний підхід точно не вдасться.

1. якщо ви не знаєте, що означає ваші дані, перестаньте їх аналізувати. ви просто вгадуєте тварин у хмарах.

2. якщо атрибути різняться за масштабом і нелінійні або перекошені. це може зіпсувати ваш аналіз, якщо ви не маєте дуже гарного уявлення про відповідну нормалізацію. Зупиніться та навчіться розуміти ваші риси, ще рано зараховуватися.

3. якщо кожен атрибут еквівалентний (однаковий масштаб) і лінійний, і ви хочете квантувати свій набір даних (і помилка з найменшим квадратом має значення для ваших даних), тоді k-означає варто спробувати. Якщо ваші атрибути різного роду та масштабу, результат недостатньо визначений. Контрприклад: вік та дохід. Дохід дуже перекошений, і x years = y dollarце нісенітниця.

4. якщо у вас є чітке уявлення про те, як кількісно оцінити подібність чи відстань ( змістовно ; можливість обчислити якесь число недостатньо), то ієрархічна кластеризація та DBSCAN - хороший вибір. Якщо ви не знаєте, як оцінити подібність, вирішіть цю проблему спочатку.

Ви бачите, що найпоширеніша проблема полягає в тому, що люди намагаються скинути свої необроблені дані в кластеризацію, коли їм потрібно спочатку зрозуміти і нормалізувати їх і з'ясувати подібність.

Приклади:

1. Пікселі зображення в просторі RGB. Найменші квадрати мають певний сенс, і всі атрибути порівнянні - k-засоби - хороший вибір.

2. Географічні дані: найменші квадрати не дуже підходять. з’являться аутлієри. але відстань дуже значуща. Використовуйте DBSCAN, якщо у вас багато шуму, або HAC (ієрархічна агломераційна кластеризація), якщо у вас дуже чисті дані.

3. Види, що спостерігаються в різних середовищах проживання. Найменші квадрати сумнівні, але, наприклад, подібність Жакарда має сенс. Напевно, у вас є лише кілька спостережень і жодних "помилкових" середовищ існування - використовуйте HAC.

Я не думаю, що існує хороший офіційний спосіб зробити це; Я думаю, що хороші рішення - це ті, які мають сенс, по суті.

Звичайно, ви можете спробувати розділити дані та кластеризувати декілька разів і так одне, але тоді все ще залишається питання, який з них корисний.