Повідомлення після таблиці ANOVA після аналізу K-засобів вказує на те, що рівні значущості не слід розглядати як випробування рівних засобів, оскільки рішення кластера було отримано на основі евклідової відстані для максимального відстані. Який тест слід використати, щоб показати, чи відрізняються засоби кластерних змінних між кластерами? Я бачив це застереження в таблицях ANOVA, наданих k-засобами, але в деяких посиланнях я бачу, що виконуються пост-спеціальні тести ANOVA. Чи слід ігнорувати k-середні виходи ANOVA та запускати односторонні ANOVA за допомогою post-hoc тестів та інтерпретувати їх традиційним способом? Або я можу лише мати на увазі величину значення F і які змінні сприяли різниці? Інша плутанина полягає в тому, що кластерні змінні зазвичай не розподіляються, що порушує припущення про ANOVA, тоді я міг би використовувати непараметричний тест Крускала-Уолліса, але він має припущення про однакові розподіли. Міжкластерні розподіли для конкретних змінних не виглядають однаковими, деякі позитивно перекошені, деякі негативно… У мене 1275 великих вибірки, 5 кластерів, 10 кластерних змінних, виміряних у балах PCA.
Відповідність ANOVA після кластерного аналізу k-означає
Відповіді:
Ні!
Ви не повинні використовувати однакові дані для 1) виконання кластеризації та 2) пошуку за значними відмінностями між точками кластерів. Навіть якщо в даних немає фактичної структури, кластеризація накладе її, згрупувавши разом точки, які знаходяться поблизу. Це зменшує дисперсію всередині групи і збільшує дисперсію в межах групи, що спрямовує вас на помилкові позитиви.
Цей ефект напрочуд сильний. Ось результати моделювання, які витягують 1000 точок даних із стандартного нормального розподілу. Якщо ми віднесемо бали до однієї з п’яти груп навмання перед тим, як запустити ANOVA, ми виявимо, що р-значення розподілені рівномірно: 5% прогонів є значущими на рівні (некоректований) 0,05, 1% на рівні 0,01, Іншими словами, ефекту немає. Однак, якщо використовують для кластеризації даних у 5 груп, ми виявляємо суттєвий ефект практично кожного разу, хоча дані не мають фактичної структури .
Тут немає нічого особливого щодо ANOVA - ви могли б побачити подібні ефекти, використовуючи непараметричні тести, логістичну регресію, будь-що інше. Загалом, перевірка продуктивності алгоритму кластеризації є складною, особливо якщо дані не мають маркування. Однак існує декілька підходів до "внутрішньої перевірки" або вимірювання якості кластерів без використання зовнішніх джерел даних. Як правило, вони зосереджені на компактності та відокремленості кластерів. Цей огляд Lui et al. (2010) може бути хорошим місцем для початку.
Ваша справжня проблема - це прослуховування даних. Ви не можете застосувати ANOVA або KW, якщо спостереження були призначені групам (кластерам) на основі самого набору вхідних даних. Що ви можете зробити, це використовувати щось на зразок статистики Gap для оцінки кількості кластерів.
З іншого боку, накладені p-значення зміщуються вниз, тому якщо результат тесту ANOVA або KW незначний, то "справжнє" p-значення ще більше, і ви можете вирішити об'єднати кластери.
Я думаю, ви можете застосувати такий підхід (тобто, використовуючи статистику, таку як F-статистика або t-статистика чи будь-що інше), якщо ви викинете звичайні нульові розподіли .
Що вам потрібно зробити, це імітувати ситуацію, в якій ваш нуль відповідає істині, застосуйте всю процедуру (кластеризацію тощо), а потім щоразу обчислюйте будь-яку статистику. Застосовуючи в багатьох моделюваннях, ви отримаєте розподіл для статистики під нулем, з яким можна порівняти ваше значення вибірки. Включаючи перегляд даних у розрахунок, ви враховуєте його ефект.
[Альтернативно, можна, можливо, розробити тест на основі перестановки (чи то на основі перестановки / рандомізації чи завантаження).]