Ієрархічна кластеризація даних змішаного типу - яку відстань / схожість використовувати?

У моєму наборі даних є як безперервні, так і природно дискретні змінні. Я хочу знати, чи можемо ми робити ієрархічну кластеризацію, використовуючи обидва типи змінних. І якщо так, то яка міра відстані підходить?

Один із способів - використовувати коефіцієнт подібності Гоувера, який є складовою мірою 1 ; вона потребує кількісних (таких як рейтингова шкала), двійкових (таких як присутні / відсутні) та номінальних (таких як працівник / викладач / діловод) змінних. Пізніше Podani 2 додав можливість приймати порядкові змінні.$^1$$^2$

Коефіцієнт легко зрозуміти навіть без формули; ви обчислюєте значення подібності між індивідами за кожною змінною, беручи до уваги тип змінної, а потім середнє значення для всіх змінних. Зазвичай програма обчислення Gower дозволить вам зважувати змінні, тобто їх внесок, до складеної формули. Однак правильне зважування змінних різного типу є проблемою , не існує чітких чітких вказівок, завдяки чому Говер або інші "складені" показники близькості тягнуть за собою.

Грані подібності Гоувера ( $GS$ ):

• Коли всі змінні є кількісними (інтервальними), то коефіцієнт - це нормована відстань на Манхеттені, перетворена на подібність. Через нормалізацію змінні різних одиниць можуть бути безпечно використані. Однак ви не повинні забувати про людей, що вижили. (Ви також можете вирішити нормалізувати іншим показником поширення, ніж діапазон.) Через згадану нормалізацію статистикою, такою як діапазон, який чутливий до складу осіб у наборі даних, подібність між двома особами може змінити його значення якщо ви видалите або додаєте до даних деякі інші особи.
• Коли всі змінні є порядковими, то їх спочатку класифікують, а потім Манхеттен обчислюють, як вище, з кількісними змінними, але зі спеціальним коригуванням для зв'язків.
• Коли всі змінні є двійковими (з асиметричним значенням категорій: "присутній" проти "відсутній" атрибут), тоді коефіцієнт є коефіцієнтом відповідності Жакарда (цей коефіцієнт трактується, коли обом особам не вистачає атрибуту як не збігаються, ні невідповідності).
• Коли всі змінні номінальні (також включаючи тут дихотомічну з симетричною значимістю: "це" проти "того"), то коефіцієнт - це коефіцієнт відповідності кістки, який ви отримуєте від своїх номінальних змінних, якщо перекодувати їх у манекенні змінні (див. Цю відповідь для отримання додаткової інформації) .

(Перелік типів легко розширити. Наприклад, можна додати підсумок для підрахунку змінних, використовуючи нормалізовану відстань chi-квадрата, перетворену на подібність.)

Коефіцієнт коливається між 0 і 1.

$\sqrt{1-GS}$$1-GS$$\sqrt{1-GS}$$1-GS$

З евклідовими відстанями (відстані, що підтримують евклідовий простір), практично будь-яка класична техніка кластеризації буде виконана. Включаючи K-засоби (якщо, звичайно, ваша програма K-засоби може обробляти дистанційні матриці) і включаючи методи Уорда, центроїди, медіанні методів ієрархічної кластеризації . Використання K-засобів або інших цих методів, заснованих на евклідовій відстані з неевклідовою метричною відстані , можливо, євристично допустимим. При неметричних відстанях такі методи не можна використовувати.

У попередньому параграфі йдеться про те, чи K-означає, або Уорд, або таке кластеризація є законним чи ні з дистанцією Гоувера математично (геометрично). З точки зору шкали вимірювання ("психометричної") не слід обчислювати середнє або евклідовий відхилення від нього в будь-яких категоричних (номінальних, двійкових, а також порядкових) даних; тому з цієї позиції ви просто не можете обробляти коефіцієнт Гоуера за допомогою K-засобів, Уорда тощо. Ця точка зору попереджає, що навіть якщо є простір Евкліда, він може бути гранульованим, а не гладким ( див. пов'язане ).

$^1$

$^2$

Якщо ви натрапили на це питання і цікавитесь, який пакунок завантажити для використання метрики Gower в R , clusterпакет має функцію з назвою daisy () , яка за замовчуванням використовує метрику Gower кожного разу, коли використовуються змішані типи змінних. Або ви можете встановити його вручну, щоб використовувати метрику Гоувера.

daisy(x, metric = c("euclidean", "manhattan", "gower"),
      stand = FALSE, type = list(), weights = rep.int(1, p))