Як PCA допоможе в аналізі кластеризації k-означає?

Передумови : Я хочу класифікувати житлові райони міста на групи на основі їх соціально-економічних характеристик, включаючи щільність житлових одиниць, густоту населення, площу зелених насаджень, ціну житла, кількість шкіл / медичних центрів / дитсадок тощо. Хочу зрозуміти, на скільки різних груп можна розділити житлові райони та які їх унікальні характеристики. Ця інформація може полегшити містобудування.

На підставі деяких прикладів (див. Цю публікацію в блозі: PCA і K-означає кластеризація Delta Aircraft ) я зрозумів, як зробити аналіз:

1. Спочатку роблять аналіз PCA.

2. Визначте кількість унікальних груп (кластерів) на основі результатів PCA (наприклад, використовуючи метод «лікоть», або, альтернативно, кількість компонентів, що пояснює від 80 до 90% від загальної дисперсії).

3. Визначивши кількість кластерів, застосуйте k-засоби кластеризації, щоб зробити класифікацію.

Мої запитання: здавалося, кількість компонентів PCA пов'язана з аналізом кластерів. Так це правда, якщо, скажімо, ми виявили, що 5 компонентів PCA пояснили більше 90% варіацій усіх функцій, то ми застосуємо k-означає кластеризацію та отримаємо 5 кластерів. Тож би 5 груп точно відповідали 5 компонентам в аналізі PCA?

Іншими словами, я думаю, моє запитання таке: Який зв’язок між аналізом PCA та кластеризацією k-засобів?

Оновлення: Завдяки вкладам Emre, xeon та Kirill. Тож нинішні відповіді:

1. Робота PCA перед аналізом кластеризації також корисна для зменшення розмірності як екстрактор функцій та візуалізація / виявлення кластерів.

2. Проведення PCA після кластеризації може підтвердити алгоритм кластеризації (довідка: аналіз основних компонентів ядра ).

3. PCA іноді застосовується для зменшення розмірності набору даних до кластеризації. Однак Yeung & Ruzzo (2000) показали, що кластеризація з ПК замість оригінальних змінних не обов'язково покращує якість кластера. Зокрема, перші кілька ПК (які містять більшість варіацій даних) не обов'язково охоплюють більшу частину структури кластера.

   • Йенг, Ка Йе та Вальтер Л. Руццо. Емпіричне дослідження основних аналізів компонентів для кластеризації даних про експресію генів. Технічний звіт, кафедра комп'ютерних наук та техніки, Університет Вашингтона, 2000. ( pdf )

4. Здавалося, PCA необхідний перед двоступеневим аналізом кластеризації . На основі Ibes (2015), в якому проводився кластерний аналіз з використанням факторів, визначених у PCA.

   • Ібес, Дороті С. Багатовимірна класифікація та аналіз власного капіталу системи міського парку: Нова методологія та застосування кейсу. Ландшафт та містобудування , Том 137, травень 2015, Сторінки 122–137.

PCA не є методом кластеризації. Але іноді це допомагає виявити кластери.

Припустимо, у вас є 10-мірні нормальні розподіли із середнім значенням (вектор нулів) та деякою коваріаційною матрицею з 3 напрямками, що мають більшу дисперсію, ніж інші. Застосування аналізу основних компонентів із трьома компонентами дасть вам ці вказівки у порядку зменшення, а підхід «лікоть» скаже вам, що ця кількість обраних компонентів є правильною. Однак це все одно буде хмара точок (1 кластер).$0_{10}$

Припустимо, у вас є 10 10-мірних нормальних розподілів із засобами , , ... (кошти залишаються майже на лінії) та подібними матрицями коваріації. Застосування PCA лише з 1 компонентом (після стандартизації) дасть вам напрямок, де ви будете спостерігати за всіма 10 кластерами. Аналізуючи пояснену дисперсію (підхід «лікоть»), ви побачите, що для опису цих даних достатньо одного компонента. 2 10 10 $1_{10}$$2_{10}$$10_{10}$

$0$