Розміщення стрілок на біплоті PCA

Я хочу реалізувати біплот для аналізу основних компонентів (PCA) в JavaScript. Моє запитання полягає в тому, як я можу визначити координати стрілок з виводу сингулярного розкладання вектора (SVD) матриці даних? $U,V,D$

Ось приклад біплота виробництва R:

biplot(prcomp(iris[,1:4]))

Біплет набору даних Iris

Я спробував розглянути це у статті Вікіпедії про біплот, але це не дуже корисно. Або правильно. Не впевнений, який.

pca svd biplot

— ktdrv
джерело

Біплот - це накладений розсіювач, що показує значення U і V. Або UD і V. Або U і VD '. Або UD і VD '. З точки зору PCA, UD називаються основними компонентами основного компонента, а VD - називаються змінними компонентами.

— ttnphns

Зауважте також, що масштаб координат залежить від того, як ви спочатку нормалізуєте дані. Наприклад, у PCA, один звичайний поділяє дані на sqrt (r) або sqrt (r-1) [r - кількість рядків]. Але в істинному "біплоті" у вузькому розумінні цього слова зазвичай ділять дані на sqrt (rc) [c - кількість стовпців], а потім денормалізує отримані U та V.

— денормалізує

Чому дані потрібно масштабувати на

\frac{1}{\sqrt{n - 1}}

$\frac{1}{\sqrt{n-1}}$ ?

— ktdrv

@ttnphns: Після ваших коментарів вище, я написав відповідь на це питання, маючи на меті надати огляд нормалізації PCAP біплоту. Однак мої знання з цієї теми суто теоретичні, і я вважаю, що у вас набагато більше практичного досвіду роботи з біплотами, ніж я. Тож я буду вдячний за будь-які коментарі.

— амеба каже: Поновіть Моніку

Одна з причин втілення речей, Олександре, - це точно знати, що робиться. Як бачите, розібратися, що саме відбувається, коли біжить, не так просто biplot(). Крім того, навіщо турбуватися з інтеграцією в R-JS за те, що вимагає лише пари рядків коду.

— амеба каже, що повернеться до Моніки

Існує багато різних способів виготовлення біплота PCA, тому немає однозначної відповіді на ваше запитання. Ось короткий огляд.

Ми припускаємо, що матриця даних має точок даних у рядках і є по центру (тобто кошти стовпців - це всі нулі). Наразі ми не припускаємо, що вона була стандартизованою, тобто ми розглядаємо PCA на коваріаційній матриці (а не на кореляційній матриці). PCA дорівнює сингулярному розкладанню значення $\mathbf X$ $n$ ви можете ознайомитись з моєю відповіддю:Зв'язок між SVD та PCA. Як використовувати SVD для виконання PCA?

Х = {U S V}^{⊤},

$\mathbf X=\mathbf{USV}^\top,$

У біплоті PCA два перші основні компоненти побудовані у вигляді діаграми розсіювання, тобто перший стовпчик побудований проти другого стовпця. Але нормалізація може бути різною; наприклад, можна використовувати: $\mathbf U$

Стовпці : це основні компоненти, масштабовані до одиниці суми квадратів; $\mathbf U$
Стовпці : це стандартизовані основні компоненти (дисперсія одиниці); $\sqrt{n-1}\mathbf U$
Стовпці : це "сирі" основні компоненти (проекції на основні напрямки). $\mathbf{US}$

Далі, оригінальні змінні зображуються у вигляді стрілок; тобто координати ї кінцевої точки стрілки задаються значенням -ї у першому та другому стовпцях $(x,y)$ $i$ $i$ . Але знову ж таки, можна вибрати різні нормалізації, наприклад: $\mathbf V$

Колонки : Я не знаю, якою може бути тут інтерпретація; $\mathbf {VS}$
Стовпчики : це вантажі; $\mathbf {VS}/\sqrt{n-1}$
Стовпці : це головні осі (також основні напрямки, також власні вектори). $\mathbf V$

Ось як все це виглядає для набору даних Fisher Iris:

$9$ $\mathbf X$ $\mathbf{US}^\alpha \beta$ $\mathbf{VS}^{(1-\alpha)} / \beta$ $9$ є "належними біплотами": а саме поєднанням будь-якого підмножини зверху та безпосередньо безпосередньо внизу.

[Яку б комбінацію не використовували, може знадобитися масштабування стрілок за деяким довільним постійним коефіцієнтом, щоб і стрілки, і точки даних відображалися приблизно в одній шкалі.]

$\mathbf{VS}/\sqrt{n-1}$ $\mathbf U\sqrt{n-1}$

Цей [конкретний вибір], ймовірно, надасть найбільш корисну графічну допомогу в інтерпретації багатоваріантних матриць спостережень за умови, звичайно, що їх можна адекватно наблизити до другого рангу.

$\mathbf{US}$ $\mathbf{V}$ .

$\mathbf {US}$ Візуалізація мільйона, видання PCA - це показує PCA винного набору даних.

biplot $\mathbf U$ $\mathbf{VS}$ biplot $0.8$ biplot $n/(n-1)$ $1$ Стрілки базових змінних у біклоті PCA в Р. )

PCA на кореляційній матриці

$\mathbf X$ $1$

Тут навантаження ще привабливіші, бо (крім вищезазначених властивостей) вони дають $1$ $R=1$

Подальше читання:

PCA та кореспондентський аналіз у їхньому відношенні до Біплота - детальне звернення @ttnphns.
Яка належна міра асоціації змінної з компонентом PCA (на графіці біплоту / завантаження)? - геометричне пояснення @ttnphns того, що означають стрілки завантаження на біплоті.

— Амеба каже Відновити Моніку
джерело

+6, це заслуговує більше ніж 3 оновлення.

— gung - Відновити Моніку

Щойно зауважив, що? Ca :: plot.ca має хороший огляд різних можливих нормалізацій: вони розрізняють головний рядок (утворюють біплот = рядки в головних координатах, знаки в стандартних координатах), основні елементи колів (коваріація біплот = cols в головних координатах, рядки у стандартних координатах), симетричний біплот (рядки та стовпчики масштабуються таким чином, щоб вони мали відхилення, рівні рівним сингулярним значенням (квадратні корені власних значень)), рядкаб і колгаб (рядки в основних коордах і колби в стандартних коордах, помножені на масу відповідної точки або навпаки) і рябозелена та кольгрена (як веслува та колгаб, але з sqrt (маси))

— Tom Wenseleers

Ці останні називаються також "біплотами для внесків"; книга М. Грінакре "Біплоти на практиці" також дає хороший огляд всього цього; ці способи масштабування застосовуються до всіх методів, заснованих на SVD (наприклад, біплоти CA, PCO біплоти, LDA біплоти тощо); для прикладу того, як це працює, дивіться вихідний код ca ::: plot.ca та аргумент "map"

— Том Венселерз

n - 1

$n-1$

@AntoniParellada я відредагував і вставив пару посилань.

— Амеба каже, що повернеться до Моніки