Вибір компонентів PCA, які розділяють групи

Я часто використовував для діагностування своїх багатоваріантних даних за допомогою PCA (дані omics із сотнями тисяч змінних і десятки чи сотні зразків). Дані часто походять від експериментів з декількома категоричними незалежними змінними, що визначають деякі групи, і мені часто доводиться пройти кілька компонентів, перш ніж я зможу знайти ті, які показують поділ між зацікавленими групами. Я придумав досить примітивний спосіб пошуку таких дискримінаційних компонентів, і мені цікаво

1. наскільки це розумно / виправдано, та
2. чи є кращі способи досягнення того ж.

Зауважте, що це розвідувальна робота. Перш ніж переконати когось іншого, я хочу переконати себе. Якщо я бачу, що є компоненти, які чітко розрізняють групи інтересів (наприклад, контроль над лікуванням), навіть якщо вони несуть відповідальність за незначну частину дисперсії відповідей, я вірю це більше, ніж результату, скажімо, контрольованої машини навчання.

Ось мій підхід. Я буду використовувати приклад "metabo" набору даних з pca3d в Р.

Ідея полягає в тому, щоб оцінити, скільки дисперсії кожного компонента можна пояснити незалежною змінною. Для цього я обчислюю просту модель для кожного компонента і використовую як метрику, щоб упорядкувати компоненти від «найцікавішого» до «найменш цікавого».$R^2$

require( pca3d )
# data on metabolic profiles of TB patients and controls
data( metabo )
# first column is the independent variable
pca <- prcomp( metabo[,-1], scale.= T ) 

# create a model for each component
lm.m <- lm( pca$x ~ metabo[,1] )
lm.s <- summary( lm.m )
lm.r2 <- sapply( lm.s, function( x ) x$r.squared )
plot( lm.r2, type= "l" )
text( 1:length( lm.r2 ), lm.r2, 1:length( lm.r2 ), pos= 3 )

Ось результат. Діаграма показує відсоток у відхиленні кожного компонента, пояснений незалежною змінною в metabo[,1].

Ми можемо сортувати компоненти по щоб з’ясувати, з якими потрібно відобразити ; перші три компоненти - 2, 1 і 7.$r^2$order( lm.r2, decreasing= TRUE )

pca3d( pca, components= c( 1, 2, 7 ), group= metabo[,1] )

Ось сюжет:

(Червона та зелена категорії - це дві групи суб'єктів, які не є пацієнтами, і слід очікувати, що їх неможливо розрізнити.)

Щоб переформулювати мої запитання,

1. Чи має цей підхід для вас сенс? Моя проблема полягає в тому, що це дуже схоже на драгування даних. Також інтуїтивно я думаю, що, можливо, я повинен повернути таблицю і запитати, яка частина дисперсії в незалежній змінній пояснюється кожною змінною? Нарешті, я (майже) впевнений, що я вигадую колесо, погано, тому моє друге питання
2. Чи є щось краще?

Зауважте, що на цьому етапі я не хочу переходити на часткові найменші квадрати або щось подібне; Я просто хочу діагностувати PCA в контексті моєї класифікації.

Відповідь на ваше запитання №1 - так, ваше рішення - екскавація даних. Відповідь на ваше запитання №2 - так, в літературі є чудові методи.

$n << p$

Ви виконуєте аналіз, що нагадує регресію основних компонентів, за винятком того, що ви поміняли свої незалежні та залежні змінні, в результаті чого великий багатоваріантний (на відміну від багаторазового ) регресійний аналіз. Багатоваріантна регресія вимагає, щоб розмір вибірки був більшим за кількість залежних змінних, вимога, яку ви ретельно порушуєте у своєму прикладі.

Якщо ви по-справжньому прагнете керувати PCA на своїх даних, а потім використовуєте багатоваріантну регресію, ви повинні використовувати відповідний метод. Наприклад, вивчіть MRCE та споріднені методи [1].

Однак, незважаючи на кілька чудових коментарів, які ви зробили, все, що в аналізі, як представлено в даний час, говорить про те, що ваша кінцева мета - виявити взаємозв'язки між великим набором безперервних змінних (метабо [, - 1]) та однією категоричною змінною (метабо [ , 1]). PCA - це поганий спосіб цього досягти. У великомірному випадку є два загальні класи вирішення цієї проблеми: по-перше, рішення, що припускають розрідженість, і рішення, що передбачають факторну структуру.

Рішення на основі обмеженості зазвичай передбачають, що лише дуже невелика частка змінних насправді пов'язана з категоріальною змінною, що цікавить, і намагаються знайти цю невелику підмножину; наприклад див. DALASS [2]. Методи, засновані на структурі факторів, припускають, що ваші змінні дискримінатора є проявом лежать в основі прихованих змінних, що мають істинне відношення до категоріальної змінної. Прикладом цього класу методів є DLDA [3].

Зауважте, що я не обов'язково рекомендую будь-які методи, які я згадав для ваших даних; ви повинні ретельно розглянути свої цілі та апріорні знання проблеми при виборі відповідного методу.

[1] Ротман, Левіна, Чжу (2010). Рідка багатоваріантна регресія з оцінкою коваріації. Журнал обчислювальної та графічної статистики, Том 19, Число 4, Сторінки 947–962.

[2] Ніколай Т. Трендафілов, Ян Т. Джолліфф, DALASS: Варіабельний вибір у дискримінантному аналізі за допомогою LASSO, Обчислювальна статистика та аналіз даних, Том 51, Випуск 8, 1 травня 2007 р., Сторінки 3718-3736.

[3] Ю, Ян (2001). Прямий алгоритм LDA для об'ємних даних із застосуванням для розпізнавання обличчя. Розпізнавання шаблонів 34, 2067-2070.

@ahfoss вже вказав на LDA як аналог класифікації PCA. Насправді ці два методи пов'язані між собою, а також з PLS:

nature of dependent variable (for supervised)     unsupervised    supervised
or structure of data (unsupervised)
continuous                                        PCA             PLS
factor/groups/classes                                             LDA

$\mathbf I$$\mathbf I$

$n \ll p$

ПЛС можна розглядати як регуляризацію, як LASSO, а також доступна розріджена PLS (хоча я не використовував її: мої дані більше підходять до звичайних PLS, які не передбачають рідкості). Для приємного обговорення різних методів регуляризації див., Наприклад, Елементи статистичного навчання .

$n \gg p$

$\mathbf T =$$\mathbf X \times$$\mathbf W$
$\mathbf L =$$\mathbf X\times$$\mathbf B$

$\mathbf L'^{(n \times k - 1)} = \mathbf T^{(n \times m)} \mathbf B'^{(m \times k - 1)}$
$\phantom{\mathbf L^{(n \times k - 1)}} = \mathbf X^{(n \times p)} \mathbf W^{(p \times m)} \mathbf B'^{(m \times k - 1)}$
$\phantom{\mathbf L^{(n \times k - 1)}} = \mathbf X^{(n \times p)} \mathbf B''^{(p \times k - 1)}$
B ″ B ′ $\mathbf L'$$\mathbf B''$$\mathbf B'$$\mathbf B$

Практична примітка: якщо ви працюєте в R, у мене розробляється пакет, який надає моделі PLS-LDA та PCA-LDA. Дайте мені знати, чи хочете ви спробувати.

Щоб уникнути днопоглиблення даних, потрібно перевірити остаточну модель (= виміряти її продуктивність) незалежними даними.

Незалежне тут означає , що в цьому випадку (пацієнт?) Чи не вносять вклад в моделі фитинга в будь-якому шляху. Зокрема,

• не вводили жодного виду попередньої обробки, що передбачає кілька випадків, таких як центрування або стандартизація
• не ввів розрахунок PCA / PLS / ...
• не використовувався для оцінки гіперпараметрів.

Оскільки у вас є лише кілька випадків, стратегія перекомпонування буде доречною. У цій ситуації, мабуть, найкраще за допомогою зовнішніх знань зафіксувати будь-які гіперпараметри (наприклад, кількість ПК або латентних змінних ПЛС або зв’язане з LASSO), щоб уникнути другого внутрішнього розбиття ваших навчальних даних для оптимізації гіперпараметра.