PCA, коли розмірність більша, ніж кількість зразків

Я натрапив на сценарій, коли у мене є 10 сигналів / людина на 10 осіб (тобто 100 зразків), що містять 14000 точок даних (розмірів), які мені потрібно передати класифікатору. Я хотів би зменшити розмірність цих даних, і PCA, здається, є способом зробити це. Однак мені вдалося знайти лише приклади PCA, де кількість зразків перевищує кількість розмірів. Я використовую програму PCA, яка знаходить ПК за допомогою SVD. Коли я передаю це мій набір даних 100x14000, повертається 101 ПК, тому переважна більшість розмірів очевидно ігнорується. Програма вказує, що перші 6 ПК містять 90% дисперсії.

Чи обґрунтовано припущення, що ці 101 ПК містять по суті всю дисперсію, а решта розмірів нехтують?

Один з робіт, які я читав, стверджує, що, використовуючи схожий (хоча і трохи нижчий за якістю) набір даних, ніж мій власний, вони змогли зменшити 4500 розмірів до 80, зберігаючи 96% початкової інформації. Паперові ручні хвилі над деталями використовуваної методики PCA були доступні лише 3100 зразків, і я маю підстави вважати менше зразків, ніж було використано для фактичного виконання PCA (для усунення зміщення з фази класифікації).

Чи щось мені не вистачає, чи це справді спосіб використання PCA з набором даних з високою розмірністю вибірки? Будь-який відгук буде дуже вдячний.

Я б розглядав проблему з дещо іншого кута: наскільки складною моделлю ви можете дозволити собі лише 10 предметів / 100 зразків?

І на це питання я зазвичай відповідаю: набагато менше 100 ПК. Зауважте, що я працюю над різними типами даних (вібраційні спектри), тому речі можуть дещо відрізнятися. У моєму полі загальним набором буде використання 10 або 25 або 50 ПК, обчислених з спектрів O (1000) для суб'єктів O (10).

Ось що б я зробив:

• Подивіться на дисперсію, яку охоплює ці 100 ПК. Зазвичай я вважаю, що лише деякі компоненти дійсно сприяють розбіжності в наших даних.

• Я дуже віддаю перевагу ПЛС як попередню обробку для класифікації за PCA, оскільки це робить набагато кращу роботу при сортуванні напрямків, які мають велику різницю, що не допомагає класифікації (в моєму випадку це можуть бути варіації фокусу, що відрізняються товщиною вибірки,. ..). З мого досвіду, я часто отримую подібні класифікатори з 10 прихованими змінними PLS або 25 - 50 ПК.

• Зразки валідації повинні бути оброблені за допомогою обертання PCA, обчисленого лише з навчального набору, інакше перевірка може (і в таких крайніх випадках, як ваш, найімовірніше,) мати великий надмірний ухил.
  Іншими словами, якщо ви робите позашвидкісну чи перехресну перевірку, попередню обробку PCA або PLS необхідно розраховувати для кожної комбінації поїздів / тестів окремо.

Якщо $n$$p$$n \leq p$$n$$n-1$

Виходячи з цього під іншим кутом:

$k$$k$$\leq$

$k$