Чи бувають випадки, коли PCA більше підходить, ніж t-SNE?

Хочу побачити, як 7 заходів поведінки на коригування тексту (час, витрачений на коригування тексту, кількість натискань клавіш тощо) стосуються один одного. Заходи співвідносні. Я провів PCA, щоб побачити, як заходи проектуються на PC1 та PC2, що дозволяє уникнути перекриття виконання окремих двосторонніх кореляційних тестів між заходами.

Мене запитали, чому б не використовувати t-SNE, оскільки зв'язок між деякими заходами може бути нелінійним.

Я можу побачити, як би дозволило нелінійність покращити це, але мені цікаво, чи є якась вагома причина використовувати PCA в цьому випадку, а не t-SNE? Мені не цікаво класифікувати тексти відповідно до їхнього відношення до заходів, а, скоріше, у співвідношенні між самими заходами.

(Я думаю, що EFA також може бути кращим / іншим підходом, але це інша дискусія.) У порівнянні з іншими методами тут мало повідомлень про t-SNE, тому питання, здається, варто задати.

$t$ -SNE - чудова частина машинного навчання, але можна знайти багато причин використовувати PCA замість нього. З верхньої частини голови я згадаю п'ять. Як і більшість інших використовуваних обчислювальних методологій, -SNE не є кулею срібла, і існує досить багато причин, які роблять його неоптимальним вибором у деяких випадках. Дозвольте коротко зазначити деякі моменти:$t$

1. Стохастичність кінцевого рішення . PCA є детермінованим; -SNE не є. Один отримує гарну візуалізацію, а потім її колега отримує іншу візуалізацію, і тоді вони отримують художній вигляд, який виглядає краще, і якщо різниця в у розбіжності має сенс ... У PCA правильна відповідь на поставлене питання гарантоване. -SNE може мати кілька мінімумів, що може призвести до різних рішень. Це потребує декількох циклів, а також викликає питання щодо відтворюваності результатів.0,03 % K L ( P | | Q ) $t$$0.03\%$$KL(P||Q)$$t$

2. Інтерпретабельність відображення . Це стосується вищезазначеного пункту, але припустимо, що команда погодилась у конкретному випадковому наборі / пробігу. Тепер стає питанням, що це показує ... -SNE намагається правильно відобразити лише локальні / сусіди, тому наші уявлення про це вбудовування повинні бути дуже обережними; глобальні тенденції не представлені точно (і це може бути великою справою для візуалізації). З іншого боку, PCA - це лише діагональне обертання нашої початкової матриці коваріації, а власні вектори являють собою нову осьову систему в просторі, що охоплюється нашими вихідними даними. Ми можемо безпосередньо пояснити, що робить конкретна PCA.$t$

3. Застосування нових / небачених даних . -SNE не вивчає функції від вихідного простору до нового (нижнього) розмірного, і це проблема. З цього приводу -SNE є непараметричним алгоритмом навчання, тому наближення до параметричного алгоритму є невдалою проблемою. Вбудовування засвоюється шляхом прямого переміщення даних через низькомірний простір. Це означає, що людина не отримує власного вектора або подібної конструкції для використання в нових даних. На противагу цьому, використовуючи PCA, власні вектори пропонують нову систему осей, яку можна безпосередньо використовувати для проектування нових даних. _{[Мабуть, можна спробувати навчити глибоку мережу, щоб вивчити}t _t$t$$t$_{$t$-SNE-картографування (ви можете почути доктора Ван дер-дер-Маатана на ~ 46 'цього відео, що пропонує щось в цьому напрямку), але, очевидно, не існує простого рішення.]}

4. Неповні дані . Вроджена -SNE НЕ мати справу з неповними даними. Справедливо кажучи, PCA не займається ними, але численні розширення PCA для неповних даних (наприклад, ймовірнісні PCA ) є там і є майже стандартними моделями. -SNE в даний час не може обробити неповні дані (окрім того, очевидно, що тренінг імовірнісного PCA спочатку і передача результатів на ПК -SNE як вхід).t $t$$t$$t$

5. ні (занадто) маленький корпус. $k$ -SNE вирішує проблему, відому як проблема переповнення, ефективно, що дещо подібні точки у вищому вимірі руйнуються один над одним у нижчих розмірах (докладніше тут ). Тепер у міру збільшення розмірів, що використовуються, проблема скупчення стає менш серйозною, тобто. проблема, яку ви намагаєтеся вирішити через використання -SNE, ослаблюється. Ви можете обійти цю проблему, але це не банально. Отже, якщо вам потрібен розмірний вектор, оскільки зменшений набір і не зовсім малий, питання про оптимальність виробленого рішення викликає сумніви. З іншого боку, PCA пропонують завждиt k k $t$$t$$k$$k$$k$найкраща лінійна комбінація з точки зору дисперсії. (Завдяки @amoeba за те, що я помітив, я зробив безлад, коли вперше намагався окреслити цю точку.)

Я не згадую питань щодо обчислювальних вимог (наприклад, швидкості чи розміру пам’яті), а також питань щодо вибору відповідних гіперпараметрів (наприклад, здивування). Я думаю, що це внутрішні питання методології -SNE і не мають значення при порівнянні її з іншим алгоритмом.$t$

Підводячи підсумок, -SNE є чудовим, але оскільки всі алгоритми мають свої обмеження, коли мова йде про його застосовність. Я використовую -SNE майже на будь-якому новому наборі даних, який я отримую в якості інструменту роз'яснювального аналізу даних. Я думаю, що хоча він має певні обмеження, які не роблять його майже таким же застосовним, як PCA. Дозвольте наголосити, що PCA також не є ідеальним; наприклад, візуалізації на основі PCA часто поступаються тим, які мають -SNE.t $t$$t$$t$

https://stats.stackexchange.com/a/249520/7828

- відмінна загальна відповідь.

Я хотів би трохи більше зупинитися на вашій проблемі. Ви, мабуть, хочете побачити, як ваші зразки співвідносяться з вашими 7 вхідними змінними. Це те, що T-SNE не робить. Ідея SNE і t-SNE полягає в тому, щоб розмістити сусідів близько один до одного, (майже) повністю ігноруючи глобальну структуру.

Це відмінно підходить для візуалізації, оскільки подібні предмети можуть бути нанесені один на одного (а не один на одного, cf скупчення).

Це не добре для подальшого аналізу. Глобальна структура втрачена, деякі об’єкти, можливо, були заблоковані для переходу до своїх сусідів, і поділ між різними групами не зберігається кількісно. Це багато в чому тому, що, наприклад, кластеризація проекції зазвичай працює не дуже добре.

PCA зовсім навпаки. Він намагається зберегти глобальні властивості (власні вектори з великою дисперсією), хоча може втратити низькі дисперсійні відхилення між сусідами.

Щоб задати один застосований кут, PCA і t-SNE не є взаємовиключними. У деяких галузях біології ми маємо справу з високовимірними даними (наприклад, scRNA-seq - це тисячі вимірів), де t-SNE просто не масштабується. Тому ми спочатку використовуємо PCA для зменшення розмірності даних, а потім, беручи до уваги основні компоненти принципу, обчислюємо сусідній графік, а потім вбудовуємо графік у 2-х вимірах, використовуючи t-SNE (або подібний нелінійний підхід до зменшення розмірності як UMAP) для візуалізації даних.