t-SNE проти MDS

Останнім часом читав кілька запитань щодо t-SNE ( t-Distributed Stochastic Neighbor Embedding ), а також відвідав декілька питань щодо MDS ( багатовимірного масштабування ).

Вони часто використовуються аналогічно, тому здавалося, що непогано змусити це запитання, побачивши, що тут є багато питань як щодо, так і окремо (або порівняно з PCA ).

Коротше кажучи, чим t-SNE та MDS відрізняються? напр. Які тонкощі ієрархії даних вони досліджують, різні припущення тощо.

Швидкість конвергенції? Як щодо використання ядер, чи відповідають обидва?

PCA вибирає впливові розміри шляхом ейгенаналізу самих N точок даних, тоді як MDS вибирає впливові розміри шляхом ейгенаналізу точок даних матриці попарно відстані. Це зумовлює виділення відхилень від рівномірності розподілу. Вважаючи матрицю відстані аналогічною тензору напружень, MDS можна вважати алгоритмом компонування, орієнтованим на силу, складністю виконання якого є де . $N^2$$\mathcal O(dN^a)$$3 < a \leq 4$

t-SNE, з іншого боку, використовує наближення поля для виконання дещо іншої форми компонування, керованого силою, як правило, через Барнса-Хата, який зменшує складність на основі градієнта до , але властивості конвергенції менш добре зрозумілі для цього ітеративного методу стохастичного наближення (наскільки мені відомо), а для типові спостережувані періоди виконання, як правило, довше, ніж інші методи зменшення розмірів. Результати часто більш візуально інтерпретуються, ніж наївний ейенаналіз, і залежно від поширення, часто більш інтуїтивні, ніж результати МДС, які, як правило, зберігають глобальну структуру за рахунок локальної структури, збереженої t-SNE.$\mathcal O(dN^2)$$\mathcal O(dN\cdot \log(N))$$2 \leq d \leq 4$

MDS вже є спрощенням PCA ядра, і він повинен бути розширюваним альтернативними ядрами, тоді як ядро ​​t-SNE описано в роботі Gilbrecht, Hammer, Schulz, Mokbel, Lueks та ін. Я практично не знайомий з цим, але, можливо, може бути інший респондент.

Я схильний вибирати між MDS та t-SNE на основі контекстуальних цілей. Що б не з'ясовувало структуру, яку мені цікаво виділити, яка б структура не мала більшу пояснювальну силу, тобто алгоритм, який я використовую. Це можна вважати недоліком, оскільки це форма ступеня свободи дослідника. Але свобода, що використовується розумно, не така вже й погана річ.