Чи мають значення розміри t-sne?

Чи є значення для розмірів вбудовування t-sne? Як і у PCA, у нас є сенс лінійно перетворених дисперсійних максимізацій, але для t-sne є інтуїція, крім простого простору, який ми визначаємо для відображення та мінімізації відстані KL?

dimensionality-reduction tsne

— Нітро
джерело

Не впевнений, чи дійсно це стосується того, про що ви запитуєте, але я вважаю, що розміри t-sne дійсно залежать лише від відокремленості даних. Розміри можуть змінюватися за одним і тим же набором даних, оскільки це нелінійне перетворення. Тож розміри можна реально інтерпретувати лише в контексті даного екземпляра. Дайте мені знати, якщо я помиляюся, це цікаве питання.

— Гоббс

Може, це просто нудне старе ℝ3?

— Нітро

Розміри простору низького розміру не мають значення. Зауважимо, що функція втрати t-SNE заснована виключно на відстані між точками ( та ) та розподілах ймовірностей на ці відстані ( і ): $y_i$ $y_j$ $p_{ij}$ $q_{ij}$

\frac{δ С}{δ у_{i}} = 4 \sum_{j} (p_{i j} - q_{i j}) (у_{i} - у_{j}) (1 + | | у_{i} - у_{j} | |^{2})^{- 1}

$\frac{\delta C}{\delta y_i}=4 \sum_j(p_{ij} - q_{ij})(y_i-y_j)(1+||y_i -y_j||^2)^{-1}$

Таким чином, немає проекції від усього простору високого розміру до простору низького розміру, t-SNE лише знаходить відображення від конкретного набору високих розмірних точок до конкретного набору низькомірних точок. Оскільки немає функції від одного простору до іншого, також немає притаманного значення осей.

Те, що ви можете уявити, щоб проілюструвати це:

Обертання або переклад просторового або низькомірного простору не впливає на відстані між точками. Отже, t-SNE не дбає про обертання або переклад в обох просторах. Таким чином, немає абсолютної інтерпретації осей.
Розподіл t-Student має жирові хвости. Це призводить до того, що низькомірне подання є інваріантним щодо змін у точках, які знаходяться далеко у просторі великого розміру. Це також призводить до того, що точки, що знаходяться далеко у просторі великого розміру, можуть бути або розумно далеко, далеко або дійсно далеко у просторі низьких розмірів. У цьому сенсі вона розтягує певні частини осі низьких розмірів (у будь-якому довільному напрямку).

Незважаючи на це, t-SNE - це насамперед техніка візуалізації, а ефективність її зменшення розмірів для інших цілей не очевидна (ймовірно, не підходить для кластеризації, вилучення можливостей чи вибору функції).

Також: папір .

— Пітер
джерело