Кластеризація на виході t-SNE

У мене є додаток, де було б зручно кластерувати шумний набір даних, перш ніж шукати ефекти підгруп у кластерах. Я спершу подивився на PCA, але для отримання 90% варіабельності потрібно ~ 30 компонентів, тому кластеризація лише на декількох комп'ютерах викине багато інформації.

Потім я спробував t-SNE (вперше), який надає мені дивну форму в двох вимірах, яка дуже піддається кластеризації за допомогою k-засобів. Більше того, використання випадкових лісів на даних із призначенням кластеру, оскільки результат показує, що кластери мають досить розумну інтерпретацію з огляду на контекст проблеми з точки зору змінних, що складають необроблені дані.

Але якщо я збираюся звітувати про ці кластери, як їх описати? Кластери К-значень на основних компонентах виявляють людей, які знаходяться поруч один з одним з точки зору похідних змінних, що складають X% дисперсії в наборі даних. Яке еквівалентне твердження можна зробити щодо кластерів t-SNE?

Можливо, щось до цього:

t-SNE виявляє приблизну суміжність у глибокому багатовимірному колекторі, тому кластери на низькомірному представленні просторового простору максимізують "ймовірність", що суміжні особи не опиняться в одному кластері

Чи може хтось запропонувати кращу розмитість, ніж це?

Проблема t-SNE полягає в тому, що він не зберігає відстаней і щільності. Це лише певною мірою зберігає найближчих сусідів. Різниця є тонкою, але впливає на алгоритм, заснований на щільності чи відстані.

Щоб побачити цей ефект, просто генеруйте багатоваріантну гауссова розподіл. Якщо ви візуалізуєте це, у вас з'явиться куля, яка є щільною і виходить набагато менш щільною назовні, з деякими скидниками, які можуть бути дійсно далеко.

Тепер запустіть t-SNE на цих даних. У вас зазвичай вийде коло досить рівномірної щільності. Якщо ви використовуєте низьке здивування, це може навіть мати деякі дивні візерунки. Але ти вже не можеш більше розрізнити людей, що вижили.

Тепер давайте зробити складніше. Давайте використаємо 250 балів у нормальному розподілі при (-2,0), а 750 балів у нормальному розподілі при (+2,0).

Це повинен бути простий набір даних, наприклад, з EM:

Якщо ми запустимо t-SNE зі здивуванням за замовчуванням 40, ми отримаємо незвичайну форму:

Непогано, але також не так просто кластеризувати, чи не так? Вам буде важко знайти алгоритм кластеризації, який працює тут саме так, як бажано. І навіть якщо ви попросите людей згрупувати ці дані, швидше за все, вони знайдуть тут набагато більше, ніж два кластери.

Якщо ми запустимо t-SNE з надто маленьким здивуванням, таким як 20, ми отримаємо більше цих шаблонів, які не існують:

Це буде кластеризуватися, наприклад, з DBSCAN, але це дасть чотири кластери. Тож будьте обережні, t-SNE може створювати "підроблені" зразки!

Оптимальне здивування виглядає десь близько 80 для цього набору даних; але я не думаю, що цей параметр повинен працювати для кожного іншого набору даних.

Тепер це візуально приємно, але не краще для аналізу . Людський анотатор, швидше за все, може вибрати розріз і отримати гідний результат; k-означає, однак, не вдасться навіть у цьому дуже простому сценарії ! Ви вже можете бачити, що інформація про щільність втрачається , всі дані, здається, живуть в області майже однакової щільності. Якби ми замість цього ще більше збільшили здивування, рівномірність збільшилася б, а розмежування знову зменшиться.

На закінчення використовуйте t-SNE для візуалізації (і спробуйте різні параметри, щоб отримати щось візуально приємне!), А краще не запускайте кластеризацію після цього , зокрема не використовуйте алгоритми на основі відстані чи щільності, оскільки ця інформація була навмисно (!) загублений. Підходи на основі графіка сусідства можуть бути нормальними, але тоді вам не потрібно заздалегідь запускати t-SNE заздалегідь, просто скористайтеся сусідами негайно (адже t-SNE намагається зберегти цей nn-графік значною мірою недоторканим).

Більше прикладів

Ці приклади були підготовлені для презентації паперу (але не може бути знайдений в роботі все ж, як я зробив цей експеримент пізніше)

Еріх Шуберт та Майкл Герц.
Внутрішня т-стохастична сусіда, що вбудовується для візуалізації та виявлення зовнішності - засіб проти прокляття розмірності?
В: Матеріали 10-ї Міжнародної конференції з пошуку та застосування подібності (SISAP), Мюнхен, Німеччина. 2017 рік

По-перше, ми маємо ці вхідні дані:

Як ви здогадуєтесь, це походить від малюнка «розфарбуй мене» для дітей.

Якщо ми запустимо це через SNE ( НЕ t-SNE , а попередник):

Ого, наша риба стала зовсім морським монстром! Оскільки розмір ядра вибирається локально, ми втрачаємо велику частину інформації про щільність.

Але ви будете дуже здивовані випуском t-SNE:

Я фактично спробував дві реалізації (ELKI та sklearn реалізації), і обидві дали такий результат. Деякі роз'єднані фрагменти, але кожен виглядає дещо узгоджується з вихідними даними.

Два важливих моменти для пояснення цього:

1. SGD покладається на ітераційну процедуру уточнення і може застрягти в місцевих оптимах. Зокрема, це ускладнює алгоритму "перевернути" частину даних, які він відображає, оскільки для цього потрібні точки переміщення через інші, які повинні бути окремими. Отже, якщо деякі частини риби є дзеркальними, а інші - не дзеркальними, можливо, це не вдається виправити.

2. t-SNE використовує розподіл t в проектованому просторі. На відміну від розподілу Гаусса, використовуваного звичайним SNE, це означає, що більшість точок відштовхуються одна від одної , оскільки вони мають 0 спорідненість у вхідному домені (Гаусс отримує нуль швидко), але> 0 спорідненість у вихідному домені. Іноді (як у MNIST) це робить кращу візуалізацію. Зокрема, це може допомогти "розділити" набір даних трохи більше, ніж у вхідному домені. Це додаткове відштовхування також часто викликає вказівки на більш рівномірне використання площі, що також може бути бажаним. Але ось у цьому прикладі відштовхуючі ефекти насправді викликають поділ фрагментів риби.

Ми можемо допомогти (у цьому наборі даних про іграшки ) першим випуском, використовуючи оригінальні координати в якості початкового розміщення, а не випадкові координати (як це зазвичай використовується в t-SNE). Цього разу зображення є sklearn замість ELKI, оскільки версія sklearn вже мала параметр для передачі початкових координат:

Як бачите, навіть при "ідеальному" початковому розміщенні, t-SNE "розіб'є" рибу в ряді місць, які були спочатку з'єднані, оскільки відштовхування Student-t у вихідному домені сильніше, ніж спорідненість Гауса у введенні простір.

Як бачите, t-SNE (і SNE теж!) - цікаві методи візуалізації , але з ними потрібно ретельно поводитися. Я б краще не застосовував k-засоби на результат! тому що результат буде сильно спотворений, і ні відстані, ні щільність не збереглися добре. Натомість скоріше використовуйте його для візуалізації.

Я хотів би висловити дещо протилежну думку щодо добре аргументованої (+1) та високообоснованої відповіді від @ErichSchubert. Еріх не рекомендує кластеризувати на виході t-SNE, і показує кілька прикладів іграшок, де це може ввести в оману. Його пропозиція - замість цього застосувати кластеризацію до вихідних даних.

використовуйте t-SNE для візуалізації (і спробуйте різні параметри, щоб отримати щось візуально приємне!), а краще не запускайте кластеризацію після цього, зокрема не використовуйте алгоритми на основі відстані чи щільності, оскільки ці відомості були навмисно (!) втрачені.

Я добре знаю, як способи виходу t-SNE можуть вводити в оману (див. Https://distill.pub/2016/misread-tsne/ ), і я погоджуюся, що це може принести дивні результати в деяких ситуаціях.

Але розглянемо деякі реальні об'ємні дані.

Візьміть дані MNIST : 70000 одноцифрових зображень. Ми знаємо, що в даних є 10 класів. Ці класи виглядають добре відокремленими від людського спостерігача. Однак кластеризація даних MNIST у 10 кластерів є дуже складною проблемою. Я не знаю жодного алгоритму кластеризації, який би правильно кластеризував дані в 10 кластерів; що ще важливіше, я не знаю жодного евристичного кластеризації, який би вказував на те, що в даних є 10 (не більше і не менше) кластерів. Я впевнений, що більшість поширених підходів цього не змогли б вказати.

Але давайте замість цього зробимо t-SNE. (Можна знайти багато фігур t-SNE, застосованих до MNIST в Інтернеті, але вони часто є неоптимальними. На мій досвід, потрібно досить довго запускати перебільшення, щоб отримати хороші результати. Нижче я використовую perplexity=50, max_iter=2000, early_exag_coeff=12, stop_lying_iter=1000). Ось що я отримую, зліва без маркування, а праворуч кольоровий відповідно до основної істини:

Я б стверджував, що незазначене представлення t-SNE пропонує 10 кластерів. Застосування хорошого алгоритму кластеризації на основі щільності, такого як HDBSCAN з ретельно підібраними параметрами, дозволить класифікувати ці 2D дані в 10 кластерів.

Якщо хтось буде сумніватися, що лівий сюжет дійсно пропонує 10 кластерів, ось що я отримую з фокусом "пізнього перебільшення", де я додатково запускаю max_iter=200ітерації exaggeration=4(цей трюк запропонований у цій чудовій статті: https://arxiv.org /abs/1712.09005 ):

Тепер має бути дуже очевидно, що існує 10 кластерів.

Я закликаю всіх, хто вважає, що кластеризація після t-SNE є поганою ідеєю показати алгоритм кластеризації, який би досяг порівняно хорошого результату.

А тепер ще більше реальних даних.

У випадку MNIST ми знаємо основну правду. Розглянемо тепер деякі дані з невідомою первинною правдою. Кластеризація та t-SNE звичайно використовуються для опису мінливості клітин у даних одноклітинної РНК-послідовності. Наприклад, Шехар та ін. У 2016 році намагалися визначити кластери серед 27000 клітин сітківки (в геному миші є близько 20 к генів, тому розмірність даних в принципі близько 20 к; проте, зазвичай, починається зі зменшення розмірності з PCA до 50 або більше). Вони роблять t-SNE і окремо роблять кластеризацію (складний трубопровід кластеризації з подальшим об'єднанням кластерів тощо). Кінцевий результат виглядає приємно:

Причина, яка виглядає настільки приємно, полягає в тому, що t-SNE створює чітко окремі кластери, а алгоритм кластеризації дає точно такі ж кластери. Приємно.

Однак якщо ви подивитесь на додатки, то побачите, що автори спробували багато різних підходів кластеризації. Багато з них виглядають жахливо на сюжеті t-SNE, оскільки, наприклад, великий центральний кластер розпадається на багато підкластерів:

То що ви вірите: вихід улюбленого алгоритму кластеризації разом з вашим улюбленим евристичним для визначення кількості кластерів або те, що ви бачите на графіку t-SNE? Якщо чесно, незважаючи на всі недоліки t-SNE, я схильний більше вірити t-SNE. Або в будь-якому випадку я не бачу, чому я повинен менше вірити .

Я думаю, що з великим здивуванням t-SNE може реконструювати глобальну топологію, як зазначено в https://distill.pub/2016/misread-tsne/ .

З зображення риби я відібрав 4000 балів для t-SNE. З великим здивуванням (2000 р.) Зображення риби було практично реконструйоване.

Ось оригінальне зображення.

Ось зображення, реконструйоване t-SNE з недоумкуванням = 2000.

На основі математичних даних, які ми маємо, цей метод технічно міг би зберегти відстані! чому ви всі ігноруєте цю функцію! t -SNE перетворює великомірні евклідові відстані між зразками в умовні ймовірності, що представляють подібність. Я спробував t -SNE з більш ніж 11000 зразками (в контексті геноміки) паралельно з різними алгоритмами кластеризації консенсусу, включаючи спектральне кластеризацію, Affinity і, що важливо, з кластеризацією GMM (що є алгоритмом кластеризації на основі щільності!). В результаті я виявив дуже хороший узгоджений результат між двома підходами ( t-SNE проти алгоритмів кластеризації консенсусу). Я вважаю, що інтеграція t-SNE з алгоритмами кластеризації консенсусу може дати найкращі докази існуючих локальних та глобальних структур даних.

Ви можете спробувати алгоритм кластеризації DBSCAN. Крім того, зусилля tne має бути приблизно такого ж розміру, як і найменший очікуваний кластер.

Особисто я це переживав один раз, але не з t-SNE або PCA. Мої вихідні дані знаходяться в 15-мірному просторі. Використовуючи UMAP для зменшення його до 2D та 3D вбудовування, я отримав 2 ідеально і візуально відокремлених кластера на двовимірних та тривимірних ділянках. Занадто добре, щоб бути правдою. Але коли я "переглянув" початкові дані з діаграми збереження, я зрозумів, що є набагато більше "значущих" кластерів, а не лише 2.

Кластеризація на виході методики зменшення розмірів повинна виконуватися з великою обережністю, інакше будь-яка інтерпретація може бути дуже оманливою або помилковою, оскільки зменшення розмірності неодмінно призведе до втрати функції (можливо, галасливі чи справжні функції, але апріорі ми не робимо ' знаю, який). На мою думку, ви можете довіряти / інтерпретувати кластери, якщо:

• Кластери в прогнозованих даних відповідають / підтверджують деяку класифікацію, визначену апріорі (подумайте про набір даних MNIST, де кластери прогнозованих даних дуже добре збігаються з класифікацією цифр) та / або

• Ви можете підтвердити наявність цих кластерів у вихідних даних, використовуючи інші методи, наприклад діаграми стійкості. Підрахунок лише кількості підключених компонентів можна зробити за досить розумну кількість часу.