Чому евклідова відстань не є хорошою метрикою у великих розмірах?

Я читав, що «Евклідова відстань - це не дуже добра відстань у великих розмірах». Я думаю, це твердження має щось спільне з прокляттям розмірності, але що саме? Крім того, що таке "високі розміри"? Я застосовував ієрархічну кластеризацію за допомогою евклідової відстані зі 100 ознаками. На скільки функцій безпечно використовувати цей показник?

Чудовий підсумок неінтуїтивних результатів у більш високих вимірах походить з " Кілька корисних речей, які потрібно знати про машинне навчання " Педро Домінго в Університеті Вашингтона:

[O] ур інтуїції, які походять з тривимірного світу, часто не застосовуються у високомірних. У великих розмірах більша частина маси багатовимірного гауссового розподілу знаходиться не в середньому, а у все більш віддаленій «оболонці» навколо нього; і більша частина об’єму помаранчевого розміру знаходиться в шкірі, а не в м’якоті. Якщо постійна кількість прикладів розподіляється рівномірно у високомірному гіперкубі, поза деякими розмірами більшість прикладів ближче до обличчя гіперкуба, ніж до їх найближчого сусіда. І якщо ми наблизимо гіперсферу, вписавши її в гіперкуб, у великих розмірах майже весь обсяг гіперкуба знаходиться поза гіперсферою. Це погана новина для машинного навчання, коли форми одного типу часто наближаються до форм іншого.

Стаття також сповнена багатьох додаткових перлин мудрості для машинного навчання.

Інший додаток, поза машинним навчанням, - це пошук найближчого сусіда: даючи спостереження, що цікавить, знайдіть найближчих сусідів (у сенсі, що це точки, що мають найменшу відстань від точки запиту). Але у великих розмірах виникає цікаве явище: співвідношення між найближчою та найдальшою точками наближається до 1, тобто точки по суті стають рівномірно віддаленими одна від одної. Це явище можна спостерігати для найрізноманітніших метрик відстані, але воно є більш вираженим для евклідової метрики, ніж, скажімо, манхеттенська метрика відстані. Припущення пошуку найближчого сусіда полягає в тому, що "ближчі" точки є більш релевантними, ніж "дальші" точки, але якщо всі точки по суті рівномірно віддалені одна від одної, відмінність є безглуздою.

З Чару К. Агарваль, Олександр Гіннебург, Даніель А. Кейм, " Про дивну поведінку дистанційних метрик у просторі великого розміру ":

У [Кевіна Бейєра, Джонатана Голдштейна, Рагху Рамакришнана, Урі Валта, " Коли значення" найближчого сусіда має значення? ", Стверджувалося, що за певних розумних припущень щодо розподілу даних співвідношення відстаней найближчих та найдальших сусідів до заданої цілі у просторовому просторі майже 1 для широкого спектру розподілу даних та функцій відстані. У такому випадку проблема найближчого сусіда стає погано визначеною, оскільки контраст між відстанями до різних точок даних не існує. У таких випадках навіть концепція близькості може не мати значення з якісної точки зору: проблема, яка є ще більш фундаментальною, ніж деградація продуктивності високомірних алгоритмів.

... Багато високомірних структур та алгоритмів індексування використовують метрику [E] уклейдової відстані як природне продовження її традиційного використання у дво- або тривимірних просторових додатках. ... У цій роботі ми наводимо деякі дивовижні теоретичні та експериментальні результати аналізу залежності норми від значення . Більш конкретно, ми показуємо, що відносні контрасти відстаней до точки запиту сильно залежать від використовуваного метрики . Це дає вагомі докази того, що значущість норми швидше погіршується в межах збільшення розмірності для більш високих значень . Таким чином, для заданої задачі з фіксованим (високим) значенням розмірності$L_k$$k$$L_k$$L_k$$k$$d$, може бути кращим використовувати нижчі значення . Це означає, що метрика відстані (метрика відстані Манхеттена) є найбільш кращою для застосувань з високими розмірами, а за нею - метрика Евкліда ( ). ...$k$$L_1$$L_2$

Тоді автори статті "Дивовижна поведінка" пропонують використовувати норми з . Вони дають деякі результати, які демонструють, що ці "дробові норми" виявляють властивість збільшувати контраст між найдальшою та найближчою точками. Це може бути корисно в деяких контекстах, однак є застереження: ці "дробові норми" не є належними метриками відстані, оскільки вони порушують нерівність трикутника. Якщо нерівність трикутника є важливою якістю у ваших дослідженнях, то дробові показники не стануть надзвичайно корисними.$L_k$$k<1$

Поняття евклідової відстані, яке добре працює у двовимірному та тривимірному світах, вивченому Евклідом, має деякі властивості у вищих розмірах, що суперечать нашій (можливо, просто моїй ) геометричній інтуїції, яка також є екстраполяцією з двох і трьох розміри.

Розглянемо квадрат із вершинами на . Накресліть чотири кола радіуса одиниці з центром . Вони "заповнюють" квадрат, при цьому кожне коло торкається сторін квадрата у двох точках, а кожне коло торкається двох своїх сусідів. Наприклад, коло з центром у торкається сторін квадрата в та , а сусідні кола - у та . Далі намалюйте невелике коло, зосереджене біля початку$4\times 4$$(\pm 2, \pm 2)$$(\pm 1, \pm 1)$$(1,1)$$(2,1)$$(1,2)$$(1,0)$$(0,1)$що стосується всіх чотирьох кіл. Оскільки відрізок лінії, кінцевими точками якого є центри двох коливальних кіл, проходить через точку коливання, легко перевірити, що мале коло має радіус і що він торкається дотиків до чотирьох більших кіл на . Зауважте, що мале коло «повністю оточене» чотирма більшими колами і, таким чином, також повністю знаходиться всередині квадрата. Зауважимо також, що точка лежить на малому колі. Зауважимо також , що від початку координат, один не може «бачити» точку на краю площі , так як лінія візування проходить через точку дотику з двох кіл з центром у$r_2 = \sqrt{2}-1$$(\pm r_2/\sqrt{2}, \pm r_2/\sqrt{2})$$(r_2,0)$$(2,0,0)$$(1,0,0)$$(1,1)$ та . Діто для ліній зору до інших точок, де осі проходять через краї квадрата.$(1,-1)$

Далі розглянемо куб вершини на . Ми заповнюємо його кулями окуляційного осередку-радіуса, центрованими в , а потім ставимо меншу коливальну сферу, зосереджену біля початку. Зауважимо, що мала сфера має радіус а точка лежить на поверхні малої сфери. Але зауважте також, що в трьох вимірах можна "бачити" точку $4\times 4 \times 4$$(\pm 2, \pm 2, \pm 2)$$8$$(\pm 1, \pm 1, \pm 1)$$r_3 = \sqrt{3}-1 < 1$$(r_3,0,0)$$(2,0,0)$від походження; немає більших великих сфер, що блокують погляд, як це відбувається у двох вимірах. Ці чіткі лінії зору від походження до точок, де осі проходять через поверхню куба, трапляються і в усіх більших розмірах.

Узагальнюючи, ми можемо розглянути -вимірний гіперкуб сторони і заповнити його коливальною одиницею-радіусом гіперсфери з центром у а потім поставити "менший" коливальна сфера радіуса біля початку. Точка лежить на цій "меншій" сфері. Але, зауважимо з що коли , і так "менша" сфера має одиничний радіус і, таким чином, дійсно не заслуговує субрікету "менших" для$n$$4$$2^n$$(\pm 1, \pm 1, \ldots, \pm 1)$

$$r_n = \sqrt{n}-1\tag{1}$$ $(r_n,0,0, \ldots, 0)$$(1)$$n = 4$$r_n = 1$$n\geq 4$. Справді, було б краще, якби ми назвали це "більшою сферою" або просто "центральною сферою". Як зазначається в останньому пункті, існує чітка лінія зору від початку до точок, де осі проходять через поверхню гіперкуба. Що ще гірше, коли ми маємо з що , і таким чином точка на центральній сфері лежить поза гіперкубою сторони хоча це "повністю оточений" одиницею-радіусом гіперсфери, що "заповнює" гіперкуб (у сенсі упаковки).$n > 9$$(1)$$r_n >2$$(r_n, 0, 0, \ldots, 0)$$4$ Центральна сфера «випинається» поза гіперкубом у просторовому просторі. Я вважаю це дуже протиінтуїтивним, оскільки мої ментальні переклади поняття евклідової відстані до вищих вимірів, використовуючи геометричну інтуїцію, яку я розробив із знайомого мені 2-простору та 3-простору, не описують реальність простір високого розміру.

Моя відповідь на питання ОП "Крім того, що таке" високі розміри "?" є .$n \geq 9$

Це питання сигналу-шуму . Евклідова відстань, обумовлена ​​квадратами, особливо чутлива до шуму; але навіть Манхеттенська відстань і "дробові" (неметричні) відстані страждають.

Я вважав дослідження в цій статті дуже освічуючими:

Зімек, А., Шуберт, Е. та Крігель, Х.-П. (2012),
опитування щодо непідконтрольного зовнішньому виявленню у великомірних числових даних.
Статистичний аналіз даних, майнінг, 5: 363–387. doi: 10.1002 / sam.11161

Він переглянув спостереження, зроблені, наприклад, про дивовижну поведінку дистанційних метрик у просторі великого розміру Аґгарваль, Гіннебург та Кейм, згадані @Pat. Але це також показує, наскільки синтетичні експерименти вводять в оману і що насправді високомірні дані можуть стати простішими . Якщо у вас багато (зайвого) сигналу, а нові розміри додають мало шуму.

Остання претензія, мабуть, найбільш очевидна при розгляді дублікатів розмірів. Картографування вашого набору даних збільшує репрезентативну розмірність, але зовсім не робить евклідову відстань невдалою. (Див. Також: Внутрішня розмірність )$x,y \rightarrow x,y,x,y,x,y,x,y,...,x,y$

Отже, зрештою, це все ще залежить від ваших даних. Якщо у вас багато непотрібних атрибутів, евклідова відстань стане марною. Якщо ви могли б легко вбудовувати свої дані у низькомірний простір даних, то евклідова відстань також повинна працювати у повномірному просторі. Зокрема, для розріджених даних, таких як вектори TF з тексту, здається, що дані мають набагато меншу розмірність, ніж передбачає векторна космічна модель.

Деякі люди вважають, що косинусова відстань краща, ніж евклідова за великомірними даними. Я не вважаю так: косинусова відстань та евклідова відстань тісно пов'язані; тому ми повинні очікувати, що вони страждають від тих же проблем. Однак текстові дані там, де косинус популярний, зазвичай рідкісні , а косинус швидший за рідкісними даними - тому для рідких даних є вагомі причини використовувати косинус; і тому, що дані є рідкими, внутрішня розмірність набагато менше, ніж розмірність векторного простору.

Дивіться також цю відповідь, яку я дав на попереднє запитання: https://stats.stackexchange.com/a/29647/7828

Найкраще місце для початку - це, мабуть, прочитати Про дивовижну поведінку метрики відстані у просторі великого розміру Аггарвал, Гіннебург та Кейм. Наразі тут працює посилання (pdf) , але воно має бути дуже здатним до google, якщо це порушиться. Коротше кажучи, у міру збільшення кількості вимірів відносна евклідова відстань між точкою у множині та найближчим сусідом та між цією точкою та її найдальшою сусідкою змінюється деякими неочевидними способами. Від того, чи буде це погано впливати на ваші результати, багато в чому залежить від того, що ви намагаєтеся досягти, і що ваші дані.

Евклідова відстань дуже рідко вибирається в машинному навчанні, і це стає більш очевидним у більш високих вимірах. Це тому, що більшу частину часу в машинному навчанні ви маєте справу не з евклідовим метричним простором, а з імовірнісним метричним простором, і тому вам слід використовувати ймовірнісні та інформаційно-теоретичні функції дистанції, наприклад, засновані на ентропії.

Людям подобається евклідовий простір, тому що його легко концептуалізувати, крім того, математично легко через властивості лінійності, які означають, що ми можемо застосовувати лінійну алгебру. Якщо ми визначимо відстані з точки зору, наприклад, дивергенції Кульбека-Лейблера, то складніше візуалізувати та працювати з математикою.

Як аналогія, уявіть собі коло, орієнтоване на походження. Бали розподіляються рівномірно. Припустимо, випадково обрана точка знаходиться у (x1, x2). Евклідова відстань від початку походження становить ((x1) ^ 2 + (x2) ^ 2) ^ 0,5

Тепер уявіть, що точки рівномірно розподілені по кулі. Ця ж точка (x1, x2) тепер, ймовірно, буде (x1, x2, x3). Оскільки при рівномірному розподілі лише кілька точок мають одну з координат як нуль, то вважатимемо, що [x3! = 0] для нашої випадково вибраної рівномірно розподіленої точки. Таким чином, наша випадкова точка є найімовірнішою (x1, x2, x3), а не (x1, x2, 0).

Ефект цього полягає в тому, що будь-яка випадкова точка знаходиться зараз на відстані ((x1) ^ 2 + (x2) ^ 2 + (x3) ^ 2) ^ 0.5 від початку 3-D сфери. Ця відстань більша, ніж для випадкової точки біля початку виникнення 2-D кола. Ця проблема загострюється у вищих розмірах, тому ми обираємо інші показники, ніж розміри Евкліда, для роботи з більш високими розмірами.

EDIT: Є приказка, яку я зараз пам’ятаю: «Більша частина маси оранжевого кольору вищого розміру знаходиться в шкірі, а не в м’якоті», це означає, що у більш високих розмірах рівномірно розподілені точки є більш «поруч» (евклідова відстань) межа ніж походження.

Побічна примітка: Евклідова відстань не є ТООЛЬНОю для проблем із реальним світом через "благо нерівномірності", яка в основному зазначає, що для реальних даних ваші дані, ймовірно, НЕ будуть розподілятися рівномірно у просторі більш високого розміру, але буде займати невеликий кластеризований підмножина простору. Це має сенс інтуїтивно: якщо ви вимірюєте 100 величин щодо людей, таких як зріст, вага тощо, рівномірний розподіл по простору розмірів просто не має сенсу, наприклад, людина з (висота = 65 дюймів, вага = 150 фунтів, avg_calorie_intake = 4000), що просто неможливо в реальному світі.

Ще одна сторона цього питання:

Дуже часто високі розміри проблем (машинного навчання / статистики) є наслідком надмірно обмежених особливостей.

Значення розмірів НЕ є незалежним (або некорельованим), але евклідові показники припускають (принаймні) невідповідність і, таким чином, можуть не дати найкращих результатів

Отже, щоб відповісти на ваше запитання, кількість "високих розмірів" пов'язане з тим, скільки функцій є взаємозалежними, надлишковими або надмірно обмеженими

Додатково: Це теорема Цисзара (та ін.), Що евклідові метрики є "природними" кандидатами для висновку, коли ознаки мають певні форми

Цей документ може допомогти вам також "Покращене вимірювання подібності sqrt-косинуса" відвідайте https://journalofbigdata.springeropen.com/articles/10.1186/s40537-017-0083-6 У цьому документі пояснюється, чому евклідова відстань не є хорошою метрикою у великих розмірах Дані і що є найкращою заміною евклідової відстані у даних високих розмірів. Евклідова відстань є нормою L2, і зменшуючи значення k у нормі Lk, ми можемо полегшити проблему відстані у даних високих розмірів. Посилання ви також можете знайти в цьому документі.