Знизу вгорі пояснення відстані махаланобіса?

Я вивчаю розпізнавання образів і статистику, і майже кожна книга, яку я відкриваю на тему, натрапляю на концепцію відстані махаланобіса . Книги дають свого роду інтуїтивні пояснення, але все ще недостатньо хороші для мене, щоб насправді зрозуміти, що відбувається. Якби хтось запитав мене: "Яка відстань махаланобіса?" Я могла відповісти лише: "Це гарна річ, яка вимірює відстань якоїсь" :)

Визначення зазвичай також містять власні вектори та власні значення, які у мене є невеликі труднощі при підключенні до відстані Махаланобіс. Я розумію визначення власних векторів та власних значень, але як вони пов'язані з відстані махаланобіса? Чи має щось спільне зі зміною основи в лінійній алгебрі тощо?

Я також прочитав ці попередні запитання на цю тему:

• Що таке відстань махаланобіса, і як воно використовується для розпізнавання візерунків?

• Інтуїтивне пояснення функції розподілу Гаусса та відстані махаланобіса (Math.SE)

Я також прочитав це пояснення .

Відповіді хороші, а малюнки приємні, але все-таки я не дуже розумію ... Я маю ідею, але все ще в темряві. Чи може хтось дати пояснення "Як би ви пояснили це своїй бабусі", щоб я, нарешті, міг обернути це питання і більше ніколи не замислюватися, яка біса - відстань махаланобіса? :) Звідки воно береться, що, чому?

ОНОВЛЕННЯ:

Ось щось, що допомагає зрозуміти формулу Mahalanobis:

https://math.stackexchange.com/questions/428064/distance-of-a-test-point-from-the-center-of-an-ellipsoid

Ось розкид декількох багатоваріантних даних (у двох вимірах):

Що ми можемо зробити з цього, коли осі залишаються опущеними?

Введіть координати, запропоновані самими даними.

Походження буде центроїда точок (точки) їх середніх значень . Перший координатна вісь (синя на наступному малюнку) буде проходити уздовж «хребта» точок, які (за визначенням) є будь-яким напрямком , в якому дисперсія є найбільшою. Друга вісь координат (червоний на малюнку) буде поширюватися перпендикулярно по відношенню до першої. (У більш ніж двох вимірах він буде обраний у тому перпендикулярному напрямку, в якому дисперсія є якомога більшою тощо).

Нам потрібна шкала . Стандартне відхилення вздовж кожної осі буде чудово встановити одиниці вздовж осей. Пам'ятайте правило 68-95-99.7: приблизно дві третини (68%) точок повинні знаходитися в межах однієї одиниці початку (уздовж осі); близько 95% повинні бути в межах двох одиниць. Це полегшує очне яблуко правильних одиниць. Для довідки, ця цифра включає одиничне коло в цих одиницях:

Це насправді не схоже на коло, чи не так? Це тому, що ця картина спотворена (про що свідчать різні відстані між числами на двох осях). Давайте перемальовуємо її за допомогою осей у власних орієнтаціях - зліва направо і знизу вгору - і з одиничним співвідношенням сторін, щоб одна одиниця по горизонталі дійсно дорівнювала одній одиниці вертикально:

Ви вимірюєте відстань махаланобіса на цій фотографії, а не в оригіналі.

Що тут сталося? Нехай дані розповідають нам, як побудувати систему координат для вимірювання в розсіювачі. Ось і все. Хоча у нас було кілька варіантів зробити на цьому шляху (ми завжди могли перевернути одну або обидві осі; і в рідкісних ситуаціях напрямки вздовж «колючок» - основні напрямки - не є унікальними), вони не змінюють відстаней у заключному сюжеті.

---

Технічні коментарі

(Не для бабусі, яка, ймовірно, почала втрачати інтерес, як тільки на сюжетах з'явилися номери, а для вирішення інших питань, які були поставлені.)

• Одиничні вектори вздовж нових осей є власними векторами (або матриці коваріації, або її зворотної).

• Ми зазначили, що спотворення еліпса для створення кола ділить відстань уздовж кожного власного вектора на стандартне відхилення: квадратний корінь коваріації. Якщо поступає на функцію коваріації, нове (махаланобіс) відстань між двома точками х і у - це відстань від х до у, поділене на квадратний корінь С ( х - у , х - у ) . Відповідні алгебраїчні операції, думаючи тепер про C з точки зору його представлення як матриці і x і $C$$x$$y$$x$$y$$C(x-y, x-y)$$C$$x$$y$з точки зору їх уявлення як векторів, записані . Це працюєнезалежно від того, яка основа використовується для представлення векторів та матриць. Зокрема, це правильна формула відстані махаланобісау вихідних координатах.$\sqrt{(x-y)'C^{-1}(x-y)}$

• Суми, за допомогою яких осі розширюються на останньому кроці, - це (квадратні корені) власних значень матриці зворотної коваріації. Рівно, осі стискаються (коренями) власних значень матриці коваріації. Таким чином, чим більше розкид, тим більше скорочення потрібно для перетворення цього еліпса в коло.

• Хоча ця процедура завжди працює з будь-яким набором даних, вона виглядає дуже приємно (класична хмара у формі футболу) для даних, які є приблизно багатоваріантними нормальними. В інших випадках точка середніх можливостей не є гарним поданням центру даних або "шипи" (загальні тенденції в даних) не будуть точно визначені, використовуючи дисперсію як міру поширення.

• Зсув координатного початку, обертання та розширення осей у сукупності утворюють афінну трансформацію. Крім початкового зсуву, це зміна базису від початкового (за допомогою одиничних векторів, що вказують на позитивні координатні напрямки), до нового (з використанням вибору одиничних власних векторів).

• Існує міцний зв’язок з аналізом основних компонентів (PCA) . Це одне проходить довгий шлях до пояснення питань "звідки воно походить" і "чому" - якщо ви вже не переконалися в елегантності та корисності дозволу даних визначати координати, які ви використовуєте для їх опису та вимірювання їх відмінності.

• Для багатоваріантних нормальних розподілів (де ми можемо здійснити ту саму побудову, використовуючи властивості щільності ймовірності замість аналогічних властивостей точкової хмари), відстань махаланобіса (до нового початку) з'являється замість виразу " " exp ( - $x$що характеризує щільність ймовірності стандартного нормального розподілу. Таким чином, у нових координатах багатоваріантний нормальний розподіл виглядаєстандартним нормальним,коли проектується на будь-яку лінію через початок. Зокрема, це стандартна нормальна для кожної з нових координат. З цієї точки зору, єдиний істотний сенс, в якому багатоваріантні нормальні розподіли відрізняються один від одного, з точки зору того, скільки розмірів вони використовують. (Зверніть увагу, що ця кількість розмірів може бути, а іноді і менше, ніж номінальна кількість розмірів.)$\exp(-\frac{1}{2} x^2)$

Моя бабуся готує. Можливо, і ваші. Кулінарія - дуже смачний спосіб викладання статистики.

Гарбузове печиво Habanero приголомшливо! Подумайте, якими чудовими можуть бути кориця та імбир у різдвяних частуваннях, а потім зрозумійте, наскільки вони гарячі самі по собі.

Інгредієнти:

• перець хабанеро (10, насіння і дрібно нарізаний фарш)
• цукор (1,5 склянки)
• вершкове масло (1 склянка)
• екстракт ванілі (1 ч.л.)
• яйця (2 середніх)
• борошно (2,75 склянки)
• харчова сода (1 ч.л.)
• сіль (1 ч.л.)

Уявіть, що ваші координатні осі для вашого домену є об'ємами інгредієнтів. Цукор. Борошно. Сіль. Харчова сода. Різноманітність за цими напрямками, при рівності інших, майже не впливає на якість смаку, як зміна кількості перців хабанеро. 10% -на зміна борошна або масла зробить його менш великим, але не вбивчим. Додавання лише невеликої кількості більше хабанеро переможе вас за смаковим обривом - від звикання-десерту до болю на основі тестостерону.

Махаланобіс - це не стільки відстань в "обсягах інгредієнтів", скільки відстань від "найкращого смаку". Справді "сильнодіючі" інгредієнти, дуже чутливі до змін, - це ті, які ви повинні ретельно контролювати.

Якщо ви думаєте про будь-який розподіл Гаусса порівняно зі стандартним нормальним розподілом, у чому різниця? Центр і шкала на основі центральної тенденції (середня величина) та тенденції до зміни (стандартне відхилення). Одне - перетворення координат другого. Махаланобіс - це та трансформація. Він показує, як виглядає світ, якби ваш розподіл інтересів був переведений як звичайний звичайний замість гаусса.

$d(x,y)=\sqrt{\langle x,y \rangle}$$x$$y$$\mathbb R^{n}$$x$$y$$X$

$x$$y$

$x$$C$

Збираючи вищезгадані ідеї, ми доходимо цілком природно

$$D(x,y)=\sqrt{(x-y)\,C^{-1}(x-y)}$$

$X_i$$X=(X_1,\dots,X_n)$$C_{ij}=\delta_{ij}$$X_i$$Var(X_i)=1$$D(x,y)$ $x$$y$$C(x,y)$

Розглянемо випадок двох змінних. Бачачи цю картину двовимірного нормального (спасибі @whuber), ви не можете просто стверджувати, що AB більший від змінного. Відзначається позитивна коваріація; дві змінні пов'язані між собою.

Ви можете застосовувати прості евклідові вимірювання (прямі, такі як AB та AC), лише якщо є змінні

1. незалежний
2. мають відхилення, рівні 1.

По суті, махаланобіська міра відстані виконує наступне: вона перетворює змінні в некорельовані змінні з відхиленнями, рівними 1, а потім обчислює просту евклідову відстань.

Я спробую пояснити вам якомога простіше:

Відстань махаланобіса вимірює відстань точки x від розподілу даних. Розподіл даних характеризується середньою та коваріаційною матрицею, тому гіпотезується як багатоваріантний гаусс.

Він використовується в розпізнаванні шаблонів як міра подібності між шаблоном (розподіл даних навчального прикладу класу) та тестовим прикладом. Коваріаційна матриця надає форму розподілу даних у просторі функцій.

На рисунку позначено три різні класи, а червона лінія позначає однакову відстань махаланобіса для кожного класу. Усі точки, що лежать на червоній лінії, мають однакову відстань від середнього класу, оскільки в ній використовується матриця коваріації.

Ключова особливість - використання коваріації як чинника нормалізації.

Я хотів би додати трохи технічної інформації до відмінної відповіді Вюбера. Ця інформація може не зацікавити бабусю, але, можливо, її онук знайде її корисною. Далі йде пояснення від нижньої до верхньої відповідної лінійної алгебри.

$d(x,y)=\sqrt{(x-y)^T\Sigma^{-1}(x-y)}$$\Sigma$$\Sigma$$\Sigma$$\Sigma=Q^TDQ$$\Sigma^{-1}=QD^{-\frac{1}{2}}D^{-\frac{1}{2}}Q^T$$d(x,y)=\sqrt{\left[(x-y)^TQ\right]D^{-\frac{1}{2}}D^{-\frac{1}{2}}\left[Q^T(x-y)\right]}=\sqrt{z^Tz}$$Q$$(x-y)$$D^{-\frac{1}{2}}$$D^{-\frac{1}{2}}$$D^{-1}$$z^Tz$

Я можу трохи запізнитися на відповідь на це питання. Цей документ тут є гарним початком для розуміння відстані махаланобіса. Вони надають повний приклад з числовими значеннями. Що мені подобається в цьому, це геометричне зображення проблеми.

Тільки для додання відмінних пояснень, наведених вище, відстань махаланобіса виникає природним шляхом у (багатоваріантній) лінійній регресії. Це простий наслідок деяких зв’язків між відстані Махаланобіс та розподілом Гаусса, про які йдеться в інших відповідях, але я вважаю, що це все одно варто проаналізувати.

$(x_1, y_1), \ldots, (x_N, y_N)$$x_i \in \mathbb{R}^n$$y_i \in \mathbb{R}^m$$\beta_0 \in \mathbb{R}^m$$\beta_1 \in \mathbb{R}^{m \times n}$$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$\epsilon_1, \ldots, \epsilon_N$$m$$0$$C$$x_i$$y_i$$x_i$$\beta_0 + \beta_1 x_i$$C$

$y_i$$x_i$$\beta = (\beta_0, \beta_1)$

$$\begin{equation} -\log p(y_i \mid x_i; \beta) = \frac{m}{2} \log (2\pi\det C) + \frac{1}{2} (y_i - (\beta_0 + \beta_1 x_i))^\top C^{-1} (y_i - (\beta_0 + \beta x_i)). \end{equation}$$ $C$ $$\begin{equation} \operatorname{argmin}_\beta [-\log p(y_i \mid x_i; \beta)] = \operatorname{argmin}_\beta D_C(\beta_0 + \beta_1 x_i, y_i), \end{equation}$$ $$\begin{equation} D_C(\hat y, y) = \sqrt{(y - \hat y)^\top C^{-1} (y - \hat y)} \end{equation}$$ $\hat y, y \in \mathbb{R}^m$

$\log p({\bf y} \mid {\bf x}; \beta)$${\bf y} = (y_1, \ldots, y_N)$${\bf x} = (x_1, \ldots, x_N)$

$$\begin{equation} \log p({\bf y} \mid {\bf x}; \beta) = \sum_{i=1}^N \log p(y_i \mid x_i; \beta) \end{equation}$$ $$\begin{equation} \operatorname{argmin}_\beta [-\log p({\bf y} \mid {\bf x}; \beta)] = \operatorname{argmin}_\beta \frac{1}{N} \sum_{i=1}^N D_C(\beta_0 + \beta_1 x_i, y_i), \end{equation}$$ $1/N$

$\beta_0, \beta_1$

Махаланобісова відстань - це евклідова відстань (природна відстань), яка враховує коваріантність даних. Це надає більшу вагу галасливим компонентам, тому дуже корисно перевірити подібність двох наборів даних.

Як ви можете бачити в вашому Exemple тут , коли змінні корельовані, то розподіл зміщується в одну сторону. Ви можете видалити ці ефекти. Якщо врахувати кореляцію на відстані, ви можете зняти ефект зсуву.