Максимальна середня розбіжність (розподіл відстані)

У мене є два набори даних (вихідні та цільові дані), які слідують за різним розподілом. Я використовую MMD - це непараметричний розподіл відстані - для обчислення граничного розподілу між вихідними та цільовими даними.

вихідні дані, Xs

цільові дані, Xt

адаптаційна матриця A

* Прогнозовані дані, Zs = A '* Xs і Zt = A' Xt

* MMD => Відстань (P (Xs), P (Xt)) = | mean (A'Xs) - означає (A ' Xt) |

Це означає: відстань розподілу між вихідними та цільовими даними у вихідному просторі еквівалентна відстані між засобами проектованого джерела та цільовими даними у вбудованому просторі.

У мене питання про концепцію MMD.

У формулі MMD: Чому за допомогою обчислювальної відстані в латентному просторі ми могли б виміряти відстань розподілу у вихідному просторі?

Дякую

— Махса
джерело

Ви ще фактично не ставили запитання: ви лише сказали нам, що ви плутаєтесь!

— whuber

Це може допомогти дати трохи більше огляду MMD. $\DeclareMathOperator{\E}{\mathbb E}\newcommand{\R}{\mathbb R}\newcommand{\X}{\mathcal X}\newcommand{\h}{\mathcal H}\DeclareMathOperator{\MMD}{MMD}$

В цілому MMD визначається ідеєю представлення відстаней між розподілами як відстані між середніми вбудованими ознаками. Тобто, скажімо , у нас є розподіл $P$ і $Q$ над безліччю $\X$ . MMD визначається картою функцій $\varphi : \X \to \h$ , де $\mathcal H$ називається відтворюючим простором Гільберта ядра. Загалом, MMD є

MMD (P, Q) = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} .

$\MMD(P, Q) = \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h .$

Як один із прикладів, ми можемо мати та . У цьому випадку: тому цей MMD - це просто відстань між засобами двох розподілів. Відповідні розподіли подібно до цих засобів відповідають їх можливостям, хоча вони можуть відрізнятися за своєю відмінністю чи іншими способами. $\X = \h = \R^d$ $\varphi(x) = x$

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = ‖ E_{X \sim P} [X] - E_{Y \sim Q} [Y] ‖_{R^{d}} \\ = ‖ μ_{P} - μ_{Q} ‖_{R^{d}}, \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ X ] - \E_{Y \sim Q}[ Y ] \rVert_{\R^d} \\&= \lVert \mu_P - \mu_Q \rVert_{\R^d} ,\end{align}$

Ваш випадок трохи інший: у нас є та , з , де - матриця . Так ми маємо $\mathcal X = \mathbb R^d$ $\mathcal H = \mathbb R^p$ $\varphi(x) = A' x$ $A$ $d \times p$

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = ‖ E_{X \sim P} [A^{'} X] - E_{Y \sim Q} [A^{'} Y] ‖_{R^{p}} \\ = ‖ A^{'} E_{X \sim P} [X] - A^{'} E_{Y \sim Q} [Y] ‖_{R^{p}} \\ = ‖ A^{'} (μ_{P} - μ_{Q}) ‖_{R^{p}} . \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ A' X ] - \E_{Y \sim Q}[ A' Y ] \rVert_{\R^p} \\&= \lVert A' \E_{X \sim P}[ X ] - A' \E_{Y \sim Q}[ Y ] \rVert_{\R^p} \\&= \lVert A'( \mu_P - \mu_Q ) \rVert_{\R^p} .\end{align}$ Цей MMD - це різниця між двома різними прогнозами середнього значення. Якщо або відображення іншому випадку не є зворотним,

p < d

$p < d$

A^{'}

$A'$ ніж попередній: він не розрізняє деякі розподіли, які робить попередній.

Ви також можете побудувати більш сильні відстані. Наприклад, якщо $\X = \R$ і ви використовуєте , то MMD стає , і може розрізняти не тільки розподіли різними засобами, але й різними варіаціями. $\varphi(x) = (x, x^2)$ $\sqrt{(\E X - \E Y)^2 + (\E X^2 - \E Y^2)^2}$

І ви можете отримати набагато сильніше, ніж це: якщо відображає загальний відтворюючий простір Гільберта ядра, то ви можете застосувати фокус ядра для обчислення MMD, і виявиться, що багато ядер, включаючи ядра Гаусса, ведуть до MMD дорівнює нулю, якщо і тільки розподіли однакові. $\varphi$

Зокрема, відпустивши , ви отримаєте яку можна прямо оцінити за допомогою зразків. $k(x, y) = \langle \varphi(x), \varphi(y) \rangle_\h$

\begin{aligned} {MMD}^{2} (P, Q) & = ‖ E_{X \sim P} φ (X) - E_{Y \sim Q} φ (Y) ‖_{H}^{2} \\ = ⟨ E_{X \sim P} φ (X), E_{X^{'} \sim P} φ (X^{'}) ⟩_{H} + ⟨ E_{Y \sim Q} φ (Y), E_{Y^{'} \sim Q} φ (Y^{'}) ⟩_{Н} - 2 ⟨ Е_{Х \sim П} φ (Х), Е_{Y \sim Q} φ (Y) ⟩_{Н} \\ = Е_{Х, Х^{'} \sim П} к (Х, Х^{'}) + Е_{Y, Y^{'} \sim Q} к (Y, Y^{'}) - 2 Е_{Х \sim П, Y \sim Q} к (Х, Y) \end{aligned}

$\begin{align} \MMD^2(P, Q) &= \lVert \E_{X \sim P} \varphi(X) - \E_{Y \sim Q} \varphi(Y) \rVert_\h^2 \\&= \langle \E_{X \sim P} \varphi(X), \E_{X' \sim P} \varphi(X') \rangle_\h + \langle \E_{Y \sim Q} \varphi(Y), \E_{Y' \sim Q} \varphi(Y') \rangle_\h - 2 \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle_\h \\&= \E_{X, X' \sim P} k(X, X') + \E_{Y, Y' \sim Q} k(Y, Y') - 2 \E_{X \sim P, Y \sim Q} k(X, Y) \end{align}$

Оновлення: ось звідки походить "максимум" у назві.

Карта особливостей відображає у відтвореному просторі Гільберта ядро. Це пробіли функцій і задовольняють ключову властивість (називається властивістю, що відтворює ): $\varphi: \X \to \h$ $\langle f, \varphi(x) \rangle_\h = f(x)$ для будь-якого . $f \in \h$

У найпростішому прикладі з , ми розглядаємо кожну як функцію, відповідну деякому , по $\X = \h = \R^d$ $\varphi(x) = x$ $f \in \h$ $w \in \R^d$ $f(x) = w' x$ . Тоді властивість відтворення має мати сенс. $\langle f, \varphi(x) \rangle_\h = \langle w, x \rangle_{\R^d}$

У більш складних налаштуваннях, як-от ядро Гаусса, $f$ набагато складніша функція, але властивість відтворення все-таки виконується.

Тепер ми можемо дати альтернативну характеристику MMD:

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} ⟨ f, E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ⟩_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} ⟨ f, E_{X \sim P} [φ (X)] ⟩_{H} - ⟨ f, E_{Y \sim Q} [φ (Y)] ⟩_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} E_{X \sim P} [⟨ f, φ (X) ⟩_{H}] - E_{Y \sim Q} [⟨ f, φ (Y) ⟩_{H}] \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} E_{X \sim P} [f (X)] - E_{Y \sim Q} [f (Y)] . \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] \rangle_\h - \langle f, \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[\langle f, \varphi(X)\rangle_\h] - \E_{Y \sim Q}[\langle f, \varphi(Y) \rangle_\h] \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[f(X)] - \E_{Y \sim Q}[f(Y)] .\end{align}$ Другий рядок є загальним фактом щодо норм у просторах Гільберта:

sup_{f : ‖ f ‖ \leq 1} ⟨ f, g ⟩_{H} = ‖ g ‖

$\sup_{f : \lVert f \rVert \le 1} \langle f, g \rangle_\h = \lVert g \rVert$ досягається . Четверте залежить від технічного стану, відомого як інтеграція Бохнера, але справедливо, наприклад, для обмежених ядер або дистрибутивів з обмеженою підтримкою. Потім в кінці ми використовуємо властивість, що відтворює.

f = g / ‖ g ‖

$f = g / \lVert g \rVert$

Останній рядок, тому його називають "максимальною середньою невідповідністю" - це максимальна серед тестових функцій в одиничній кулі середня різниця між двома розподілами. $f$ $\h$

— Дугал
джерело

Дякую за ваше пояснення, для мене це стає більш зрозумілим; Все-таки я не зрозумів цю концепцію. На початку ви сказали: "MMD визначається ідеєю представлення відстаней між розподілами як відстані між середніми вбудованими ознаками". Чому ця ідея реалізується?

— Махса

"MMD визначається ідеєю представлення відстаней між розподілами як відстані між середніми вбудованими ознаками." Чому ця ідея реалізується? Це пов'язано з простором RKHS?

— Махса

Це лише визначення: ви можете порівняти розподіли, порівнюючи їх засоби. Або ви можете порівняти розподіли, порівнявши деяку трансформацію їх засобів; або порівнюючи їх засоби та відхилення; або шляхом порівняння середнього значення будь-якої іншої картки функцій, включаючи таку в RKHS.

— Дугал

Дякую за Вашу відповідь; Я збираюся прочитати більше про карту функцій RKHS; Мені було цікаво, чому на карті функцій RKHS визначена відстань MMD? Я маю на увазі, яка користь від RKHS у визначенні відстані MMD?

— Махса

Пояснення тут зосереджено на "середній розбіжності" на відміну від "максимальної середньої невідповідності". Чи може хтось детальніше зупинитися на частині "Максимізації"?

— Цзян Сян

Ось як я інтерпретував MMD. Два розподіли схожі, якщо їх моменти схожі. Застосовуючи ядро, я можу перетворити змінну таким чином, що всі моменти (перший, другий, третій тощо) обчислюються. У латентному просторі я можу обчислити різницю між моментами та середньою величиною. Це дає міру схожості / несхожості між наборами даних.

— rsambasivan
джерело