Відстань земляного двигуна (ЕМД) між двома гауссами

Чи існує формула закритої форми (або якась пов'язана з нею) ЕМД між $x_1\sim N(\mu_1, \Sigma_1)$ та $x_2 \sim N(\mu_2, \Sigma_2)$ ?

normal-distribution distance

— ifog
джерело

Відповідно до en.wikipedia.org/wiki/Earth_mover%27s_distance EMD - це те саме, що відстань Мальви чи Вассерстейна, тож ви можете спробувати це googlin.

— kjetil b halvorsen

Цей документ може бути корисним: vldb.org/pvldb/vol5/p205_brianeruttenberg_vldb2012.pdf

— jojer

$\DeclareMathOperator\EMD{\mathrm{EMD}} \DeclareMathOperator\E{\mathbb{E}} \DeclareMathOperator\Var{Var} \DeclareMathOperator\N{\mathcal{N}} \DeclareMathOperator\tr{\mathrm{tr}} \newcommand\R{\mathbb R}$ Відстань наземного двигуна може бути записана як , де мінімальний розмір приймається за всі спільні розподіли і з маргінальними , . Це також відоме як перша відстань Вассерстейна , яка з однаковим мінімумом. $\EMD(P, Q) = \inf \E \lVert X - Y \rVert$ $X$ $Y$ $X \sim P$ $Y \sim Q$ $W_p = \inf \left( \E \lVert X - Y \rVert^p \right)^{1/p}$

Нехай $X \sim P = \N(\mu_x, \Sigma_x)$ , $Y \sim Q = \N(\mu_y, \Sigma_y)$ .

Нижня межа: За нерівності Дженсена, оскільки норми опуклі,

Е ‖ Х - Y ‖ \geq ‖ Е (Х - Y) ‖ = ‖ {мк}_{х} - {мк}_{у} ‖,

$\E \lVert X - Y \rVert \ge \lVert \E (X - Y) \rVert = \lVert \mu_x - \mu_y \rVert,$ тому ЕМД завжди принаймні відстань між засобами (для будь-яких розподілів).

Верхня межа на основі $W_2$ : Знову нерівність Дженсена $\left( \E \lVert X - Y \rVert \right)^2 \le \E \lVert X - Y \rVert^2$ . Таким чином $W_1 \le W_2$ . Але Доусон і Ландау (1982) встановлюють, що

W_{2} (П, Q)^{2} = ‖ {мк}_{х} - {мк}_{у} ‖^{2} + т r (Σ_{х} + Σ_{у} - 2 (Σ_{х} Σ_{у})^{1 / 2}),

$W_2(P, Q)^2 = \lVert \mu_x - \mu_y \rVert^2 + \tr\left( \Sigma_x + \Sigma_y - 2 (\Sigma_x \Sigma_y)^{1/2} \right) ,$ даючи верхню межу на

E M D = W_{1}

$\EMD = W_1$ .

Більш щільна верхня межа: Розглянемо з'єднання Це карта, отримана Кноттом і Смітом (1984) , Про оптимальне відображення розподілів , Журнал теорії та застосувань оптимізації, 43 (1) стор 39-49 як оптимальне відображення для ; дивіться також цю публікацію в блозі . Зауважимо, що і

\begin{aligned} Х & \sim N ({мк}_{х}, Σ_{х}) \\ Y & = {мк}_{у} + \underset{А}{\underset{⏟}{Σ_{х}^{- \frac{1}{2}} {(Σ_{х}^{\frac{1}{2}} Σ_{у} Σ_{х}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{х}^{- \frac{1}{2}}}} (Х - {мк}_{х}) . \end{aligned}

$\begin{align} X &\sim \N(\mu_x, \Sigma_x) \\ Y &= \mu_y + \underbrace{\Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{-\frac12}}_A (X - \mu_x) .\end{align}$

W_{2}

$W_2$

A = A^{T}

$A = A^T$

\begin{aligned} E Y & = μ_{y} + A (E X - μ_{x}) = μ_{y} \\ Var Y & = A Σ_{x} A^{T} \\ = Σ_{x}^{- \frac{1}{2}} {(Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{x}^{- \frac{1}{2}} Σ_{x} Σ_{x}^{- \frac{1}{2}} {(Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{x}^{- \frac{1}{2}} \\ = Σ_{x}^{- \frac{1}{2}} (Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}}) Σ_{x}^{- \frac{1}{2}} \\ = Σ_{y}, \end{aligned}

$\begin{align} \E Y &= \mu_y + A (\E X - \mu_x) = \mu_y \\ \Var Y &= A \Sigma_x A^T \\&= \Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{-\frac12} \Sigma_x \Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{-\frac12} \\&= \Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right) \Sigma_x^{-\frac12} \\&= \Sigma_y ,\end{align}$ щоб з'єднання було дійсним.

Відстань тоді , де зараз що є нормальним з $\lVert X - Y \rVert$ $\lVert D \rVert$

\begin{aligned} D & = X - Y \\ = X - μ_{y} - A (X - μ_{x}) \\ = (I - A) X - μ_{y} + A μ_{x}, \end{aligned}

$\begin{align} D &= X - Y \\&= X - \mu_y - A (X - \mu_x) \\&= (I - A) X - \mu_y + A \mu_x ,\end{align}$

\begin{aligned} Е D & = {мк}_{х} - {мк}_{у} \\ Вар D & = (Я - А) Σ_{х} (Я - А)^{Т} \\ = Σ_{х} + А Σ_{х} А - А Σ_{х} - Σ_{х} А \\ = Σ_{х} + Σ_{у} - Σ_{х}^{- \frac{1}{2}} {(Σ_{х}^{\frac{1}{2}} Σ_{у} Σ_{х}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{х}^{\frac{1}{2}} - Σ_{х}^{\frac{1}{2}} {(Σ_{х}^{\frac{1}{2}} Σ_{у} Σ_{х}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{х}^{- \frac{1}{2}} . \end{aligned}

$\begin{align} \E D &= \mu_x - \mu_y \\ \Var D &= (I - A) \Sigma_x (I - A)^T \\&= \Sigma_x + A \Sigma_x A - A \Sigma_x - \Sigma_x A \\&= \Sigma_x + \Sigma_y - \Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{\frac12} - \Sigma_x^{\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{-\frac12} .\end{align}$

Таким чином, верхня межа для дорівнює . На жаль, закриту форму для цього очікування напрочуд неприємно записати на загальні багатоваріантні нормали: див. Це питання , як і це . $W_1(P, Q)$ $\E \lVert D \rVert$

Якщо дисперсія закінчується кулястою (наприклад, якщо , , то дисперсія стає ), колишня питання дає відповідь з точки зору узагальненого многочлена Лагерра. $D$ $\Sigma_x = \sigma_x^2 I$ $\Sigma_y = \sigma_y^2 I$ $D$ $(\sigma_x - \sigma_y)^2 I$

Загалом, у нас є проста верхня межа для на основі нерівності Дженсена, отриманого, наприклад, у першому питанні: $\E \lVert D \rVert$

\begin{aligned} {(E ‖ D ‖)}^{2} & \leq E ‖ D ‖^{2} \\ = ‖ μ_{x} - μ_{y} ‖^{2} + t r (Σ_{x} + Σ_{y} - A Σ_{x} - Σ_{x} A) \\ = ‖ μ_{x} - μ_{y} ‖^{2} + t r (Σ_{x}) + t r (Σ_{y}) - 2 t r (Σ_{x}^{- \frac{1}{2}} {(Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{x}^{\frac{1}{2}}) \\ = ‖ μ_{x} - μ_{y} ‖^{2} + t r (Σ_{x}) + t r (Σ_{y}) - 2 t r ({(Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}})}^{\frac{1}{2}}) \\ = W_{2} (P, Q)^{2} . \end{aligned}

$\begin{align} \left( \E \lVert D \rVert \right)^2 &\le \E \lVert D \rVert^2 \\&= \lVert \mu_x - \mu_y \rVert^2 + \tr\left( \Sigma_x + \Sigma_y - A \Sigma_x - \Sigma_x A \right) \\&= \lVert \mu_x - \mu_y \rVert^2 + \tr\left( \Sigma_x \right) + \tr\left( \Sigma_y \right) - 2 \tr\left( \Sigma_x^{-\frac12} \left(\Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{\frac12} \right) \\&= \lVert \mu_x - \mu_y \rVert^2 + \tr\left( \Sigma_x \right) + \tr\left( \Sigma_y \right) - 2 \tr\left( \left(\Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \right) \\&= W_2(P, Q)^2 .\end{align}$ Рівність у кінці тому, що матриці та схожі , тому вони мають однакові власні значення, і тому їх квадратні корені мають однаковий слід.

Σ_{x} Σ_{y}

$\Sigma_x \Sigma_y$

Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}} = Σ_{x}^{- \frac{1}{2}} (Σ_{x} Σ_{y}) Σ_{x}^{\frac{1}{2}}

$\Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 = \Sigma_x^{-\frac12} (\Sigma_x \Sigma_y) \Sigma_x^{\frac12}$

Ця нерівність сувора до тих пір, поки не вироджується, що в більшості випадків, коли . $\lVert D \rVert$ $\Sigma_x \ne \Sigma_y$

Припущення : можливо, ця ближча верхня межа, , є тісною. Потім знову у мене довгий час була інша верхня межа, яку я гадав, що вона була тіснішою, що насправді було вільнішою, ніж , тому, можливо, вам не слід занадто довіряти цій здогадці. :) $\E \lVert D \rVert$ $W_2$

— Дугал
джерело