Як ви порівнюєте два Гауссові процеси?

Дивергенція Куллбека-Лейблера є метрикою для порівняння двох функцій щільності ймовірності, але яка метрика використовується для порівняння двох $X$ і GP $Y$ ?

gaussian-process metric

— пушкар
джерело

d(X,Y)=E[supt|X(t)−Y(t)|] $d(X,Y)=\mathbb{E}\left[ \sup_t |X(t)-Y(t)| \right]$

@Zen: Якщо у вас є час, мені цікаво дізнатися більше про цю метрику відстані.

— Ніл Г

Привіт, Ніл. Я мало про це знаю. Будь ласка, дивіться мою відповідь нижче.

— Дзен

Відповіді:

Зауважте, що розподіл гауссових процесів є розширенням багатофакторного Гаусса для можливо нескінченного . Таким чином, ви можете використовувати дивергенцію KL між розподілами ймовірностей GP, інтегруючи над : $\mathcal{X}\to\mathbb{R}$ $\mathcal{X}$ $\mathbb{R}^\mathcal{X}$

D K L (P | Q) = \int R X log d P d Q d P .

$D_{KL}(P|Q)=\int_{\mathbb{R}^\mathcal{X}} \log \frac{dP}{dQ} dP\,.$

Ви можете використовувати методи MC, щоб наблизити цю кількість чисельно до дискретного шляхом багаторазових процесів вибірки відповідно до їх розподілу GP. Я не знаю, чи достатньо хороша швидкість конвергенції ... $\mathcal{X}$

Зауважте, що якщо є кінцевим з , тоді ви переходите до звичайної дивергенції KL для багатоваріантних нормальних розподілів: $\mathcal{X}$ $|\mathcal{X}|=n$

D K L (G P (μ 1, K 1), G P (μ 2, K 2)) = 1 2 (t r (K - 1 2 K 1) + (μ 2 - μ 1) ⊤ K - 1 2 (μ 2 - μ 1) - n + log | K 2 | | K 1 |)

$D_{KL}\big(\mathcal{GP}(\mu_1,K_1), \mathcal{GP}(\mu_2,K_2)\big) = \frac 1 2 \Big(tr(K_2^{-1}K_1) + (\mu_2\!-\!\mu_1)^\top K_2^{-1}(\mu_2\!-\!\mu_1)-n+\log\frac{|K_2|}{|K_1|}\Big)$

— Еміль
джерело

Як я можу обчислити два згадані вами засоби (mu1 та mu2). Або я повинен вважати їх рівним нулю, як зазвичай для гауссового процесу?

— Марат Закіров

Пам'ятайте, що якщо - процес Гаусса із середньою функцією та коваріаційною функцією , то для кожного випадковий вектор має багатоваріантний нормальний розподіл із середнім вектором та матрицею коваріації , де ми використали загальну абревіатуру . $X:T\times \Omega\to\mathbb{R}$ $m$ $K$ $t_1,\dots,t_k\in T$ $(X(t_1),\dots,X(t_k))$ $(m(t_1),\dots,m(t_k))$ $\Sigma=(\sigma_{ij})=(K(t_i,t_j))$ $X(t)=X(t,\,\cdot\,)$

Кожна реалізація є речовій функцією, область є безліч індексів . Припустимо, що . Враховуючи два Гауссових процеси і , одна спільна відстань між двома реалізаціями і є. Отже, здається природним визначити відстань між двома процесами і як $X(\,\cdot\,,\omega)$ $T$ $T=[0,1]$ $X$ $Y$ $X(\,\cdot\,,\omega)$ $Y(\,\cdot\,,\omega)$ $\sup_{t\in[0,1]} |X(t,\omega) - Y(t,\omega)|$ $X$ $Y$

$d(X,Y) = \mathbb{E}\!\left[\sup_{t\in[0,1]} \left| X(t) - Y(t)\right|\right] \, . \qquad (*)$ Я не знаю, чи є аналітичний вираз для цієї відстані, але я вважаю, що ви можете обчислити наближення Монте-Карло наступним чином. Виправити деяку тонку сітку і намалювати зразки і з нормальні випадкові вектори

, відповідно, для

. Орієнтовна

по

$0\leq t_1<\dots<t_k\leq 1$

$(x_{i1},\dots,x_{ik})$

$(y_{i1},\dots,y_{ik})$

$(X(t_1),\dots,X(t_k))$

$(Y(t_1),\dots,Y(t_k))$

$i=1,\dots,N$

$d(X,Y)$

$\frac{1}{N} \sum_{i=1}^N \max_{1\leq j\leq k} |x_{ij}-y_{ij}| \, .$

— Дзен
джерело

Як ви відбираєте вибірку з кожного вектора? Якщо ви відбираєте вибірки лише в кожному з лікарів, ви не враховуєте відхилення. Інакше вам доведеться розробити послідовну методику відбору проб.

— пушкар

Це чудовий ресурс: gaussianprocess.org/gpml/chapters

— Дзен

Ви також можете прочитати всі відповіді на це питання: stats.stackexchange.com/questions/30652 / ...

— ZEN

Зверніть увагу, що це не відстань, оскільки . Оскільки КЛ порівнює два розподіли, а не дві реалізації, відстань Дзен між двома ГП слід визначати як , і маємо, що для НЕ виродився гауссовский процес .

$d(X,X) \neq 0$

$d(G_1,G_2)=\mathbb{E}_{X\sim G_1, Y\sim G_2}[\sup_t |X(t)-Y(t)|]$

$\mathbb{E}_{X\sim G, Y\sim G} \sup_t |X(t)-Y(t)| > 0$

$G$

— Еміль

@Emile: як це використовуючи визначення ?

$d(X,X)\neq 0$

$(*)$

— Дзен