Гауссовий процес: властивості наближення функції

Я дізнаюся про Гауссовий процес і чув лише біти та фрагменти. Буду дуже вдячний за коментарі та відповіді.

Чи правда для будь-якого набору даних, що наближення функції Гауссова процесу дасть нульову або мізерну помилку пристосування в точках даних? В іншому місці я також чув, що Гауссовий процес особливо гарний для галасливих даних. Це, здається, суперечить низькій похибці придатності будь-яких спостережуваних даних?

Крім того, подальше від точок даних, здається, існує більше невизначеності (більша коваріантність). Якщо так, чи поводиться він як локальні моделі (RBF тощо)?

Нарешті, чи є властивість універсального наближення?

gaussian-process

— оала
джерело

Припустимо, вибіркою даних є . Припустимо також, що у нас є коваріаційна функція і нульове середнє значення, визначене для процесу Гусса. Розподіл для нової точки буде гауссова із середнім $D = (X, \mathbf{y}) = \{\mathbf{x}_i, y_i = y(x_i)\}_{i = 1}^N$ $k(\mathbf{x}_1, \mathbf{x}_2)$ $\mathbf{x}$

m (x) = k K^{- 1} y

$m(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y}$ та дисперсії

Вектор

- вектор коваріацій, матриця

V (x) = k (x, x) - k K^{- 1} k^{T} .

$V(\mathbf{x}) = k(\mathbf{x}, \mathbf{x}) - \mathbf{k} K^{-1} \mathbf{k}^T.$

k = {k (x, x_{1}), \dots, k (x, x_{N})}

$\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_1), \ldots, k(\mathbf{x}, \mathbf{x}_N)\}$

K = {k (x_{i}, x_{j})}_{i, j = 1}^{N}

$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$

m (X) = K K^{- 1} y = y .

$m(X) = K K^{-1} \mathbf{y} = \mathbf{y}.$

K + σ I

$K + \sigma I$

K

$K$

m (X) = K (K + σ I)^{- 1} y \neq y .

$m(X) = K (K + \sigma I)^{-1} \mathbf{y} \neq \mathbf{y}.$

$\sigma$ $\sigma = 0$ $\sigma$

Крім того, регресія процесів Гаусса є місцевим методом, оскільки дисперсія прогнозів зростає з відстанню до вибірки навчання, але ми можемо вибрати відповідну функцію коваріації $k$ $O(n)$ $n$

— Олексій Зайцев
джерело