Чи мають властивість Гаусса (регресія) універсальну апроксимаційну властивість?

Чи може будь-яка безперервна функція на [a, b], де a і b є дійсними числами, наближена або довільно близька до функції (в якійсь нормі) Гауссовими процесами (регресія)?

gaussian-process approximation

— Майкл Д
джерело

Будьте більш конкретними!

— Генрі.Л

так! Ну, насправді, це залежить від функції коваріації, але для деяких з них вони є . Дастін Тран та ін. також довела універсальну теорему наближення в байєсівській рамці для Варіаційного Гауссового процесу , яка є більш складною моделлю через функції деформації, але вона дуже тісно пов'язана. Я напишу відповідь, якщо питання повторно відкриється. PS зауважимо, що універсальне наближення, як і для Нейронних мереж, має місце лише над компактним набором, а не над усіма .

R^{p}

$\mathbb{R}^p$

— DeltaIV

Твердження про «універсальне наближення» у цьому питанні, схоже, мало або нічого спільного з твердженням у зазначеній статті Вікіпедії. Дійсно, навіть не ясно, як можна наблизити функцію до процесу . Не могли б ви детальніше зупинитися на тому, що ви намагаєтеся запитати?

— whuber

@whuber Хоча технічні характеристики можуть бути трохи розкутими, я думаю, що питання по суті означає "Для функції введення , чи є реалізація певного GP, який довільно близький до (в якійсь нормі)?" Або, можливо, "Оскільки ми спостерігаємо нескінченно багато вибіркових точок функції і виконуємо стандартний висновок GP з цими даними, чи вивчена функція заднього середнього наближається до справжньої функції (у певному сенсі)?" Ці двоє мають, звичайно, різні властивості, але я вважаю, що вони досить близькі, щоб відповідати (і, отже, подати п’яте повторне голосування).

f

$f$

f

$f$

f

$f$

f

$f$

— Дугал

Можливо, ви хочете довести конвергенцію замість наближення. В іншому випадку доказ простий: ви можете прийняти функцію як попередню для середнього. Це не набагато більше , але воно працює.

x = x

$x=x$

— Карел Мацек

Як зазначає @Dougal, є два різні способи інтерпретації вашого питання. Вони тісно пов'язані, навіть якщо це може здатися не таким.

Перше тлумачення: нехай є компактним підмножиною (компактність є основоположним для всіх наступних !!!), нехай буде a функція безперервної коваріації (або ядро), визначена на , і позначає з нормований простір безперервних функцій на , забезпечений максимальною нормою . Для будь-якої функції , може бути наближена до заданої допуску функцією в RKHS (відтворення простору ядра Гільберта), пов'язаної з $X$ $\mathbb{R}^d$ $k(\mathbf{x},\mathbf{x})$ $X\times X$ $C(X)$ $X$ $||\cdot||_{\infty}$ $f\in C(X)$ $f$ $\epsilon$ $k$ ? Ви можете задатися питанням, що таке RKHS, і яке все це стосується регресії Гаусса. RKHS - це закриття векторного простору, утвореного всіма можливими кінцевими лінійними комбінаціями всіх можливих функцій , де . Це дуже суворо пов'язано з регресією процесу Гаусса, тому що заданий Гауссовим процесом попередній на просторі , а потім (закриття) простір усіх можливих задніх засобів, який може бути сформований за допомогою Гауссової процесової регресії, є саме RKHS. Власне, всі можливі задні засоби мають форму $K(X)$ $f_\mathbf{y}(\mathbf{x})=k(\mathbf{x},\mathbf{y})$ $\mathbf{y}\in X$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$

f (x) = \sum_{i = 1}^{n} c_{i} k (x, x_{i})

$f(\mathbf{x}) =\sum_{i=1}^n c_i k(\mathbf{x},\mathbf{x}_i)$

тобто вони є кінцевими лінійними комбінаціями функцій . Таким чином, ми ефективно запитуємо, чи, враховуючи попередній процес Гаусса на , для будь-якої функції там завжди є функцією у (закритті) простору всіх функцій, які можуть бути згенеровані GPR, який максимально наближений до . $f_\mathbf{x_i}(\mathbf{x})=k(\mathbf{x},\mathbf{x_i})$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$ $f\in C(X)$ $f^*$ $f$

Відповідь на деякі конкретні ядра (включаючи класичне ядро Squared Exponential, але не включаючи поліноміальне ядро) - так . Можна довести , що для таких ядер є щільним в , тобто, для будь-якого і для будь-якого допуску , є в , таким що . Зверніть увагу на припущення: є компактним, - безперервним, - суцільним ядром, що має так звану властивість універсального наближення. Дивіться тут $K(X)$ $C(X)$ $f\in C(X)$ $\epsilon$ $f^*$ $K(X)$ $||f-f^*||_{\infty}<\epsilon$ $X$ $f$ $k$ для повного доказування в більш загальному (таким чином складному) контексті.

Цей результат набагато менш потужний, ніж це здається на перший погляд. Навіть якщо знаходиться в (закриття) простору задніх коштів , які можуть бути отримані з допомогою георадара, ми не довели , що це особлива задня означає повертається GPR для навчання встановлюється досить великий, де з Звичайно, навчальний набір складається з галасливих спостережень у точках . Ми навіть не довели, що заднє середнє значення, повернене GPR, взагалі зближується, для ! Це насправді друга інтерпретація, запропонована @Dougal. Відповідь на це питання залежить від відповіді на перше запитання: якщо немає функції $f^*$ $f$ $\mathbf{x}_1,\dots,\mathbf{x}_n$ $n \to \infty$ $f^*$ в RKHS, що є "хорошим наближенням" до , звичайно, ми не можемо сподіватися, що заднє середнє значення, повернене GPR, сходиться до нього. Однак це вже інше питання. Якщо ви хочете отримати відповідь і на це питання, будь ласка, задайте нове запитання. $f$

— DeltaIV
джерело