Розуміння регресії Гауссова процесу через нескінченний розмірний вигляд функції

Часто говорять, що регресія гауссового процесу відповідає (GPR) байєсовій лінійній регресії з (можливо) нескінченною кількістю базових функцій. Зараз я намагаюся детально зрозуміти це, щоб зрозуміти, які моделі я можу виразити за допомогою GPR.

Ви вважаєте, що це хороший підхід, щоб спробувати зрозуміти GPR?

У книзі Гауссових процесів машинного навчання Расмуссена та Вільямса показано, що сукупність гауссових процесів, описаних параметризованим експоненціальним квадратним ядром можна рівнозначно охарактеризувати як байєсівську регресію з попередньою вірою на ваги і нескінченну кількість базових функцій форма Таким чином, параметризація ядра могла б повністю перевестись у параметризацію бази функції.

к (х, х^{'}; л) = σ_{p}^{2} досвід (- \frac{(х - х)^{2}}{2 л^{2}})

$k(x,x';l)= \sigma_p^2\exp\left(-\frac{(x-x)^2}{2l^2}\right)$

w \sim N (0, σ_{p}^{2} I)

$w \sim \mathcal{N}(0,\sigma_p^2 I)$

ϕ_{c} (х; л) = досвід (- \frac{(х - c)^{2}}{2 л^{2}})

$\phi_c(x;l)=\exp\left(-\frac{(x-c)^2}{2l^2}\right)$

Чи може параметризація диференційованого ядра завжди переводитися на параметризацію попередньої та базової функцій чи є диференційовані ядра, де, наприклад, кількість базових функцій залежить від конфігурації?

Поки я розумію, що для функції фіксованого ядра k (x, x ') теорема Мерсера говорить нам, що можна виразити як де є функцією або в числових числах, або в складних числах. Таким чином, для даного ядра відповідна байєсова регресійна модель має попередній та базові функції . Таким чином, кожен GP може навіть сформулюватися як байєсова модель лінійної регресії з діагональною попередньою. Однак якщо ми зараз використовуємо теорему мерсерів для кожної конфігурації параметризованого ядра що диференціюється у кожному $k(x,x')$

к (х, х^{'}) = \sum_{i = 1}^{\infty} λ_{i} ϕ_{i} (х) ϕ_{i} (х^{'})

$k(x,x')=\sum_{i=1}^\infty \lambda_i\phi_i(x)\phi_i(x')$

ϕ_{i}

$\phi_i$

w \sim N (0, diag ([λ_{1}^{2}, \dots]))

$w \sim \mathcal{N}(0,\text{diag}([\lambda_1^2,\ldots]))$

ϕ_{i}

$\phi_i$

k (x, x^{'}, θ)

$k(x,x',\theta)$

θ

$\theta$ відповідні власні значення та власні функції можуть відрізнятися для кожної конфігурації.

Наступне моє запитання - про обернену теорему про найманців.

Які набори базових функцій призводять до дійсних ядер?

І розширення

Які набори параметризованих базових функцій призводять до дійсних диференційованих ядер?

gaussian-process kernel-trick basis-function

— Джуліан Карлс
джерело

Ось кілька зауважень. Можливо, хтось ще може заповнити деталі.

1) Основні уявлення - це завжди хороша ідея. Важко уникнути їх, якщо ви хочете насправді зробити щось обчислювальне зі своєю функцією коваріації. Розширення бази може дати вам наближення до ядра та з чим працювати. Сподіваємось, що ви зможете знайти основу, яка має сенс для проблеми, яку ви намагаєтеся вирішити.

$\theta$ $\theta$

Зазвичай кількість базових функцій буде (незмінно) нескінченним, тому число не буде змінюватися залежно від параметра, якщо тільки деякі значення не призведуть до виродження ядра.

$w \sim \mathcal{N}(0,diag[\lambda_1^2, \ldots])$ $w$ $diag[\lambda_1^2, \ldots]$

3) Який набір базових функцій утворює дійсні ядра? Якщо ви думаєте про власну основу, то функції повинні бути ортогональними щодо певної міри. Є дві проблеми. 1) Отримане ядро повинно бути певним ... і це нормально, якщо позитивні. І 2) розширення має сходитися. Це залежатиме від , які потрібно досить швидко затухати, щоб забезпечити конвергенцію виразу. Конвергенція також буде залежати від області 's $\lambda_i$ $\lambda_i$ $x$

Якщо основні функції не є ортогональними, то буде складніше показати, що визначена від них коваріація є позитивно визначеною. Очевидно, що в цьому випадку ви маєте справу не з власним розширенням, а з іншим способом наближення функції, що цікавить.

Однак я не думаю, що люди зазвичай починають з купки функцій, а потім намагаються створити з них ядро коваріації.

RE: Диференціальність ядра та диференційованість базових функцій. Насправді я не знаю відповіді на це питання, але я б запропонував таке зауваження.

Функціональний аналіз відбувається шляхом апроксимації функцій (з нескінченного просторового простору) кінцевими сумами більш простих функцій. Щоб зробити цю роботу, все залежить від типу зближення. Як правило, якщо ви працюєте над компактним набором із сильними властивостями конвергенції (рівномірна конвергенція або абсолютна сукупність) на цікавлять вас функції, то ви отримуєте такий інтуїтивний результат, який шукаєте: властивості простих функцій переходять на гранична функція - наприклад, якщо ядро є диференційованою функцією параметра, то функції розширення повинні бути диференційованими функціями того ж параметра, і навпаки. За слабших властивостей конвергенції або некомплектних областей цього не відбувається. На моєму досвіді, є контр-приклад кожної "розумної" ідеї, яку можна придумати.

Примітка. Щоб запобігти можливим плутанинам читачів цього питання, зауважте, що розширення точки 1 Гаусса не є прикладом власного розширення точки 2.

— Плацидії
джерело