Проблема іграшкової регресії з процесом Гаусса

Я намагався отримати деяку інтуїцію щодо регресії Гауссового процесу, тому я спробував випробувати просту проблему з 1D іграшкою. Я взяв як вхідні дані, а як відповіді. ("Натхненний" від ) $x_i=\{1,2,3\}$ $y_i=\{1,4,9\}$ $y=x^2$

Для регресії я використовував стандартну експоненціальну функцію ядра в квадраті:

к (х_{p}, х_{q}) = σ_{f}^{2} досвід (- \frac{1}{2 л^{2}} {| х_{p} - х_{q} |}^{2})

$k(x_p,x_q)=\sigma_f^2 \exp \left( - \frac{1}{2l^2} \left|x_p-x_q\right|^2 \right)$

Я припускав, що був шум зі стандартним відхиленням , так що матриця коваріації стала: $\sigma_n$

К_{p q} = к (х_{p}, х_{q}) + σ_{н}^{2} δ_{p q}

$K_{pq} = k(x_p,x_q) + \sigma_n^2 \delta_{pq}$

Гіперпараметри були оцінені шляхом максимізації журналу ймовірності даних. Щоб зробити прогноз у точці , я знайшов середнє значення та дисперсію відповідно наступним чином $(\sigma_n,l,\sigma_f)$ $x_\star$

{мк}_{х_{⋆}} = к_{⋆}^{Т} (К + σ_{н}^{2} Я)^{- 1} у

$\mu_{x_\star} = k_\star^T (\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} y$

σ_{х_{⋆}}^{2} = к (х_{⋆}, х_{⋆}) - к_{⋆}^{Т} (К + σ_{н}^{2} Я)^{- 1} к_{⋆}

$\sigma_{x_\star}^2 = k(x_\star,x_\star)-k_\star^T(\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} k_\star$

де - вектор коваріації між та входами, а - вектор виходів. $k_\star$ $x_\star$ $y$

Мої результати за $1<x<3$ наведені нижче. Синя лінія - це середня, а червона лінія позначає стандартні інтервали відхилень.

Результати

Я не впевнений, чи правильно це; мої дані (позначені символами X) не лежать на синій лінії. Більшість прикладів, які я бачу, мають середнє пересічення входів. Це загальна особливість, яку слід очікувати?

regression gaussian-process

— Comp_Warrior
джерело

Якби я мав здогадуватися, у прикладах, які ви шукали, не було залишкової помилки. У такому випадку лінія проходила б через усі точки.

— хлопець

@Guy точно так.

Відповіді:

Середня функція, що проходить через точки даних, як правило, є вказівкою на перевитрату. Оптимізація гіпер-параметрів шляхом максимальної граничної ймовірності, як правило, надаватиме перевагу дуже простим моделям, якщо не буде достатньо даних для виправдання чогось більш складного. Оскільки у вас є лише три точкових даних, які більш-менш відповідають лінії з невеликим рівнем шуму, модель, яку я знайшов, здається мені досить розумною. По суті, дані можуть бути пояснені як лінійна основна функція з помірним шумом, або помірно нелінійна основна функція з невеликим рівнем шуму. Перша - простіша з двох гіпотез, і її віддають перевагу "бритві Оккама".

— Дікран Марсупіал
джерело

Дякуємо за вклад. Чи можете ви мені більше розповісти про «надмірну підгонку»; це позитивна / негативна особливість?

— Comp_Warrior

перевиконання - це негативна річ, це в основному означає, що модель запам'ятовує випадкові зміни в даних, що, як правило, погіршує ефективність узагальнення. В ідеалі ви хочете, щоб модель засвоїла основні форми даних, ігноруючи шум, що їх забруднює. Більшість хороших підручників з машинного навчання висвітлюють це у першій главі.

— Дікран Марсупіал

просто з інтересу, навіщо голоси?

— Дікран Марсупіал

Я не порушив тебе; насправді я підтримав!

— Comp_Warrior

немає проблем Comp_Warrior, я не думав, що це ти, але хтось спростував мою відповідь, і я був би радий отримати відгуки про те, чому. Ми всі помиляємось, і якщо я отримав щось не так у своїй відповіді, я прагну це виправити.

— Дікран Марсупіал

Ви використовуєте оцінювачі Кріґінга з додаванням терміну шуму (відомий як ефект самородка в літературі про процес Гаусса). Якщо термін шуму було встановлено на нуль, тобто

σ_{н}^{2} δ_{p q} = 0

$\sigma^2_n \delta_{pq}=0$

то ваші прогнози діятимуть як інтерполяція та проходять через вибіркові точки даних.

Мені це здається нормальним, у книзі GP від Расмуссена вона безумовно показує приклади, коли середня функція не проходить через кожну точку даних. Зауважимо, що лінія регресії - це оцінка основної функції, і ми припускаємо, що спостереження є основними значеннями функції плюс деякий шум. Якщо лінія регресії базується на всіх трьох точках, це по суті буде говорити про відсутність шуму в спостережуваних значеннях.

Ви можете змусити припускати без шуму, встановивши $\sigma_n = 0$ , і просто оптимізація інших гіпер-параметрів.

Я також підозрюю, що гіперпартметр $l$ встановлюється на відносно велике значення, даючи дуже дрібну функцію.

Ви можете спробувати затримати $l$ зафіксовано на різних менших значеннях, і подивіться, як це змінює криву. Можливо, якщо ви змусили $l$ щоб бути трохи меншою, лінія регресії проходила б через усі точки даних.

Як зауважив Дікран Марсупіал, це вбудована особливість Гауссових процесів, гранична ймовірність карає занадто специфічні моделі та надає перевагу тим, які можуть пояснити безліч наборів даних.

— Макс С.
джерело