Гауссові процеси приносять користь

У мене ця плутанина пов'язана з перевагами Гауссових процесів. Я маю на увазі порівняння його з простою лінійною регресією, де ми визначили, що лінійна функція моделює дані.

Однак у Гауссових процесах ми визначаємо розподіл функцій, тобто ми не визначаємо конкретно, що функція повинна бути лінійною. Ми можемо визначити пріоритет над функцією, яка є попередньою Гауссом, яка визначає такі функції, як наскільки гладка функція повинна бути і всі.

Тому нам не потрібно чітко визначати, якою має бути модель. Однак у мене є питання. У нас є гранична ймовірність, використовуючи її, ми можемо налаштувати параметри функції коваріації гауссового пріора. Тож це схоже на визначення типу функції, якою вона повинна бути, чи не так.

Це зводиться до того ж самого, що визначає параметри, навіть якщо в GP вони є гіперпараметрами. Наприклад, у цій роботі . Вони визначили, що середня функція терапевта - це щось подібне

$$m(x) = ax ^2 + bx + c \quad \text{i.e. a second order polynomial.}$$

Тож точно визначена модель / функція, чи не так. Отже, яка різниця у визначенні функції, яка буде лінійною, як у LR.

Я просто не отримав те, що користь від використання GP

Згадаймо кілька формул про регресію процесу Гаусса. Припустимо , що ми маємо зразок . Для цього зразка логічність має вигляд: де - матриця зразкової коваріації. Там - функція коваріації з параметрами, які ми налаштовуємо, використовуючи максимізацію правдоподібності журналу. Прогноз (заднє середнє значення) для нової точки має вигляд: там L = - $D = (X,\mathbf{y}) = \{(\mathbf{x}_i, y_i)\}_{i = 1}^N$

$$L = -\frac12 \left( \log |K| + \mathbf{y}^T K^{-1} \mathbf{y}\right),$$ $K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$$k(\mathbf{x}_i, \mathbf{x}_j)$$\mathbf{x}$ $$\hat{y}(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y},$$ $\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_i)\}_{i = 1}^N$ - вектор коваріацій між новою точкою та точкою вибірки.

Тепер зауважимо, що регресія процесів Гаусса може моделювати точні лінійні моделі. Припустимо, що функція коваріації має вигляд . У цьому випадку прогноз має вигляд: Ідентичність правдива у випадку, коли є несинулярним, що не так, але це не проблема, якщо ми використовуємо регуляризацію коваріаційної матриці. Отже, найправіша сторона - це точна формула лінійної регресії, і ми можемо робити лінійну регресію з Гауссовими процесами, використовуючи належну функцію коваріації.$k(\mathbf{x}_i, \mathbf{x}_j) = \mathbf{x}_i^T \mathbf{x}_j$

$$\hat{y}(\mathbf{x}) = \mathbf{x}^T X^T (X X^T)^{-1} \mathbf{y} = \mathbf{x}^T (X^T X)^{-1} X^T \mathbf{y}.$$ $(X X^T)^{-1}$

Тепер розглянемо регресію процесів Гаусса з іншою коваріаційною функцією (наприклад, квадратна експоненціальна коваріаційна функція форми , є - матриця гіперпараметрів, яку ми налаштовуємо). Очевидно, що в цьому випадку заднє середнє значення не є лінійною функцією (див. Зображення).$\exp \left( -(\mathbf{x}_i - \mathbf{x}_j)^T A^{-1} (\mathbf{x}_i - \mathbf{x}_j) \right)$$A$

.

Отже, перевага полягає в тому, що ми можемо моделювати нелінійні функції, використовуючи належну функцію коваріації (ми можемо вибрати найсучаснішу, у більшості випадків квадратна експоненціальна функція коваріації є досить хорошим вибором). Джерелом нелінійності є не трендовий компонент, про який ви згадали, а функція коваріації.

Для мене найбільшою перевагою Гауссових процесів є властива здатність моделювати невизначеність моделі. Це неймовірно корисно, тому що, враховуючи очікуване значення функції та відповідну дисперсію, я можу визначити метрику (тобто функцію придбання ), яка може підказати мені, наприклад, у чому сенс що, я повинен оцінити свою основну функцію at, що буде приводять до найвищого (за очікуванням) значення . Це є основою Байєсової оптимізації .$x$$f$$f(x)$

Ви, мабуть, знаєте компроміс щодо розвідки та експлуатації . Ми хочемо знайти деякої функції (яку часто дорого оцінювати), і тому нам потрібно бути обережними щодо того, яку вибрати для оцінки . Ми, мабуть, захочемо подивитися на місцях поблизу точок, де ми знаємо, що функція має високе значення (експлуатація) або в місцях, де ми не маємо уявлення про значення функції (розвідка). Гауссові процеси дають нам необхідну інформацію для прийняття рішення щодо наступного оцінювання: середнє значення та матриця коваріації (невизначеність), що дозволяє, наприклад, оптимізувати дорогі функції чорного поля.$max$$f$$x$$f$μ Σ$\mu$$\Sigma$