Яке обґрунтування функції коваріації Матерна?

Коваріаційна функція Матерна зазвичай використовується як функція ядра в Гауссовому процесі. Визначається так

$${\displaystyle C_{\nu }(d)=\sigma ^{2}{\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}^{\nu }K_{\nu }{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}}$$

де - функція відстані (наприклад, евклідова відстань), - це гамма-функція, - модифікована функція Бесселя другого роду, і - позитивні параметри. - це багато часу, яке на практиці вибрано або .$d$$\Gamma$$K_\nu$$\rho$$\nu$$\nu$$\frac{3}{2}$$\frac{5}{2}$

Багато часу це ядро ​​працює краще, ніж стандартне ядро ​​Гаусса, оскільки воно є «менш гладким», але крім цього, чи є якась інша причина, чому хтось віддасть перевагу цьому ядру? Деяка геометрична інтуїція щодо того, як вона поводиться, або якесь пояснення, здавалося б, загадкової формули було б високо оцінено.

Окрім приємної відповіді @DahnJahn, я подумав, що спробую сказати трохи більше про те, звідки беруться функції Бесселя та гамма. Один вихідний пункт для досягнення функції коваріації - теорема Бохнера.

Теорема (Бохнер) Безперервна стаціонарна функція є позитивно визначеною тоді і лише тоді, коли - перетворення Фур'є з кінцевою позитивною мірою: \ widetilde {k} (t) = \ int _ {\ mathbb {R}} e ^ {- iωt} dµ (ω)$k(x, y) = \widetilde{k}(|x − y|)$$\widetilde{k}$

$$\widetilde{k}(t) = \int_{\mathbb{R}} e^{−iωt}dµ(ω)$$

З цього можна зробити висновок, що коваріаційна матриця Матерна виведена як перетворення Фур'є (Джерело) . Це все добре, але насправді це не говорить про те, як ви дійшли до цієї кінцевої позитивної міри, заданої . Ну, це (силова) спектральна щільність стохастичного процесу .$\frac{1}{(1+\omega^2)^p}$ f(x$\frac{1}{(1+\omega^2)^p}$$f(x)$

Який стохастичний процес? Відомо, що випадковий процес на з функцією коваріації Матерна є рішенням стохастичного часткового диференціального рівняння (SPDE) де - гауссовий білий шум з дисперсією одиниці, - оператор Лапласа, і (я думаю, це в Крессі та Вікле ).$\mathbb{R}^d$

$$(κ^2 − ∆)^{α/2} X(s) = φW(s),$$ $W(s)$ $$\Delta = \sum_{i=1}^d \frac{\partial^2}{\partial x^2_i}$$ $α =ν + d/2$

Навіщо вибирати саме цей SPDE / стохастичний процес? Походження полягає в просторовій статистиці, де стверджується, що це найпростіша і природна коваріація, яка добре працює в :$\mathbb{R}^2$

Експоненціальна кореляційна функція - це природна кореляція в одному вимірі, оскільки відповідає марковському процесу. У двох вимірах це вже не так, хоча експоненція є загальною кореляційною функцією в геостатистичних роботах. Віттл (1954) визначив кореляцію, що відповідає стохастичному диференціальному рівнянню типу Лапласа:

$$\left[ \left(\frac{\partial}{\partial t_1}\right)^2 + \left(\frac{\partial}{\partial t_2}\right)^2 - \kappa^2 \right] X(t_1, t_2) = \epsilon(t_1 , t_2)$$ де - білий шум. Відповідний дискретний гратчастий процес є авторегресією другого порядку. (Джерело)$\epsilon$

Сімейство процесів, включених в SDE, пов'язане з рівнянням Матерна, включає модель Орнштейна-Уленбека зі швидкістю частинки, що зазнає броунівського руху. Більш загально, ви можете визначити спектр потужності для сімейства процесів для кожного цілого який також має коваріацію сімейства Матерна. Про це йдеться в додатку Расмуссена та Вільямса.$AR(1)$$AR(p)$$p$

Ця функція коваріації не пов'язана з процесом кластера Матерна.

Список літератури

Крессі, Ноель та Крістофер К. Вікле. Статистика просторово-часових даних. John Wiley & Sons, 2015 рік.

Гутторп, Пітер та Тільман Гнейтінг. "Дослідження історії вірогідності та статистики XLIX Про родину кореляції Матерна". Біометріка 93.4 (2006): 989-995.

Расмуссен, CE та Williams, CKI Гауссові процеси машинного навчання. The MIT Press, 2006.

Я не знаю, але мені це питання було дуже цікавим, і ось що я отримав, прочитавши його.

Для певних значень функція коваріації Матерна може бути виражена як добуток експоненції та многочлена. Напр. Для : Тож не надто дивно, що як , насправді сходиться до гауссової RBF : для , функція коваріації Матерна дає абсолютне експоненціальне ядро N , = 5 / 2 З 5 / 2 ( д ) = σ 2 ( 1 + $\nu$$\nu = 5/2$

$$C_{5/2}(d) = \sigma^2\left(1 + \frac{\sqrt 5 d}{\rho} + \frac{5d^2}{3\rho^2} \right) \exp \left(- \frac{\sqrt 5 d}{\rho}\right)$$ $\nu \to \infty$$C_\nu$ $$\lim_{\nu \to \infty} C_\nu(d) = \sigma^2 \exp \left( -\frac{d^2}{2\rho^2}\right)$$ $\nu = 1/2$ $$C_{1/2}(d) = \sigma^2 \exp\left( -\frac{d}{\rho} \right)$$

Крім того, процес Гаусса з функцією коваріації Матерна з параметром є диференційований .$\nu$$\lceil \nu \rceil -1$

Це досить добре продемонстровано на знімку, зробленому з Расмуссена та Вільямса (2006)

В інтерполяції просторових даних Штейн (який фактично запропонував назву функції коваріації Матерна) стверджує (стор. 30), що нескінченна диференційованість функції коваріації Гаусса дає нереалістичні результати для фізичних процесів, оскільки спостерігаючи лише невелику безперервну частку простір / час, теоретично, повинен давати всю функцію. Таким чином, він запропонував версію Матерна як узагальнення, яке здатне реалістичніше відповідати фізичним процесам.

Підсумок

Коваріаційну функцію Матерна можна розглядати як узагальнення функції радіальної основи Гаусса . Він містить навіть абсолютне експоненціальне ядро, яке дає докорінно різні результати, і краще здатне фіксувати фізичні процеси завдяки своїй кінцевій диференційованості (для скінченних ).$\nu$

Щодо загадковості появи функції Бесселя, я хотів би бачити подальшу інтуїцію за цим, але я б здогадався, що саме її (асимптотична) поведінка в зробила її корисною в цьому контексті і призвела Штейна до визначити функцію коваріації Матерна. Це, звичайно, не виключає можливості гарного аргументу, чому все це правда.$\nu$