Коваріаційні функції або ядра - що це саме?

Я досить новачок у галузі гауссових процесів і як вони застосовуються в машинному навчанні. Я продовжую читати та чути про те, що функції коваріації є головною привабливістю цих методів. То чи міг би хто-небудь пояснити інтуїтивно, що відбувається в цих коваріаційних функціях?

В іншому випадку, якщо ви можете вказати на конкретний підручник або документ, що їх пояснює.

$k(x, x^\prime)$$x, x^\prime$$x$$x^\prime$$k(\cdot, \cdot)$

Типові ядра можуть просто залежати від евклідової відстані (або її лінійних перетворень) між точками, але веселощі починаються, коли ти розумієш, що ти можеш зробити багато, багато іншого.

Як стверджує Девід Дювен:

Ядра можуть бути визначені для всіх типів структур даних: тексту, зображень, матриць і навіть ядер. Створення ядра нового типу даних, яке було простим способом отримати папір NIPS.

Для легкого огляду ядер для лікарів загального користування, я рекомендую його кулінарну книжку Kernel та посилання на них.

(*) Як зазначає @Dikran Marsupial, будьте уважні, що зворотне значення не відповідає дійсності; не всі показники подібності є дійсними ядрами (див. його відповідь).

$K(x, x') = \phi(x)\cdot\phi(x')$$\phi(\cdot)$ це функція, яка відображає вхідні вектори в простір функцій.

То чому ядро ​​має бути інтерпретоване як внутрішній продукт у певному просторі функцій? Причина полягає в тому, що набагато простіше розробити теоретичні межі ефективності узагальнення для лінійних моделей (таких як логістична регресія), ніж для нелінійних моделей (наприклад, нейронної мережі). Більшість лінійних моделей можна записати так, що вхідні вектори відображаються лише у вигляді внутрішніх виробів. Це означає, що ми можемо побудувати нелінійну модель, побудувавши лінійну модель у просторі функцій ядра. Це фіксоване перетворення даних, тому всі теоретичні межі продуктивності для лінійної моделі автоматично застосовуються до нової нелінійної моделі ядра *.

Важливим моментом, який спершу важко зрозуміти, є те, що ми, як правило, не думаємо про особливість простору, яка була б корисною для нашого конкретного застосування, а потім розробляємо ядро, що створює простір цієї функції. Загалом ми придумали хороший показник подібності, а потім подивимось, чи це ядро ​​(тест є прямим, якщо будь-яка матриця попарних оцінок функції ядра в точках загального положення є позитивно визначеною, то це дійсне ядро) .

$^*$