Я намагаюся зрозуміти інтуїцію, що стоїть за SVM ядра. Тепер я розумію, як працює лінійна SVM, завдяки якій приймається лінія рішення, яка розбиває дані якнайкраще. Я також розумію принцип переносу даних у простор більш високого розміру, і як це може полегшити пошук лінійної лінії рішення у цьому новому просторі. Я не розумію, як ядро ​​використовується для проектування точок даних у цей новий простір.

Що я знаю про ядро, це те, що воно ефективно представляє «схожість» між двома точками даних. Але як це стосується проекції?

Нехай $h(x)$ проекція високої розмірності простору $\mathcal{F}$ . В основному функція ядра $K(x_1,x_2)=\langle h(x_1),h(x_2)\rangle$ , який є внутрішнім продуктом. Таким чином, він не використовується для проектування точок даних, а скоріше результату прогнозу. Це можна вважати мірою схожості, але в SVM це більше ніж це.

Оптимізація пошуку найкращого розділюючого гіперплана в $\mathcal{F}$ передбачає $h(x)$ лише за допомогою внутрішньої форми продукту. Це означає, що якщо ви знаєте $K(\cdot,\cdot)$ , вам не потрібно знати точну форму $h(x)$ , що полегшує оптимізацію.

Кожне ядро $K(\cdot,\cdot)$ має відповідне $h(x)$ . Отже, якщо ви використовуєте SVM з цим ядром, ви неявно знаходите лінійну лінію рішення у просторі, в який $h(x)$ відображається.

Розділ 12 Елементи статистичного навчання дає короткий вступ до SVM. Це дає більш детальну інформацію про зв'язок між ядром та відображенням функцій: http://statweb.stanford.edu/~tibs/ElemStatLearn/

Корисні властивості ядра SVM не є універсальними - вони залежать від вибору ядра. Для інтуїції корисно подивитися одне з найбільш часто використовуваних ядер, ядро ​​Гаусса. Примітно, що це ядро ​​перетворює SVM в щось дуже схоже на k-найближчий класифікатор сусідів.

Ця відповідь пояснює наступне:

1. Чому ідеальне розділення позитивних та негативних даних тренувань завжди можливо з ядром Гаусса досить невеликої пропускної здатності (ціною перевиконання)
2. Як цей поділ може бути інтерпретований як лінійний у просторі функцій.
3. Як ядро ​​використовується для побудови відображення від простору даних до простору. Спойлер: простір функцій - це дуже математично абстрактний об'єкт з незвичайним абстрактним внутрішнім продуктом на основі ядра.

1. Досягнення ідеальної розлуки

Ідеальне розділення завжди можливо з ядром Гаусса через властивості локальності ядра, які призводять до довільно гнучкої межі рішення. При досить малій пропускній здатності ядра межа рішення буде виглядати так, що ви просто намалювали невеликі кола навколо точок, коли вони потрібні для розділення позитивних та негативних прикладів:

(Кредит: онлайн-курс машинного навчання Ендрю Нг ).

Отже, чому це відбувається з математичної точки зору?

Розглянемо стандартне налаштування: у вас є ядра Гаусса та дані тренувань ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , … , ( x ( n )$K(\mathbf{x},\mathbf{z}) = \exp(- ||\mathbf{x}-\mathbf{z}||^2 / \sigma^2)$ , де у ( я ) значення ± 1 . Ми хочемо вивчити функцію класифікатора$(\mathbf{x}^{(1)},y^{(1)}), (\mathbf{x}^{(2)},y^{(2)}), \ldots, (\mathbf{x}^{(n)},y^{(n)})$$y^{(i)}$$\pm 1$

$$\hat{y}(\mathbf{x}) = \sum_i w_i y^{(i)} K(\mathbf{x}^{(i)},\mathbf{x})$$

Тепер, як ми колись будемо призначати ваги ? Чи потрібні нам нескінченні розмірні простори та алгоритм квадратичного програмування? Ні, тому що я просто хочу показати, що я можу відмінно розділити бали. Таким чином, я роблю σ в мільярд разів менше, ніж найменший поділ | | x ( i ) - x ( j ) | | між будь-якими двома прикладами навчання, і я просто встановив w i = 1 . Це означає , що всі навчальні пункти є мільярд сигми один від одного, наскільки це ядро стосується, і кожна точка повністю контролює знак $w_i$$\sigma$$||\mathbf{x}^{(i)} - \mathbf{x}^{(j)}||$$w_i = 1$$\hat{y}$в його околицях. Формально у нас є

$$\hat{y}(\mathbf{x}^{(k)}) = \sum_{i=1}^n y^{(k)} K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = y^{(k)} K(\mathbf{x}^{(k)},\mathbf{x}^{(k)}) + \sum_{i \neq k} y^{(i)} K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = y^{(k)} + \epsilon$$

де - якесь довільно крихітне значення. Ми знаємо, що ϵ крихітна, тому що x ( k ) - це мільярд сигм від будь-якої іншої точки, тому для всіх i ≠ $\epsilon$$\epsilon$$\mathbf{x}^{(k)}$$i \neq k$ ми маємо

$$K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = \exp(- ||\mathbf{x}^{(i)} - \mathbf{x}^{(k)}||^2 / \sigma^2) \approx 0.$$

Так як настільки малий, у ( х ( до ) ) , безумовно , має один і той же знак, що і у ( K $\epsilon$$\hat{y}(\mathbf{x}^{(k)})$$y^{(k)}$ , і класифікатор забезпечує ідеальну точність в тренувальних даних. На практиці це було б дуже приємно, але це показує надзвичайну гнучкість ядра Гаусса SVM, і як воно може діяти дуже схоже на найближчий класифікатор сусідів.

2. Навчання ядра SVM як лінійне розділення

Той факт, що це можна інтерпретувати як "ідеальне лінійне розділення у нескінченному просторовому просторі ознак", випливає з хитрості ядра, яка дозволяє інтерпретувати ядро ​​як абстрактний внутрішній продукт якийсь новий простір функцій:

$$K(\mathbf{x}^{(i)},\mathbf{x}^{(j)}) = \langle\Phi(\mathbf{x}^{(i)}),\Phi(\mathbf{x}^{(j)})\rangle$$

де - відображення з простору даних у простір функцій. Звідси безпосередньо випливає , що у ( х ) функції у вигляді лінійної функції в просторі ознак:$\Phi(\mathbf{x})$$\hat{y}(\mathbf{x})$

$$\hat{y}(\mathbf{x}) = \sum_i w_i y^{(i)} \langle\Phi(\mathbf{x}^{(i)}),\Phi(\mathbf{x})\rangle = L(\Phi(\mathbf{x}))$$

де лінійна функція визначається на функціональних просторах векторів v як$L(\mathbf{v})$$\mathbf{v}$

$$L(\mathbf{v}) = \sum_i w_i y^{(i)} \langle\Phi(\mathbf{x}^{(i)}),\mathbf{v}\rangle$$

This function is linear in $\mathbf{v}$ because it's just a linear combination of inner products with fixed vectors. In the feature space, the decision boundary $\hat{y}(\mathbf{x}) = 0$ is just $L(\mathbf{v}) = 0$, the level set of a linear function. This is the very definition of a hyperplane in the feature space.

3. How the kernel is used to construct the feature space

Kernel methods never actually "find" or "compute" the feature space or the mapping $\Phi$ explicitly. Kernel learning methods such as SVM do not need them to work; they only need the kernel function $K$. It is possible to write down a formula for $\Phi$ but the feature space it maps to is quite abstract and is only really used for proving theoretical results about SVM. If you're still interested, here's how it works.

Basically we define an abstract vector space $V$ where each vector is a function from $\mathcal{X}$ to $\mathbb{R}$. A vector $f$ in $V$ is a function formed from a finite linear combination of kernel slices:

$$f(\mathbf{x}) = \sum_{i=1}^n \alpha_i K(\mathbf{x}^{(i)},\mathbf{x})$$ (Here the $\mathbf{x}^{(i)}$ are just an arbitrary set of points and need not be the same as the training set.) It is convenient to write $f$ more compactly as $$f = \sum_{i=1}^n \alpha_i K_{\mathbf{x}^{(i)}}$$ where $K_\mathbf{x}(\mathbf{y}) = K(\mathbf{x},\mathbf{y})$ is a function giving a "slice" of the kernel at $\mathbf{x}$.

The inner product on the space is not the ordinary dot product, but an abstract inner product based on the kernel:

$$\langle \sum_{i=1}^n \alpha_i K_{\mathbf{x}^{(i)}}, \sum_{j=1}^n \beta_j K_{\mathbf{x}^{(j)}} \rangle = \sum_{i,j} \alpha_i \beta_j K(\mathbf{x}^{(i)},\mathbf{x}^{(j)})$$

This definition is very deliberate: its construction ensures the identity we need for linear separation, $\langle \Phi(\mathbf{x}), \Phi(\mathbf{y}) \rangle = K(\mathbf{x},\mathbf{y})$.

With the feature space defined in this way, $\Phi$ is a mapping $\mathcal{X} \rightarrow V$, taking each point $\mathbf{x}$ to the "kernel slice" at that point:

$$\Phi(\mathbf{x}) = K_\mathbf{x}, \quad \text{where} \quad K_\mathbf{x}(\mathbf{y}) = K(\mathbf{x},\mathbf{y}).$$

You can prove that $V$ is an inner product space when $K$ is a positive definite kernel. See this paper for details.

For the background and the notations I refer to How to calculate decision boundary from support vectors?.

So the features in the 'original' space are the vectors $x_i$, the binary outcome $y_i \in \{-1, +1\}$ and the Lagrange multipliers are $\alpha_i$.

As said by @Lii (+1) the Kernel can be written as $K(x,y)=h(x) \cdot h(y)$ ('$\cdot$' represents the inner product.

I will try to give some 'intuitive' explanation of what this $h$ looks like, so this answer is no formal proof, it just wants to give some feeling of how I think that this works. Do not hesitate to correct me if I am wrong.

I have to 'transform' my feature space (so my $x_i$) into some 'new' feature space in which the linear separation will be solved.

For each observation $x_i$, I define functions $\phi_i(x)=K(x_i,x)$, so I have a function $\phi_i$ for each element of my training sample. These functions $\phi_i$ span a vector space. The vector space spanned by the $\phi_i$, note it $V=span(\phi_{i, i=1,2,\dots N})$.

I will try to argue that is the vector space in which linear separation will be possible. By definition of the span, each vector in the vector space $V$ can be written as as a linear combination of the $\phi_i$, i.e.: $\sum_{i=1}^N \gamma_i \phi_i$, where $\gamma_i$ are real numbers.

$N$ is the size of the training sample and therefore the dimension of the vector space $V$ can go up to $N$, depending on whether the $\phi_i$ are linear independent. As $\phi_i(x)=K(x_i,x)$ (see supra, we defined $\phi$ in this way), this means that the dimension of $V$ depends on the kernel used and can go up to the size of the training sample.

The transformation, that maps my original feature space to $V$ is defined as

$\Phi: x_i \to \phi(x)=K(x_i, x)$.

This map $\Phi$ maps my original feature space onto a vector space that can have a dimension that goed up to the size of my training sample.

Obviously, this transformation (a) depends on the kernel, (b) depends on the values $x_i$ in the training sample and (c) can, depending on my kernel, have a dimension that goes up to the size of my training sample and (d) the vectors of $V$ look like $\sum_{i=1}^N \gamma_i \phi_i$, where $\gamma_i$, $\gamma_i$ are real numbers.

Looking at the function $f(x)$ in How to calculate decision boundary from support vectors? it can be seen that $f(x)=\sum_i y_i \alpha_i \phi_i(x)+b$.

In other words, $f(x)$ is a linear combination of the $\phi_i$ and this is a linear separator in the V-space : it is a particular choice of the $\gamma_i$ namely $\gamma_i=\alpha_i y_i$ !

The $y_i$ are known from our observations, the $\alpha_i$ are the Lagrange multipliers that the SVM has found. In other words SVM find, through the use of a kernel and by solving a quadratic programming problem, a linear separation in the $V$-spave.

This is my intuitive understanding of how the 'kernel trick' allows one to 'implicitly' transform the original feature space into a new feature space $V$, with a different dimension. This dimension depends on the kernel you use and for the RBF kernel this dimension can go up to the size of the training sample.

So kernels are a technique that allows SVM to transform your feature space , see also What makes the Gaussian kernel so magical for PCA, and also in general?

Перетворіть прогнози (вхідні дані) у просторовий простір з великими розмірами. Досить просто вказати ядро ​​для цього кроку, і дані ніколи не перетворюються явно в простір функцій. Цей процес широко відомий як хитрість ядра.

Дозвольте пояснити. Ключ у цьому ядрі є ключовим. Розглянемо випадок ядра радіальної базисної функції (RBF) тут. Це перетворює вхід у нескінченний розмірний простір. Перетворення вхідних даних$x$ до $\phi(x)$можна представити, як показано нижче (взято з http://www.csie.ntu.edu.tw/~cjlin/talks/kuleuven_svm.pdf )

Вхідний простір є кінцевим розміром, але перетворений простір є нескінченним. Перетворення вводу в нескінченний розмірний простір - це те, що відбувається в результаті хитрості ядра. Ось$x$ which is the input and $\phi$ is the transformed input. But $\phi$ is not computed as it is, instead the product $\phi(x_i)^T\phi(x)$ is computed which is just the exponential of the norm between $x_i$ and $x$.

There is a related question Feature map for the Gaussian kernel to which there is a nice answer /stats//a/69767/86202.

The output or decision function is a function of the kernel matrix $K(x_i,x)=\phi(x_i)^T\phi(x)$ and not of the input $x$ or transformed input $\phi$ directly.

Зображення до вищого виміру - це лише хитрість вирішення проблеми, визначеної у вихідному вимірі; тому проблеми, такі як перевиконання ваших даних, заглиблюючись у розмір із занадто великим ступенем свободи, не є побічним продуктом процесу картографування, а притаманні вашому визначенню проблеми.

В основному, все, що робить відображення, - це перетворення умовної класифікації в початковому вимірі до визначення площини у вищому вимірі, і тому що між площиною у вищому вимірі і вашими умовами в нижньому вимірі існує співвідношення від 1 до 1, ви завжди зможете рухатися між двома.

Однозначно вирішуючи проблему придатності, ви можете переосмислити будь-який набір спостережень, визначивши достатньо умов, щоб виділити кожне спостереження у свій клас, що еквівалентно зіставлення ваших даних до (n-1) D, де n - кількість ваших спостережень .

Виймаючи найпростішу проблему, де ваші спостереження є [[1, -1], [0,0], [1,1]] [[особливість, значення]], перемістившись у двовимірний вимір і розділивши ваші дані рядком , ви просто перетворюєте умовну класифікацію feature < 1 && feature > -1 : 0на визначення лінії, що проходить (-1 + epsilon, 1 - epsilon). Якщо у вас було більше точок даних і потрібно більше умов, вам просто потрібно було додати ще один ступінь свободи до свого вищого виміру кожним новим умовою, яке визначаєте.

You can replace the process of mapping to a higher dimension with any process that provides you with a 1 to 1 relationship between the conditions and the degrees of freedom of your new problem. Kernel tricks simply do that.