Як зрозуміти ефект RBF SVM

Як я можу зрозуміти, що робить ядро ​​RBF у SVM? Я маю на увазі, що я розумію математику, але чи є спосіб зрозуміти, коли це ядро ​​стане корисним?

Чи будуть результати від kNN пов'язані зі SVM / RBF, оскільки RBF містить векторні відстані?

Чи є спосіб отримати відчуття ядра полінома? Я знаю, чим вище розмірність, тим хитріше. Але я хотів би зрозуміти, що ядра роблять, а не спробувати всі можливі ядра та вибрати найбільш вдалі.

Можна, можливо, почати з одного з моїх відповідей тут:
Нелінійна класифікація SVM з ядром RBF

У цій відповіді я намагаюся пояснити, що намагається зробити функція ядра. Як тільки ви зрозумієте, що він намагається зробити, під час подальшої діяльності ви можете прочитати мою відповідь на питання про Quora: https://www.quora.com/Machine-Learning/Why-does-the-RBF- радіальна основа-функція-ядро-карта-в-нескінченно-мірний простір / відповідь / Арун-Ієр-1

Відтворення вмісту відповіді на Quora, якщо у вас немає облікового запису Quora.

Запитання: Чому ядро ​​RBF (радіальна основа) відображає ядро ​​у нескінченний розмірний простір? Відповідь: Розглянемо поліноміальне ядро ​​ступеня 2, визначене, де x , y ∈ R 2 і x = ( x 1 , x 2 ) , y = ( y 1 , y 2 ) .

$$k(x, y) = (x^Ty)^2$$ $x, y \in \mathbb{R}^2$$x = (x_1, x_2), y = (y_1, y_2)$

Тим самим функцію ядра можна записати як, Тепер спробуємо придумати карту особливостей Φ , щоб функція ядра могла бути записана як k ( x

$$k(x, y) = (x_1y_1 + x_2y_2)^2 = x_{1}^2y_{1}^2 + 2x_1x_2y_1y_2 + x_{2}^2y_{2}^2$$ $\Phi$ .$k(x, y) = \Phi(x)^T\Phi(y)$

Розглянемо наступну карту функцій В основному, ця функція карта - це зіставлення точок в R 2до точок в R 3. Також зауважте, щоΦ(x)TΦ(y)=x 2 1 y 2 1 +2x1x2y1y2+x 2 2 y 2 2, що по суті є нашою функцією ядра.

$$\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$$ $\mathbb{R}^2$$\mathbb{R}^3$ $$\Phi(x)^T\Phi(y) = x_1^2y_1^2 + 2x_1x_2y_1y_2 + x_2^2y_2^2$$

$\mathbb{R}^3$$\mathbb{R}^2$$\mathbb{R}^3$

$\mathbb{R}^n$

Тепер, приїжджаючи до RBF.

$\mathbb{R}^2$

$$k(x, y) = \exp(-\|x - y\|^2) = \exp(- (x_1 - y_1)^2 - (x_2 - y_2)^2)$$ $$= \exp(- x_1^2 + 2x_1y_1 - y_1^2 - x_2^2 + 2x_2y_2 - y_2^2)$$ $$= \exp(-\|x\|^2) \exp(-\|y\|^2) \exp(2x^Ty)$$ $$k(x, y) = \exp(-\|x\|^2) \exp(-\|y\|^2) \sum_{n = 0}^{\infty} \frac{(2x^Ty)^n}{n!}$$ Now, if we were to come up with a feature map $\Phi$ just like we did for the polynomial kernel, you would realize that the feature map would map every point in our $\mathbb{R}^2$ to an infinite vector. Thus, RBF implicitly maps every point to an infinite dimensional space.

Exercise Question : Get the first few vector elements of the feature map for RBF for the above case?

Now, from the above answer, we can conclude something:

• It may be quite hard to predict in general what the mapping function $\Phi$ looks like for arbitrary kernel. Though, for some cases like polynomial and RBF we can see what it looks like.
• Even when we know the mapping function, the exact effect that kernel will have on our set of points may be hard to predict. However, in certain cases we can say some things. For example, look at the $\Phi$ map given above for degree 2 polynomial kernel for $\mathbb{R}^2$. It looks like $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$. From this we can determine that this map collapses diametrically opposite quadrants i.e first and third quadrant are mapped to same set of points and second and fourth quadrant are mapped to the same set of points. Therefore, this kernel allows us to solve XOR problem! In general, however, it might be harder to predict such behaviour for multidimensional spaces. And it gets harder in the case of RBF kernels.