Як SVM = шаблон відповідає?

Я прочитав про SVM та дізнався, що вони вирішують оптимізаційну задачу та ідея максимальної маржі була дуже розумною.

Тепер, використовуючи ядра, вони можуть знайти навіть нелінійні межі поділу, що було чудово.

Поки я справді не маю уявлення, як SVM (спеціальна машина ядра) та машини ядра пов'язані з нейронними мережами?

Розгляньте коментарі Yann Lecun => тут :

kernel methods were a form of glorified template matching

і тут також :

Наприклад, деякі люди були засліплені методами ядра через милу математику, яка йде з цим. Але, як я вже говорив раніше, врешті-решт, машини ядра - це неглибокі мережі, які виконують "прославлене узгодження шаблонів". У цьому немає нічого поганого (SVM - чудовий метод), але він має серйозні обмеження, про які ми повинні всі знати.

Отже, мої запитання:

1. Як SVM пов'язаний з нейронною мережею? Як це неглибока мережа?
2. SVM вирішує задачу оптимізації з чітко визначеною цільовою функцією, як це відбувається узгодження шаблону? Який тут шаблон, до якого введено вхід?

Я думаю, що ці коментарі потребують глибокого розуміння просторів з високими розмірами, нейронних мереж та ядерних машин, але поки що я намагався і не міг зрозуміти логіку. Але, безумовно, цікаво відзначити зв’язки між двома дуже різними методиками мл.

EDIT: Я думаю, що розуміння SVM з нейронної точки зору було б чудово. Я шукаю ґрунтовну відповідь на математику на вищевказані два питання, щоб реально зрозуміти зв’язок між SVM та Neural Nets, як у випадку лінійних SVM, так і SVM з хитрою ядра.

1. Як SVM пов'язаний з нейронною мережею? Як це неглибока мережа?

SVM - це одношарова нейронна мережа з втратою шарніру як функцією втрати та виключно лінійною активацією. Концепція була нагадана в попередніх потоках , таких як ця: Одношаровий NeuralNetwork з активацією RelU, рівний SVM?

2. SVM вирішує задачу оптимізації з чітко визначеною цільовою функцією, як це відбувається узгодження шаблону? Який тут шаблон, до якого введено вхід?

Матриця Грама (якщо ви хочете, матриця ядра) є мірою подібності. Оскільки SVM дозволяє рідкісні рішення, передбачення стає предметом порівняння вашого зразка з шаблонами, тобто підтримуючими векторами.