Відмінність ядер у SVM?

27

Може хтось, будь ласка, скажіть мені різницю між ядрами в SVM:

Лінійний
Поліном
Гаусс (RBF)
Сигмоїдний

Тому що, як ми знаємо, ядро використовується для відображення нашого вхідного простору у простір з великими розмірами. І в цьому просторі властивостей ми знаходимо межу, що розділяється лінійно.

Коли вони використовуються (за яких умов) і чому?

— користувач3378327
джерело

4

Лінійне ядро - це те, що ви очікували, лінійна модель. Я вважаю, що ядро полінома схоже, але межа визначена, але довільного порядку

(наприклад, порядок 3: $a= b_1 + b_2 \cdot X + b_3 \cdot X^2 + b_4 \cdot X^3$ ).

RBF використовує нормальні криві навколо точок даних і підсумовує їх, щоб межа рішення могла бути визначена типом умови топології, наприклад кривих, де сума вище значення 0,5. (див. цю картинку )

Я не впевнений, що таке сигмоїдне ядро, якщо тільки воно не схоже на модель логістичної регресії, де використовується логістична функція для визначення кривих відповідно до того, де логістичне значення перевищує деяке значення (ймовірність моделювання), наприклад 0,5 як звичайне справа.

— Джон Йеттер
джерело

Отже, ми можемо отримати лінійно роздільну гіперплану (границю), якщо використовувати лінійне ядро ?? і якщо ми використовуємо ядро полінома або RBF, то для (для поліномів) гіперлана може бути колом згрупованих класів (для RBF) і кривою ?? це так?? scikit-learn.org/stable/modules/svm.html

— користувач3378327

Кожен з ядер працює для версій з високими розмірами відповідних меж. Це відповідає на ваше запитання? Ви не обмежені трьома вимірами для жодного ядра, про яке я знаю.

— Джон Ітер

Я просто хочу це зрозуміти. Отже межа за допомогою лінійного ядра є лінійною? Для RBF це як коло згрупованого класу ?? а для многочлена вона може бути кривою на основі ступеня многочлена ??

— користувач3378327

Я б не сказав, що RBF - це коло згрупованих класів. Я розумію, що вона застосовує функцію, засновану на нормальному розподілі в кожній точці даних, і підсумовує ці функції. Тоді межа утворюється кривою, що представляє певну величину для цієї функції. Якщо хтось, хто взяв участь у бібліотеці SVM, міг би продзвонити, це може допомогти. Я думаю, що ваше розуміння двох інших ядер правильне.

— Джон Йеттер

U сказав, що Linier Kernel - це те, чого я очікував (щоб отримати linierly separative class), використовуючи Kernel. і використовуючи класифікатор SVM, ми назвали його LINIER SVM. Але як, якщо ми можемо отримати дані, що розділяються між собою, без ядра в SVM. Як ми це називаємо ?? Ще Linier SVM або Non Linier SVM ??

— користувач3378327

11

Спираючись на основні знання читача про ядра.

$K(X, Y) = X^T Y$

$K(X, Y) = (γ\cdot X^T Y + r)^d , γ > 0$

$K(X, Y) = \exp(\|X-Y\|^2/2σ^2)$ $\exp(-γ \cdot \|X - Y\|^2), γ > 0$

$K(X, Y) = \tanh(γ\cdot X^TY + r)$

$r$ $d$ $γ$

— Ашок Чудхарі
джерело

3

Незважаючи на те, що інформація у вашій відповіді є правильною, я не думаю, що вона відповідає на поставлене тут питання, що більше стосується практичної різниці між ними, тобто коли використовувати те чи інше.

— Firebug

1

Дивовижно, що до цих простих визначень важко підійти. Вони повинні бути першими, що представлені, коли йдеться про відмінності ядер, але все ж існує широка невдача їх констатації.

— cammil

Чи є офіційне джерело для них? (Я перевірив їх, і вони здаються правильними, але я хотів би мати можливість їх цитувати.)

— Крістіан Ерікссон

6

На це питання можна відповісти з теоретичної та практичної точки зору. З теоретичних згідно з теоремою «Без вільного обіду» зазначається, що жодних гарантій для роботи ядра немає кращого, ніж іншого. Це апріорі, якого ви ніколи не знаєте, і не зможете дізнатися, яке ядро буде працювати краще.

З практичної точки зору зверніться до наступної сторінки:

Як вибрати ядро для SVM?

— Гнаттуха
джерело

1

Розмірковуючи над тим, для чого ядро "добре" або коли його слід використовувати, немає жорстких і швидких правил.

Якщо ви класифікатор / регресор добре працює з даним ядром, то, якщо ні, слід розглянути можливість зміни на інше.

Дізнайтеся, як може працювати ваше ядро, зокрема, якщо це класифікаційна модель, можна отримати шляхом перегляду деяких прикладів візуалізації, наприклад https://gist.github.com/WittmannF/60680723ed8dd0cb993051a7448f7805

— Буде
джерело