Які обмеження методів ядра та коли використовувати методи ядра?

Методи ядра дуже ефективні у багатьох контрольованих завданнях класифікації. Отже, які обмеження є методами ядра та коли використовувати методи ядра? Особливо в епоху даних великого масштабу, якими є досягнення ядерних методів? Яка різниця між методами ядра та навчанням з кількома примірниками? Якщо дані є 500x10000, чи 500є кількість вибірок і 10000є розмір кожної ознаки, то в цій обставині ми можемо використовувати методи ядра?

Методи ядра можуть бути використані для проблем, що контролюються і не контролюються. Добре відомими прикладами є векторна машина підтримки та спектральне кластеризація ядра відповідно.

Методи ядра забезпечують структурований спосіб використання лінійного алгоритму в трансформованому просторі функцій, для якого перетворення, як правило, нелінійне (і до простору більш високого розміру). Основна перевага цього так званого фокусу ядра полягає в тому, що нелінійні візерунки можна знайти за розумною обчислювальною ціною.

Зауважимо, що я сказав, що обчислювальна вартість є розумною, але не незначною. Методи ядра зазвичай будують матрицю ядра з кількістю навчальних екземплярів. Отже, складність методів ядра є функцією кількості навчальних екземплярів, а не кількості вхідних розмірів. Наприклад, підтримуючі векторні машини мають складну підготовку між і . Для проблем з дуже великим ця складність наразі є надмірною.$\mathbf{K} \in \mathbb{R}^{N\times N}$$N$$O(N^2)$$O(N^3)$$N$

Це робить методи ядра дуже цікавими з обчислювальної точки зору, коли кількість розмірів велике і кількість зразків порівняно невелике (скажімо, менше 1 мільйона).

Пов'язане: Лінійне ядро ​​та нелінійне ядро ​​для підтримуючої векторної машини?

SVM для великих масштабних проблем

Для дуже високих задач щодо розмірів, таких як 10000розміри, про які ви згадуєте у запитанні, часто не потрібно відображати простір вищих розмірних характеристик. Вхідний простір вже досить хороший. Для таких проблем лінійні методи набирають порядок швидше з майже однаковими прогнозними показниками. Приклади цих методів можна знайти в LIBLINEAR або Vowpal Wabbit .

Лінійні методи особливо цікаві, коли у вас є багато зразків у просторі вхідного простору. Якщо у вас всього зразків, використання методу нелінійного ядра також буде дешевим (оскільки малий). Якби у вас було, скажімо, зразків у розмірах , методи ядра були б нездійсненними.$500$$N$$5.000.000$$10.000$

Для низькомірних задач з багатьма навчальними екземплярами (так звані великі малих задач) лінійні методи можуть дати низьку точність прогнозування. Для таких проблем ансамблеві методи, такі як EnsembleSVM, забезпечують нелінійні межі рішення при значно знижених обчислювальних витратах порівняно зі стандартними SVM.$N$$p$