Чи слід використовувати тест ядра, коли це можливо для нелінійних даних?

Нещодавно я дізнався про використання трюку Kernel, який відображає дані у простори більш високих розмірів, намагаючись лінеаризувати дані в цих вимірах. Чи є випадки, коли мені слід уникати використання цієї методики? Це лише питання пошуку правильної функції ядра?

Для лінійних даних це, звичайно, не корисно, але для нелінійних даних це здається завжди корисним. Використовувати лінійні класифікатори набагато простіше, ніж нелінійні з точки зору часу навчання та масштабованості.

Для лінійних даних це, звичайно, не корисно, але для нелінійних даних це здається завжди корисним. Використовувати лінійні класифікатори набагато простіше, ніж нелінійні з точки зору часу навчання та масштабованості.

@BartoszKP вже пояснив, чому корисна хитрість ядра. Однак я хотів би повністю зазначити ваше питання, що кернелізація - не єдиний варіант роботи з нелінійно відокремленими даними.

Існують щонайменше три хороших, загальних альтернативи для розмежування моделі:

• Нейтальні методи, засновані на мережі, де ви додаєте один (або більше) шарів процесорних одиниць, здатних перетворити ваші дані в лінійно роздільний регістр. У найпростішому випадку це шар на основі сигмоїдів, який додає процесу нелінійність. Після випадкової ініціалізації вони отримують оновлення під час градієнтної оптимізації верхнього шару (що фактично вирішує лінійну задачу).
• Зокрема, тут можна використовувати методи глибокого навчання для підготовки даних для подальшої лінійної класифікації. Це дуже схожа ідея з попередньою, але тут ви спочатку тренуєте свої шари обробки, щоб знайти гарну відправну точку для подальшої точної настройки на основі підготовки якоїсь лінійної моделі.
• Випадкові проекції - ви можете вибирати (нелінійні) проекції з певного заздалегідь заданого простору та тренувати лінійний класифікатор над ними. Ця ідея широко використовується в так званому екстремальному машинному навчанні , де дуже ефективні лінійні розв'язувачі використовуються для навчання простого класифікатора на випадкових проекціях та досягнення дуже хорошої продуктивності (щодо нелінійних задач як в класифікації, так і в регресії, перевірте, наприклад, екстремальне навчання машини ).

Підводячи підсумок - кернелізація - це чудова техніка розмежування, і ви можете використовувати її, коли проблема не є лінійною, але це не повинно бути сліпим "якщо тоді" для програми. Це лише один із принаймні небагатьох цікавих методів, який може призвести до різних результатів, залежно від проблеми та вимог. Зокрема, ELM прагне знайти дуже схожі рішення з рішеннями, що даються ядрами SVM, в той же час можна швидше тренувати рядки на величину (тому вона збільшується набагато краще, ніж кернелізовані SVM).

Ціна, яку ви платите за трюк ядра в цілому, за лінійні методи, має гірші межі узагальнення. Для лінійної моделі його розмір VC також лінійний за кількістю розмірів (наприклад, розмір VC для Perceptron є d + 1).

Тепер, якщо ви будете виконувати складне нелінійне перетворення у просторовий простір високого розміру, розмір VC вашого набору гіпотез значно більший, оскільки він тепер лінійний за кількістю вимірів у новому, високомірному просторі. І з нею пов'язана генералізація.

Підтримка векторних машин використовує трюк ядра найефективніше, роблячи дві речі:

• узагальнення, обмежене для моделей SVM з твердим запасом, пов'язане з кількістю векторів підтримки, а для м'якої границі відноситься до норми вагового вектора - тому воно може бути неактуальним у першому випадку і майже не має значення у другому випадку . Незалежно від того, наскільки "великим" є цільовий простір ядра, ви нічого не втрачаєте / багато в плані узагальнення (посилання: (i) К. Кортес та В. Вапник. Підтримка векторних мереж. Машинне навчання, 20: 273– 297, 1995 ; (ii) Шаве-Тейлор, Дж .; Кріштіаніні, Н., "Про узагальнення алгоритмів м'яких запасів", "Теорія інформації, транзакції IEEE", т.48, №10, с. 2721,2735, Жовтень 2002 ).

• SVM знаходять площину розділення, яка максимально збільшує запас, і це ще більше спрощує набір гіпотез (ми не розглядаємо кожну можливу площину поділу, лише ту, що максимізує маржу). Простий набір гіпотез також призводить до кращих меж узагальнення (це стосується першого пункту, але це більш інтуїтивно).

Я спробую надати нетехнічну відповідь на ваше запитання.

Дійсно, слід віддати перевагу лінійним і повинен бути першим вибором з причин, які ви згадуєте, час навчання, масштабованість, а також легкість інтерпретації кінцевої моделі, вибір роботи на первинному або подвійному, більше толерантності до надмірного пристосування тощо.

Якщо лінійна модель не дає задовільних показників, то можна спробувати нелінійні рішення. Деякі компроміси, які слід враховувати, включають:

• вибір ядра. Це не очевидно, зазвичай потрібно перевірити різні варіанти
• є небезпека переобладнати навчальний комплект. Насправді це дуже легко переозброїти, якщо хочете. Щоб уникнути перевиконання, вам потрібна більш сильна рамка оцінювання (вам потрібно виміряти дисперсію / стабільність продуктивності на небачених даних) і вам потрібно достатньо даних для того, щоб можна було правильно вибрати модель
• ви працюєте над подвійною, і тому ви не можете інтерпретувати остаточну модель, тобто ви не можете стверджувати, що особливість X важливіша за функцію Y тощо.
• час навчання збільшується з обсягом даних (менше за кількістю функцій, оскільки він є в подвійному)