Чи повинен пошук у сітці SVM показувати область високої точності з низькою точністю навколо?

У мене є 12 позитивних навчальних наборів (ракові клітини, які лікуються лікарськими засобами з кожним із 12 різних механізмів дії). Для кожного з цих позитивних навчальних наборів я хотів би навчити підтримуючу векторну машину, щоб відрізнити її від негативного набору рівних розмірів, відібраного з експерименту. Кожен набір має від 1000 до 6000 комірок, і існує 476 ознак (особливостей зображення) кожної комірки, кожна з яких лінійно масштабується до [0, 1].

Я використовую LIBSVM і ядро ​​Gaussian RGB. Використовуючи п'ятикратну перехресну перевірку, я здійснив пошук сітки для log₂ C ∈ [-5, 15] та log₂ ɣ ∈ [-15, 3]. Результати такі:

Я був розчарований, що не існує єдиного набору параметрів, які дають високу точність для всіх 12 проблем класифікації. Я також був здивований, що сітки, як правило, не демонструють області високої точності, оточеної меншою точністю. Чи це просто означає, що мені потрібно розширити простір параметрів пошуку, або пошук в сітці вказує на те, що щось інше не так?

Оптимальні значення для гіпер-параметрів будуть різними для різних навчальних задач, їх потрібно налаштувати окремо для кожної проблеми.

Причина, коли ви не отримуєте єдиного оптимуму, полягає в тому, що параметр ядра і параметр регуляризації контролюють складність моделі. Якщо C невеликий, ви отримуєте гладку модель, також, якщо ядро ​​з широким, ви отримаєте гладку модель (оскільки основні функції не дуже локальні). Це означає, що різні комбінації C і ширини ядра призводять до аналогічно складних моделей з подібною продуктивністю (саме тому ви отримуєте діагональну особливість у багатьох ділянках, які у вас є).

Оптимум також залежить від конкретної вибірки навчального набору. Можливе перевищення помилки перехресної перевірки, тому вибір гіперпараметри шляхом перехресної перевірки може насправді погіршити продуктивність, якщо вам не пощастить. Дивіться Каулі та Талбот для деяких обговорень цього питання.

Те, що існує широке плато значень для гіпер-параметрів, де ви отримуєте аналогічно хороші значення, насправді є хорошою характеристикою підтримуючих векторних машин, оскільки це говорить про те, що вони не надто вразливі до надмірного розміщення у виборі моделі. Якщо у вас різкий пік при оптимальних значеннях, це було б погано, оскільки пік було б важко знайти, використовуючи кінцевий набір даних, який би дав ненадійні вказівки, де цей пік насправді перебуває.