Використання параметра Gamma з підтримуючими векторними машинами

9

При використанні libsvmпараметр є параметром для функції ядра. Його за замовчуванням встановлено як $\gamma$

γ = \frac{1}{number of features.}

$\gamma = \frac{1}{\text{number of features.}}$

Чи є якісь теоретичні вказівки щодо встановлення цього параметра, крім існуючих методів, наприклад, пошук в сітці?

— user3269
джерело

8

Я б запропонував наступні теоретичні настанови. Коли ви використовуєте ядро Gaussian RBF, ваша розділювальна поверхня базуватиметься на комбінації дзвіноподібних поверхонь, зосереджених на кожному опорному векторі. Ширина кожної дзвоноподібної поверхні буде обернено пропорційною $\gamma$ . Якщо ця ширина менша, ніж мінімальна пара для ваших даних відстань, ви, по суті, маєте надмірний розмір. Якщо ця ширина більша, ніж максимальна пара для ваших даних відстань, всі ваші бали належать до одного класу, і ви також не маєте хороших показників. Тож оптимальна ширина повинна бути десь між цими двома крайнощами.

— Лев
джерело

pair-wise distance for your data= проста евклідова відстань після масштабування?

— ihadanny

5

Ні, це по суті залежить від даних. Пошук сітки (над гіпер-параметрами, трансформованими журналом) - це дуже хороший метод, якщо у вас є лише невелика кількість гіпер-параметрів для настройки, але не робіть роздільну здатність сітки занадто тонкою або ви, ймовірно, перенастроюєте настройку критерій. Для проблем із більшою кількістю параметрів ядра, я вважаю, що симплексний метод Nelder-Mead добре працює.

— Дікран Марсупіал
джерело

Дикран, дякую за відповідь. Чи можете ви детальніше зупинитися на "залежних від даних"? Яка залежність між r та набором даних? Або іншими словами, з урахуванням набору даних, чи є спосіб визначити r на основі цих даних?

— user3269

1

По суті, "залежні від даних" означають, що найкращі настройки залежать від конкретної структури даних, і, як правило, немає кращого способу їх встановлення, ніж мінімізація помилки перехресної перевірки. Методи ядра справді можуть зробити більш теоретичний аналіз того, як слід вивчати ядро, але, на жаль, це математично дуже складно.

— Дікран Марсупіал