Зараз я використовую SVM з лінійним ядром для класифікації моїх даних. На навчальному наборі помилок немає. Я спробував кілька значень параметра ( 10 - 5 , … , 10 2 ). Це не змінило помилки на тестовому наборі.
Тепер мені цікаво: чи це помилка, спричинена рубіновими прив’язками для libsvmмене, що я використовую ( rb-libsvm ), чи це теоретично можна пояснити ?
Чи повинен параметр завжди змінювати продуктивність класифікатора?
Відповіді:
Параметр C повідомляє оптимізації SVM, наскільки ви хочете уникати неправильної класифікації кожного прикладу навчання. Для великих значень C оптимізація вибере гіперплан з меншою границею, якщо ця гіперплана зробить кращу роботу щодо правильного класифікації всіх навчальних балів. І навпаки, дуже невелике значення C призведе до того, що оптимізатор буде шукати гіперплану, що розділяє великі запаси, навіть якщо ця гіперплана неправильно класифікує більше балів. Для дуже крихітних значень C ви повинні отримувати неправильно класифіковані приклади, часто навіть якщо ваші навчальні дані лінійно відокремлюються.
У SVM ви шукаєте дві речі: гіперплан з найбільшим мінімальним запасом і гіперплан, який правильно розділяє якомога більше екземплярів. Проблема в тому, що ви не завжди зможете отримати обидві речі. Параметр c визначає, наскільки велике ваше бажання для останнього. Нижче я намалював невеликий приклад, щоб проілюструвати це. Зліва у вас низький c, що дає вам досить великий мінімальний запас (фіолетовий). Однак це вимагає, щоб ми нехтували синім колом, що не вдалося віднести до правильного. Праворуч у вас високий c. Тепер ви не нехтуватимете зовнішнім виглядом і, таким чином, отримаєте набагато менший запас.
То який із цих класифікаторів є найкращим? Це залежить від того, як будуть виглядати майбутні дані, які ви будете прогнозувати, і найчастіше ви цього не знаєте. Якщо дані про майбутнє виглядають так:
тоді класифікатор, засвоєний за допомогою великого значення c, найкращий.
З іншого боку, якщо майбутні дані виглядатимуть так:
то класифікатор, засвоєний за допомогою низького значення c, найкращий.
Залежно від вашого набору даних, зміна c може або не може призвести до різної гіперплани. Якщо він дійсно виробляє іншу гіперплоскость, це не означає , що ваш класифікатор буде виводити різні класи для конкретної інформації ви використовували його для класифікації. Weka - хороший інструмент для візуалізації даних та розігрування з різними налаштуваннями для SVM. Це може допомогти вам краще зрозуміти, як виглядають ваші дані та чому зміна значення c не змінює помилку класифікації. Загалом, маючи декілька навчальних примірників та багато атрибутів, це полегшує лінійне розділення даних. Також той факт, що ви оцінюєте свої дані про навчання, а не нові небачені дані, полегшує розмежування.
З яких даних ви намагаєтеся дізнатися модель? Скільки даних? Чи можемо ми це побачити?
C по суті є параметром регуляризації, який контролює компроміс між досягненням низької помилки на тренувальних даних та мінімізацією норми ваг. Це аналогічно параметру хребта в регресії хребта (насправді на практиці між лінійними SVM та регресією хребта невелика різниця в продуктивності або теорії, тому я зазвичай використовую останній - або регресію хребта ядра, якщо атрибутів більше, ніж спостережень).
Правильна настройка C - це життєво важливий крок найкращої практики використання SVM, оскільки структурна мінімізація ризиків (ключовий принцип базового підходу) реалізується за допомогою налаштування C. Параметр C встановлює верхню межу норми ваги, це означає, що існує вкладений набір класів гіпотез, індексованих С. У міру збільшення C ми збільшуємо складність класу гіпотез (якщо трохи збільшити C, ми все ще можемо сформувати всі лінійні моделі, які ми могли раніше а також те, що ми не могли раніше, ніж збільшили верхню межу допустимої норми ваг). Так само як і реалізація СРМ за допомогою максимальної маржинальної класифікації, вона також реалізується обмеженням складності класу гіпотез через керування С.
На жаль, теорія визначення того, як встановити С, наразі не дуже розвинена, тому більшість людей схильні використовувати перехресну перевірку (якщо вони щось роблять).
C - параметр регуляризації, який контролює компроміс між досягненням низької помилки тренувань та низькою помилкою тестування, що є можливістю узагальнити класифікатор для невидимих даних.
Розглянемо цільову функцію лінійного SVM: min | w | ^ 2 + C∑ξ. Якщо ваш C занадто великий, алгоритм оптимізації спробує зменшити | w | якомога більше веде до гіперплану, який намагається правильно класифікувати кожен тренувальний приклад. Це призведе до втрати узагальнюючих властивостей класифікатора. З іншого боку, якщо ваш C занадто малий, то ви надаєте вашій цільовій функції певну свободу для збільшення | w | багато, що призведе до великої помилки тренувань.
Зображення нижче можуть допомогти вам уявити це.
Відповіді вище є чудовими. Уважно прочитавши ваші запитання, я виявив, що є два важливих факти, які ми можемо не помітити.
З огляду на 2 факти, якщо значення C змінюються в розумному діапазоні, оптимальна гіперплан просто випадковим чином зміститься на невелику кількість в межах (розрив, утворений опорними векторами).
Інтуїтивно кажучи, припустимо, що маржа на навчальних даних невелика, і / або немає тестових точок даних в межах запасу, зміщення оптимальної гіперплощини в межах поля не вплине на помилку класифікації тестового набору.
Тим не менш, якщо ви встановите C = 0, SVM буде ігнорувати помилки і просто намагатиметься мінімізувати суму квадратів ваг (w), можливо, ви можете отримати різні результати на тестовому наборі.
Високий C (вартість) означає, що вартість помилкової класифікації збільшується. Це означає, що гнучке ядро стане більш чітким, щоб уникнути помилкових зауважень у навчальному наборі.
Якщо ядро має чіткий характер, модель не буде добре узагальнюватись при прогнозуванні нових даних.
Якщо ядро буде прямим, модель не буде добре узагальнюватись при прогнозуванні нових даних.