Взаємозв'язок між розмірністю ВК та ступенем свободи


9

Я вивчаю машинне навчання і відчуваю, що існує міцний взаємозв'язок між концепцією розмірності ВК та більш класичною (статистичною) концепцією ступенів свободи.

Хтось може пояснити такий зв’язок?

Відповіді:


7

За словами професора Ясера Абу-Мостафа-

Ступені свободи - це абстрагування ефективної кількості параметрів. Ефективне число базується на тому, скільки дихотомій можна отримати, а не скільки реально оцінених параметрів. У випадку двовимірного перцептрона можна думати про нахил та перехоплення (плюс двійковий ступінь свободи, для якого регіон переходить до +1), або можна придумати 3 параметри w_0, w_1, w_2 (хоча ваги можуть бути одночасно масштабувати вгору або вниз, не впливаючи на результуючу гіпотезу). Однак ступеня свободи 3, тому що ми маємо гнучкість розбити 3 бали, а не через той чи інший спосіб підрахунку кількості параметрів.

2-д перцептрон


Я думаю, це цілком нестандартне визначення ступенів свободи!
kjetil b halvorsen

0

Вимір VC дуже добре пояснено в цій статті в розділі 2.1 і далі, наведені основні лемати та докази. Ви можете пройти через це.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.