Я вивчаю машинне навчання і відчуваю, що існує міцний взаємозв'язок між концепцією розмірності ВК та більш класичною (статистичною) концепцією ступенів свободи.
Хтось може пояснити такий зв’язок?
Я вивчаю машинне навчання і відчуваю, що існує міцний взаємозв'язок між концепцією розмірності ВК та більш класичною (статистичною) концепцією ступенів свободи.
Хтось може пояснити такий зв’язок?
Відповіді:
За словами професора Ясера Абу-Мостафа-
Ступені свободи - це абстрагування ефективної кількості параметрів. Ефективне число базується на тому, скільки дихотомій можна отримати, а не скільки реально оцінених параметрів. У випадку двовимірного перцептрона можна думати про нахил та перехоплення (плюс двійковий ступінь свободи, для якого регіон переходить до +1), або можна придумати 3 параметри w_0, w_1, w_2 (хоча ваги можуть бути одночасно масштабувати вгору або вниз, не впливаючи на результуючу гіпотезу). Однак ступеня свободи 3, тому що ми маємо гнучкість розбити 3 бали, а не через той чи інший спосіб підрахунку кількості параметрів.
Вимір VC дуже добре пояснено в цій статті в розділі 2.1 і далі, наведені основні лемати та докази. Ви можете пройти через це.