VC розмірність регресійних моделей


12

У серії лекцій « Навчання з даних» професор зазначає, що розмір ВК вимірює складність моделі на те, скільки точок може зруйнувати дана модель. Тож це прекрасно спрацьовує для моделей класифікації, де ми могли б сказати, що немає N точок, якщо класифікатор здатний ефективно зруйнувати k точки, вимірювання розміру VC було б K. Але мені було не ясно, як можна виміряти розмір VC для регресійних моделей ?


Відповіді:


3

З елементів статистичного навчання , с. 238:

Поки ми обговорювали розмір ВК лише індикаторних функцій, але це може бути розширено до функцій з реальною цінністю. Розмір VC класу реально оцінених функцій визначається як VC-розмір класу індикаторів 1 ( g ( x , α ) - β > 0 ) , де β приймає значення за діапазон г.g(x,α)1(g(x,α)β>0)β

Або, трохи інтуїтивніше, щоб знайти розмірність ВК класу дійсно оцінених функцій, можна знайти розмірність VC класу функцій індикаторів, яка може бути сформована шляхом визначення порогу цього класу функцій реальної вартості.


Але це дає вимір VC для порогових індикаторів, і за номіналом я не бачу, як отримання меж PAC для порогових індикаторів багато що говорить про ефективність вашої регресійної функції. Можливо, ви можете придумати аргумент, коли ви двійково шукаєте регресивне значення (для обмежених доменів виводу).
VF1

@ VF1 Правда. Як інтерпретувати розмір VC функції регресії може бути хорошим, окремим питанням.
Шон Пасха

Я б опублікував окреме запитання, але я вважаю, що відповідь просто "не використовуйте VC dim для регресії", оскільки Rademacher дозволить вам зробити стільки ж для довільних обмежених втрат.
VF1

@ VF1 Я б прочитав відповідь, яка сказала це з цікавістю! Все, що я маю на увазі, - це припустити, що норма резюме - обмежити питання лише одним питанням на посаду, а ОП не торкається тлумачення чи мети.
Шон Пасха

0

Дивіться розділ 5.2 Статистичного навчання (Vapnik) щодо виведення трюку порогового показника з використанням заходів Lebesgue-Stieltjes. AFAIK - це єдина і остаточна посилання. Ви вже повинні знати, де знайти книгу (та інші з Вапника, всі вони чудові).


1
Це допоможе, якщо ви можете узагальнити аргумент, а не просто надати посилання.
mdewey
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.