Що таке розмір VC дерева рішень?

Який розмір VC дерева рішень з k розбивається на два виміри? Скажімо, модель CART, і єдині дозволені розколи паралельні осям.

Отже, за один розкол ми можемо замовити 3 бали в трикутнику, а потім для будь-якого маркування точок ми могли б отримати ідеальний прогноз (тобто: розбиті точки)

А як щодо 2-х розщеплень, або будь-якого загального k?

Я не впевнений, що це питання з простою відповіддю, і не вважаю, що це навіть питання про дерева рішень.

Проконсультуйтеся з Асланом та ін. , Обчислення VC-розмір дерев (2009). Вони вирішують цю проблему шляхом вичерпного пошуку в невеликих деревах, а потім надають приблизну, рекурсивну формулу для оцінки розміру ВК на більших деревах. Потім вони використовують цю формулу як частину алгоритму обрізки. Якби на ваше запитання була відповідь закритої форми, я впевнений, що вони б її подали. Вони відчували потребу перебирати навіть через досить маленькі дерева.

Мої два копійки коштують. Я не впевнений, що важливо говорити про розмір ВК для трешів. Розглянемо мірну відповідь, де кожен елемент є двійковим результатом. Таку ситуацію розглядають Аслан та ін. У цьому вибірковому просторі є 2 d можливих результату та 2 d можливих шаблонів відповідей. Якщо я будую повноцінне дерево з рівнем d і 2 d листям, я можу зрубати будь-який візерунок 2 $d$$2^d$$2^d$$d$$2^d$$2^d$відповіді. Але повноцінні дерева ніхто не підходить. Зазвичай ви переоцінюєте, а потім обрізаєте назад за допомогою перехресної перевірки. Що ви отримуєте в кінці, це менше і простіше дерево, але ваш набір гіпотез все ще великий. Аслан та ін. Спробуйте оцінити розмір ВК сімейств ізоморфних дерев. Кожна сім'я - це гіпотеза, встановлена ​​зі своїм розміром VC.

$d=3$$(1,0,0,1),(1,1,1,0),(0,1,0,1), (1,1,0,1)$$x1$$x2$

Рішення Аслана грубої сили, здається, працює досить добре, але те, що вони отримують, насправді не є VC-виміром алгоритмів, якими користуються люди, оскільки вони покладаються на обрізку та перехресну перевірку. Важко сказати, що насправді є простором гіпотези, оскільки в принципі ми починаємо з розбиваючої кількості можливих дерев, але потім підрізаємося до чогось більш розумного. Навіть якщо хтось починає з апріорного вибору не виходити за два шари, скажімо, все ще може виникнути необхідність обрізати дерево. І нам насправді не потрібен розмір VC, оскільки перехресне підтвердження відбувається безпосередньо після помилки вибірки.

Для справедливості до Аслана та ін. Вони не використовують розмір ВК для характеристики простору своєї гіпотези. Вони обчислюють розмір VC гілок і використовують цю кількість, щоб визначити, чи слід відгалужувати гілку. На кожному етапі вони використовують розмір VC конкретної конфігурації гілки, що розглядається. Вони не дивляться на вимір VC проблеми в цілому.

Якщо ваші змінні є безперервними, а відповідь залежить від досягнення порогу, то дерево рішення в основному створює купу перцептронів, тому розмір VC, мабуть, буде більшим, ніж це (оскільки вам потрібно оцінити точку відсікання, щоб зробити розкол) . Якщо відповідь монотонно залежить від безперервної відповіді, CART розріже її на купу кроків, намагаючись відтворити регресійну модель. Я б не використовував дерева в такому випадку - можливо, гра чи регресія.