Чи можуть регресивні дерева прогнозувати постійно?

Припустимо, у мене є така гладка функція, як . У мене є навчальний набір D \ subsetneq \ {((x, y), f (x, y)) | (x, y) \ in \ mathbb {R} ^ 2 \} і, звичайно, я не знаю f, хоча можу оцінити f, куди хочу.$f(x, y) = x^2+y^2$$D \subsetneq \{((x, y), f(x,y)) | (x,y) \in \mathbb{R}^2\}$$f$$f$

Чи здатні дерева регресії знаходити плавну модель функції (отже, крихітна зміна вхідних даних може призвести лише до незначних змін у виході)?

З того, що я прочитав у лекції 10: Дерева регресії, мені здається, що дерева регресії в основному ставлять значення функцій у бункери:

Для класичних дерев, що регресують, модель у кожній комірці є лише постійною оцінкою Y.

Як вони пишуть "класичний", я думаю, є варіант, коли клітини роблять щось цікавіше?

Дерева регресії, особливо при збільшенні градієнта (по суті, багато дерев), як правило, дуже добре справляються з безперервними прогнозами, часто перевершуючи моделі, які справді неперервні, як лінійна регресія, коли. Особливо це стосується змінних взаємодій і коли у вас є достатньо великий набір даних (понад 10 000 записів), щоб переозброєння було менш ймовірним. Якщо ваша основна мета - це просто передбачувальна сила, то незалежність від того, чи є модель на 100% безперервною чи псевдо безперервною, має бути неактуальним. Якщо зрощення ваших дерев регресії більш безперервним збільшується за рахунок прогнозованої потужності вибірки, ви можете просто збільшити глибину дерева або додати більше дерев.

У класичних дерев регресії у вас є одне значення в листі, але в аркуші ви можете мати лінійну модель регресії, перевірте цей квиток.

Ви також можете використовувати ансамбль дерев (Випадкові лісові або градієнтні підсилювальні машини), щоб мати постійне значення виходу.

Якщо ви трохи розширите питання, щоб включити загальні методи збільшення градієнта (на відміну від особливого випадку дерев з посиленою регресією), то відповідь - так. Підвищення градієнта успішно використовується як альтернатива для варіативного вибору. Хороший приклад - пакет mboost . Ключовим є те, що клас базових учнів, який використовується для підвищення рівня, складається з безперервних моделей, для початку. У цьому підручнику описані типові класи базових учнів наступним чином:

Загальновживані моделі базового учня можуть бути класифіковані на три різні категорії: лінійні моделі, гладкі моделі та дерева рішень. Існує також ряд інших моделей, таких як маркові випадкові поля (Dietterich et al., 2004) або вейвлети (Viola і Jones, 2001), але їх застосування виникає для відносно конкретних практичних завдань.

Зауважимо, що він особливо згадує вейвлети. Дерева та вейвлетки раніше успішно поєднувались у вейвлетах на основі дерев.