Алгоритм регресійного дерева з лінійними моделями регресії в кожному аркуші

Коротка версія: Я шукаю пакет R, який може будувати дерева рішень, тоді як кожен лист у дереві рішень - це повна модель лінійної регресії. AFAIK, бібліотека rpartстворює дерева рішень, де залежна змінна є постійною у кожному аркуші. Чи є інша бібліотека (або rpartустановка, про яку я не знаю), яка може будувати такі дерева?

Довга версія: Я шукаю алгоритм, який будує дерево рішень на основі набору даних про навчання. Кожне рішення у дереві розбиває набір навчальних даних на дві частини відповідно до умови однієї з незалежних змінних. Корінь дерева містить повний набір даних, і кожен елемент у наборі даних міститься рівно в одному вузлі аркуша.

Алгоритм виходить так:

1. Почніть з повного набору даних, який є кореневим вузлом дерева. Виберіть цей вузол і назвемо його .$N$
2. Створення моделі лінійної регресії , за даними в .$N$
3. Якщо з лінійної моделі «s вище деякого порога , то ми зробили з , тому знак , як лист і перейти до кроку 5.$R^2$$N$$\theta_{R^2}$$N$$N$
4. Спробуйте випадкових рішень і виберіть одне, що дає найкраще у підвузлах: $n$$R^2$
   • Виберіть випадкову незалежну змінну , а також випадковий поріг .$v_i$$\theta_i$
   • Рішення розбиває набір даних на два нові вузли, і . Н Н ~ $v_i \leq \theta_i$$N$$\hat{N}$$\tilde{N}$
   • Створення моделі лінійної регресії на обох N і ~ N , і обчислити їх R 2 (назвемо їх R і ~ г ).$\hat{N}$$\tilde{N}$$R^2$$\hat{r}$$\tilde{r}$
   • З усіх цих кортежів ( v я , θ я , г , ~ г ) , виберіть один з максимальним м я п ( г , ~ г ) . Це дає нове рішення в дереві, і N має два нових підвузли N і ~ N .$n$$(v_i, \theta_i, \hat{r}, \tilde{r})$$min(\hat{r}, \tilde{r})$$N$$\hat{N}$$\tilde{N}$
5. Ми закінчили обробку . Виберіть новий вузол N, який ще не був оброблений, і поверніться до кроку 2. Якщо всі вузли були оброблені, алгоритм закінчується.$N$$N$

Це буде рекурсивно будувати дерево рішень, яке розбиває дані на більш дрібні частини та обчислює лінійну модель на кожну з цих частин.

Крок 3 - умова виходу, яка заважає алгоритму перевиконати. Звичайно, є й інші можливі умови виходу:

• Вийдіть, якщо глибина у дереві вище θ d e p t $N$$\theta_{depth}$
• Вийдіть, якщо набір даних у менший за θ d a t a s e $N$$\theta_{data set}$

Чи є такий алгоритм у пакеті R?

Хоча вони працюють інакше, ніж ваш алгоритм, я вважаю, що вам буде цікавим mob () та FTtree. Для мофії Zeileis див. Http://cran.r-project.org/web/packages/party/vignettes/MOB.pdf Для FTtree, функціональних дерев Gama реалізація доступна у Weka та, таким чином, у RWeka. Докладні відомості див. У розділі http://cran.r-project.org/web/packages/RWeka/index.html .

Пакет RWeka пропонує безліч методів регресії. Серед них можна знайти M5P (M5 Prime), яка є саме деревною моделлю регресії з лінійними рівняннями в листках. Детальніше про метод M5 див. У публікації .

Приклад коду може бути:

library(RWeka)
M5_model = M5P (Dep_var ~ ., data = train, control = Weka_control(N=F, M=10))
train_predicted = predict(M5_model, train)
test_predicted = predict(M5_model, test)

Якщо ви хочете скористатись ансамблем з мішковиною методом M5, спробуйте щось на кшталт:

M5_bag = Bagging(Dep_var ~ ., data = train, control = Weka_control(P=100, I = 100, W = list("weka.classifiers.trees.M5P", M = 4)))

Щоб побачити параметри керування для моделі M5P, спробуйте:

WOW(M5P)

Якщо ви хочете оптимізувати метод M5, у caretпакеті є рішення для цього :

library(caret)
Optimization = train (Dep_var ~ .,data = train, method = 'M5')

Я думаю, що це відповідає на коротку версію вашого питання:

Пакет Cubist підходить для моделей, заснованих на правилах (подібних до дерев) з лінійними моделями регресії в термінальних листах, виправленнями на основі екземпляра та прискоренням.

З погляду завдань на Cran: Машинне навчання