Дерева рішень та регресія - Чи можуть передбачувані значення виходити за межі даних про навчання?

Якщо мова йде про дерева рішень, чи може передбачуване значення лежати поза діапазоном даних про навчання?

Наприклад, якщо діапазон набору навчальних даних цільової змінної становить 0-100, коли я генерую свою модель і застосовую її до чогось іншого, чи можуть мої значення становити -5? або 150?

З огляду на те, що моє розуміння регресії дерева рішень полягає в тому, що це все-таки правила, засновані на лівій / правій прогресії, і що внизу дерева в навчальному наборі він ніколи не може побачити значення поза певним діапазоном, воно ніколи не зможе передбачити це?

Ви абсолютно праві: класичні дерева рішень не можуть передбачити значення поза межами історичного діапазону. Вони не будуть екстраполювати.

Те ж стосується і випадкових лісів.

Теоретично ви іноді бачите обговорення дещо більш досконалої архітектури (ботаніки?), Де листя дерева не дають єдиного значення , а містять просту регресію , наприклад, регресування залежної змінної на певну числову незалежну змінну. Навігація по дереву дасть вам набір правил, за яким числовим IV регресувати DV в якому випадку. У такому випадку ця регресія "нижнього рівня" може бути екстраполірована, щоб отримати ще не спостерігаються значення.

Однак я не думаю, що стандартні бібліотеки машинного навчання пропонують цю дещо складнішу структуру (я нещодавно шукав це через CRAN Task Views for R), хоча насправді в цьому не повинно бути нічого складного. Можливо, вам вдасться реалізувати власне дерево, що містить регресії у листках.

Також ознайомтеся з кубісткою в упаковці каре. Він будує лінійні регресії в термінальних вузлах і може екстраполювати прогнози вище та нижче діапазону значень відповідей у ​​навчальних даних. Кінцеві вузли також можуть бути усереднені на основі найближчих сусідів, що надається як гіперпараметр, тому він має потенціал для надання надзвичайно точних перехресних перевірених прогнозів.