Чи є випадковий ліс для регресії "справжньою" регресією?

Для регресії використовуються випадкові ліси. Однак, наскільки я розумію, вони призначають середнє цільове значення для кожного аркуша. Оскільки в кожному дереві є лише обмежене листя, є лише конкретні значення, які ціль може отримати з нашої регресійної моделі. Отже, це не просто "дискретна" регресія (як ступінчаста функція), а не така, як "безперервна" лінійна регресія?

Я правильно це розумію? Якщо так, то яку перевагу пропонує випадковий ліс у регресії?

Це правильно - випадкові ліси дискретизують постійні змінні, оскільки вони засновані на деревах рішень, які функціонують через рекурсивний бінарний поділ. Але, маючи достатню кількість даних і достатню кількість розбитків, крокова функція з багатьма маленькими кроками може наближати плавну функцію. Тож це не повинно бути проблемою. Якщо ви дійсно хочете зафіксувати плавну відповідь одним передбачувачем, ви обчислюєте частковий ефект будь-якої конкретної змінної і прилаштовуєте до неї плавну функцію (це не впливає на саму модель, яка збереже цей покроковий символ).

Випадкові ліси пропонують досить багато переваг порівняно зі стандартними методами регресії для деяких застосувань. Зазначимо лише три:

1. Вони дозволяють використовувати довільно багато предикторів (можливо більше прогнозів, ніж точок даних)
2. Вони можуть наближати складні нелінійні фігури без апріорної специфікації
3. Вони можуть фіксувати складні взаємодії між прогнозами без апріорної конкретизації.

Щодо того, чи це "справжня" регресія, це дещо смислово. Зрештою, кускова регресія теж є регресією, але також не є рівною. Як і будь-яка регресія з категоричним прогноктором, як зазначено в коментарях нижче.

Він дискретний, але тоді будь-який вихід у вигляді числа з плаваючою комою з фіксованою кількістю біт буде дискретним. Якщо дерево має 100 листя, то воно може дати 100 різних чисел. Якщо у вас є 100 різних дерев із 100 листям у кожному, то ваш випадковий ліс теоретично може мати 100 ^ 100 різних значень, що може дати 200 (десяткових) цифр точності або ~ 600 біт. Звичайно, відбудеться деяке перекриття, тому ви насправді не побачите 100 ^ 100 різних значень. Розподіл має тенденцію до більш дискретного, чим більше ви доходите до крайнощів; у кожного дерева буде мінімальний листок (лист, який дає вихід, менший або рівний всім іншим листям), і як тільки ви отримаєте мінімальний лист з кожного дерева, ви не зможете отримати жоден нижчий. Так що для лісу буде деяка мінімальна загальна цінність, і, відхиляючись від цього значення, ви збираєтеся починати з того, що всі, окрім кількох дерев, знаходяться на мінімальному листі, роблячи невеликі відхилення від збільшення мінімальних значень дискретних стрибків. Але зниження надійності в крайніх межах є властивістю регресу взагалі, а не лише випадкових лісів.

Відповідь буде залежати від вашого визначення регресії, див. Визначення та розмежування регресійної моделі . Але звичайним визначенням (або частиною визначення) є те, що регресія моделює умовне очікування . І дерево регресії дійсно можна розглядати як оцінювач умовного очікування.

У листкових вузлах ви прогнозуєте середнє значення вибірки спостережень, що досягає цього листа, а середнє арифметичне є оцінкою очікування. Візерунок розгалуження на дереві являє собою умовність.