Випадковий ліс не може переборщити?

Я прочитав деяку літературу, яку випадкові ліси не можуть перевищити. Хоча це звучить чудово, здається, занадто добре, щоб бути правдою. Чи можна для РФ переобладнати?

random-forest overfitting

— screechOwl
джерело

Якщо він може вмістити, він може надягати. Що стосується РФ, подумайте, що станеться, якщо ваш ліс не містить достатньо дерев (скажімо, ваш ліс є єдиним деревом, щоб зробити ефект очевидним). Питань більше, ніж у цього, але це найбільш очевидно.

— Marc Claesen

Я щойно відповів на інший потік про РФ, що він може легко перетворити, якщо кількість предикторів буде великою.

— horaceT

Випадковий ліс може переповнювати. Я впевнений у цьому. Зазвичай мається на увазі, що модель не буде надмірно підійде, якщо використовувати більше дерев.

$y = log(x) + \epsilon$

— Донбео
джерело

Випадковий Ліс в основному зменшує дисперсію, як він може переобладнати? @Donbeo може бути, можливо, тому, що моделі дерев рішень не дуже добре працюють на екстраполяції. Скажімо, для аномальної змінної предиктора DT може дати поганий прогноз.

— Ітачі

Одним з чітких ознак перевиконання є те, що залишкова дисперсія зменшується занадто сильно. Що ж тоді ви намагаєтесь сказати під своїм першим зауваженням?

— whuber

У випадку відхилення відхилення від дисперсії, коли ми намагаємось зменшити зміщення, ми компенсуємо дисперсію. Такий, що якщо x = 80 дає y = 100, а x = 81 дає y = -100. Це було б вишукано . Чи не Overfitting подібний тому, що має велику дисперсію. @whuber Я припускав, що переобладнання є лише через велику дисперсію. Я не розумію, як зменшення залишкової дисперсії призводить до переобладнання. Чи можете ви, будь ласка, поділитися трохи паперу для мене, щоб прочитати далі.

— Ітачі

x_{i} = 1, 2, \dots, 10

$x_i=1,2,\ldots,10$

y_{i}

$y_i$

y = β_{0} + β_{1} x + β_{2} x^{2} + \dots + β_{k} x^{k}

$y=\beta_0+\beta_1 x+\beta_2 x^2 + \cdots + \beta_k x^k$

k = 0, 1, \dots, 9

$k=0, 1, \ldots, 9$

@Поділіть ваше зауваження показує, що я мав би чітко заявити, що я пропоную свій приклад не як твердження про випадкові ліси, а про основні поняття зменшення дисперсії та надмірного розміщення. Але ваш перший коментар непрозорий, тому що він не має значення (і, як я читав, невірний): залишкова дисперсія має значення в цій послідовності моделей OLS, а не дисперсія прогнозу. Дійсно - повернення до загального питання примірності моделей - якби зменшення дисперсії прогнозів було об'єктивним, то будь-яка модель, яка завжди прогнозує нуль, була б оптимальною!

— whuber