Чи можна застосовувати випадкову лісову методологію до лінійних регресій?

Випадкові ліси працюють, створюючи ансамбль дерев рішень, де кожне дерево створюється за допомогою зразка завантажувального зразка вихідних навчальних даних (вибірки обох вхідних змінних та спостережень).

Чи можна застосувати подібний процес для лінійної регресії? Створіть k лінійних моделей регресії, використовуючи випадковий зразок завантаження для кожної з k регресій

Які причини НЕ створювати "випадкову регресію" на зразок моделі?

Спасибі. Якщо я щось принципово не розумію, будь ласка, дайте мені знати.

Я частково не згоден з нинішніми відповідями, оскільки методологія випадкового лісу будується на основі введення дисперсії (CARTs, побудованої на завантажених зразках + метод випадкового підпростору), щоб зробити їх незалежними. Якщо у вас є ортогональні дерева, то середнє їх прогнозування (в багатьох випадках) краще, ніж прогнозування середнього дерева (через нерівність Дженсена). Незважаючи на те, що CART мають помітні переваги при обробці цієї методики, ця методологія, безумовно, застосовується до будь-якої моделі, і лінійні моделі не є винятком. Ось пакет R, який саме те, що ви шукаєте. У ньому представлений чудовий посібник щодо їх налаштування та інтерпретації та бібліографія на тему: Випадкові узагальнені лінійні моделі .

Щоб відповісти на @ ziggystar з точки зору машинного навчання жаргону: ідея методів агрегації завантажувальних програм (наприклад, випадкові ліси) полягає в тому, щоб підходити багато моделей з низьким ухилом, з високою дисперсією до даних, які мають певний елемент "випадковості" або "нестабільності". У випадку випадкових лісів нестабільність додається шляхом завантаження та вибору випадкового набору функцій для розділення кожного вузла дерева. Усереднення серед цих галасливих, але низьких ухилів дерева зменшує велику дисперсію будь-якого окремого дерева.

У той час як дерева регресії / класифікації є моделями "з низьким ухилом, з великою дисперсією", лінійні регресійні моделі, як правило, навпаки - "з великим зміщенням, низькою дисперсією". Таким чином, проблема, з якою часто стикаються лінійні моделі, - зменшення зміщення, а не зменшення дисперсії. Агрегація завантажувальної програми просто не робиться для цього.

Додатковою проблемою є те, що завантажувальна програма може не забезпечити достатньої кількості "випадковості" чи "нестабільності" в типовій лінійній моделі. Я б очікував, що дерево регресії буде більш чутливим до випадковості зразків завантаження, оскільки кожен лист містить лише кілька точок даних. Крім того, дерева регресії можна стохастично вирощувати, розділяючи дерево на випадковий підмножина змінних на кожному вузлі. Дивіться це попереднє питання, чому це важливо: Чому випадкові ліси розбиті на основі m випадкових ознак?

Все, що говорити, ви, звичайно, можете використовувати завантажувальний механізм завантаження на лінійних моделях [LINK] , і це може бути дуже корисним у певних контекстах. Однак мотивація сильно відрізняється від методики агрегування завантажувальної програми.

$k$$k$

І ось чому не так привабливо робити "випадкове" те, що відбувається з лінійними моделями, як з деревами рішень:

Велике дерево рішень, створене з великої вибірки, дуже ймовірно, що перевищує дані, і випадковий лісовий метод бореться з цим ефектом, спираючись на голосування багатьох малих дерев.

З іншого боку, лінійна регресія - це модель, яка не дуже схильна до переозброєння, і тому не шкодить, навчаючи її на повній вибірці на початку. І навіть якщо у вас є багато змінних регресорів, ви можете застосувати інші методи, такі як регуляризація, для боротьби з надмірною обробкою.

Я згоден з @ziggystar. Як кількість проб завантаження$k$конвергується до нескінченності, мішкована оцінка лінійної моделі переходить до оцінки OLS (Ordinary Least Squares) лінійної моделі, що працює на всій вибірці. Шлях довести це - бачити, що завантажувальна стрічка "робить вигляд", що розподіл населення такий же, як емпіричний розподіл. Коли ви вибираєте все більше і більше наборів даних з цього емпіричного розподілу, середнє оцінене значення гіперпланів буде сходити до "справжньої гіперплани" (що є оцінкою OLS, що працює за всіма даними) за асимптотичними властивостями звичайних найменших квадратів.

Крім того, мішок не завжди є хорошою справою. Він не тільки не бореться зі зміщенням, але може посилити упередженість у деяких своєрідних випадках . Приклад:

$$X_1, X_2, ..., X_n \sim Be(p)$$ (Випробування Бернуллі, які з вірогідністю приймають значення 1 $p$ і значення 0 з вірогідністю $1-p$). Далі визначимо параметр $$\theta = 1_{\{p > 0\}}$$ і спробуйте це оцінити. Звичайно, достатньо побачити єдину точку даних$X_i = 1$ знати це $\theta = 1$. Весь зразок може містити таку точку даних і дозволяє нам оцінити$\theta$без жодної помилки. З іншого боку, будь-який зразок завантажувальної програми може не містити такої точки даних і призводить нас до неправильної оцінки$\theta$з 0 (тут ми не приймаємо байєсівських рамок, використовує старий добрий метод максимальної ймовірності). Іншими словами, $${\rm Bias}_{\rm\ bagging} = {\rm Prob(in\ a\ bootstrap\ sample\ X_{(1)} = ... = X_{(n)} = 0)} > 0,$$ умовний на $\theta = 1$.