Градієнт, що підсилює дерево проти випадкового лісу

Підвищення градієнтного дерева, запропоноване Фрідманом, використовує дерева рішень як базових учнів. Мені цікаво, чи варто робити базове дерево рішень максимально складним (повністю вирощеним) чи простішим? Чи є пояснення щодо вибору?

Випадковий ліс - ще один ансамблевий метод, що використовує дерева рішень як базових учнів. Виходячи з мого розуміння, ми зазвичай використовуємо майже повністю вирощені дерева рішень у кожній ітерації. Маю рацію?

$\text{error = bias + variance}$

• Підвищення базується на слабких учнів (висока упередженість, низька дисперсія). З точки зору дерев, що приймають рішення, слабкі учні - це неглибокі дерева, іноді навіть такі маленькі, як пеньки (дерева з двома листками). Підвищення помилок зменшує в основному за рахунок зменшення упередженості (а також певною мірою дисперсії за рахунок агрегування результатів з багатьох моделей).
• З іншого боку, Random Forest використовує, як ви сказали, повністю вирощені дерева рішень (низький ухил, велика дисперсія). Він вирішує завдання зменшення помилок зворотним способом: зменшуючи дисперсію. Дерева зроблені некорельованими, щоб максимально зменшити дисперсію, але алгоритм не може зменшити зміщення (що трохи вище, ніж ухил окремого дерева в лісі). Звідси необхідність великих дерев, не обрізаних дерев, щоб спохивання спочатку було якомога меншим.

Зверніть увагу, що на відміну від Boosting (який є послідовним), RF паралельно вирощує дерева . Термін, iterativeякий ви використовували, таким чином, є недоречним.

Це питання вирішено в цій дуже приємній публікації. Будь ласка, подивіться на це та посилання на нього. http://fastml.com/what-is-better-gradient-boosted-trees-or-random-forest/

Зауважте в статті, що говорить про калібрування, та посилання на іншу (приємну) публікацію про це. Все-таки я вважаю, що стаття Отримання каліброваних ймовірностей під час підвищення дає змогу краще зрозуміти, що таке калібрування в контексті збільшених класифікаторів і які є стандартними методами його виконання.

І нарешті, один аспект відсутній (трохи більш теоретичний). І RF, і GBM - це ансамблеві методи, тобто ви створюєте класифікатор із великої кількості менших класифікаторів. Тепер принципова відмінність полягає у використаному методі:

1. РФ використовує дерева рішень, які дуже схильні до надмірного розміщення. Для досягнення більшої точності РФ вирішує створити велику їх кількість на основі мішки . Основна ідея - переупорядкувати дані знову і знову, і для кожного зразка тренуйте новий класифікатор. Різні класифікатори по-різному доповнюють дані, і шляхом голосування ці відмінності усереднюються.
2. ГБМ - це стимулюючий метод, який базується на слабких класифікаторах . Ідея полягає в тому, щоб заздалегідь додати класифікатор, щоб наступний класифікатор навчався для вдосконалення вже навченого ансамблю. Зауважте, що для РЧ кожна ітерація класифікатора готується незалежно від решти.