За яких умов машини для підвищення градієнта перевершують випадкові ліси?

Чи може градієнтний прискорювач Фрідмана досягти кращих показників, ніж з випадковим лісом Бреймана ? Якщо так, то в яких умовах або який набір даних може покращити gbm?

Нижче наведено пояснення того, чому Boosting як правило перевершує випадковий ліс на практиці, але мені було б дуже цікаво дізнатись, які інші фактори можуть пояснити перевагу Бустінгу над РФ у певних умовах.

В основному, в межах $error=bias+variance$Рамка, РФ може зменшити помилку лише за рахунок зменшення дисперсії ( Hastie et al. 2009 p. 588). Ухил фіксований і дорівнює зміщенню одного дерева в лісі (звідси необхідність вирощування дуже великих дерев, які мають дуже низький ухил).

З іншого боку, Boosting зменшує упередженість (додаючи кожне нове дерево в послідовності, щоб зафіксовано те, що було пропущено попереднім деревом), але також дисперсію (поєднуючи багато моделей).

Таким чином, Boosting зменшує помилку на обох фронтах, тоді як РФ може зменшити помилку лише за рахунок зменшення дисперсії. Звичайно, як я вже сказав, можуть бути й інші пояснення щодо кращої ефективності Boosting, що спостерігається на практиці. Наприклад, на сторінці 591 вищезгаданої книги йдеться про те, що Boosting перевершує РФ над проблемою вкладеної сфери, оскільки в цьому конкретному випадку справжня межа рішення є додатковою . (?) Вони також повідомляють, що підсилення робить краще, ніж РФ для спаму та даних про житло в Каліфорнії.

Ще одна посилання, яка виявила, що стимулювання випереджає РФ - це Каруана та Нікулеску-Мізіль 2006 . На жаль, вони повідомляють про результати, але не намагаються пояснити, що їх викликає. Вони порівнювали два класифікатори (та багато іншого) за 11 проблемами бінарної класифікації для 8 різних показників продуктивності.

Як сказав Байердж, це апріорі не може знати!

Випадкові ліси досить просто відкалібрувати: параметри за замовчуванням більшості реалізацій (R або Python, наприклад) досягають чудових результатів.

З іншого боку, ГБМ важко налаштувати (занадто велика кількість дерев веде до надмірного навантаження, максимальна глибина є критичною, швидкість навчання та кількість дерев діють разом ...) та довше навчатись (багатопотокові реалізації мало) . Неправильно виконана настройка може призвести до низької продуктивності.

Однак, з мого досвіду, якщо ви витратите достатньо часу на ГБМ, ви, швидше за все, досягнете кращих показників, ніж випадковий ліс.

Редагувати. Чому GBM перевершують випадкові ліси? Відповідь Антуана набагато суворіша, це лише інтуїтивне пояснення. Вони мають більш критичні параметри. Так само, як і випадкові ліси, ви можете калібрувати кількість дерев і$m$кількість змінних, на яких вирощуються дерева. Але ви також можете відкалібрувати рівень навчання та максимальну глибину. Коли ви спостерігаєте більше різних моделей, ніж ви робили з випадковим лісом, ви більше шансів знайти щось краще.