Чи випадковий ліс є алгоритмом підвищення?

Коротке визначення стимулювання :

Чи може набір слабких учнів створити одного сильного учня? Слабкий учень визначається як класифікатор, який лише трохи корелює з справжньою класифікацією (він може мітити приклади краще, ніж випадкові здогадки).

Коротке визначення випадкових лісів :

Випадкові ліси вирощують багато дерев класифікації. Щоб класифікувати новий об’єкт із вхідного вектора, покладіть вхідний вектор вниз по кожному з дерев лісу. Кожне дерево дає класифікацію, і ми кажемо, що дерево "голосує" за цей клас. Ліс обирає класифікацію, що має найбільше голосів (за всіма деревами в лісі).

Ще одне коротке визначення випадкового лісу :

Випадковий ліс - це метаоцінювач, який підходить до ряду класифікаторів дерев рішень на різних під-зразках набору даних і використовує усереднення для підвищення точності прогнозування та контролю над приміркою.

Як я розумію, Random Forest - це прискорений алгоритм, який використовує дерева як свої слабкі класифікатори. Я знаю, що він також використовує інші методи і вдосконалює їх. Хтось виправив мене, що випадковий ліс не є алгоритмом підвищення?

Хтось може докладно розібратися над цим, чому Random Forest не є прискореним алгоритмом?

Випадковий ліс - це алгоритм мішковування, а не алгоритм підвищення. Вони є двома протилежними способами досягнення низької помилки.

Ми знаємо, що помилка може бути складена з упередженості та відхилення. Занадто складна модель має низький ухил, але велика дисперсія, в той час як занадто проста модель має низьку дисперсію, але великі ухили, обидві призводять до високої помилки, але двох різних причин. Як результат, у свідомості людей потрапляють два різні способи вирішення проблеми (можливо Брейман та інші), зменшення дисперсії для складної моделі або зменшення упередженості для простої моделі, що стосується випадкових лісів та прискорення.

Випадковий ліс зменшує дисперсію великої кількості "складних" моделей з низьким ухилом. Ми можемо бачити, що елементи композиції - це не «слабкі» моделі, а надто складні моделі. Якщо ви читаєте про алгоритм, підсаджуючі дерева висаджуються «дещо» на максимальну величину «можливо». Підстилаючі дерева є незалежними паралельними моделями. І в них вводиться додатковий вибір випадкових змінних, щоб зробити їх ще більш незалежними, що робить його краще, ніж звичайні пакети та надають назву "випадковий".

У той час як прискорення зменшує упередженість великої кількості «малих» моделей з низькою дисперсією. Вони "слабкі" моделі, як ви цитували. Основні елементи якимось чином нагадують ітераційну модель "ланцюга" або "вкладеної" щодо зміщення кожного рівня. Отже, вони не є незалежними паралельними моделями, але кожна модель будується на основі всіх колишніх малих моделей шляхом зважування. Це так зване "підсилення" один за одним.

У книгах та книгах Бреймана досить багато дискутують про дерева, випадковий ліс та підсилення. Це допомагає зрозуміти принцип роботи алгоритму.

Випадковий ліс не вважається стимулюючим типом алгоритму.

Як пояснено у вашому стимулювальному посиланні:

... більшість прискорених алгоритмів складаються з ітеративного навчання слабких класифікаторів щодо розподілу та додавання їх до остаточного сильного класифікатора. Коли вони додаються, вони, як правило, зважуються певним чином, що зазвичай пов'язане зі слабкою точністю учнів. Після додавання слабкого учня дані повторно зважуються ...

Прикладом цього ітеративного процесу є adaboost, внаслідок якого слабкіші результати підсилюються або переосмислюються протягом багатьох ітерацій, щоб учень більше зосередився на неправильних областях і менше на тих правильних спостереженнях.

Випадковий ліс, навпаки, це метод ансамблевого пакетування або усереднення, який має на меті зменшити дисперсію окремих дерев шляхом випадкового вибору (і тим самим де-кореляції) багатьох дерев із набору даних та їх усереднення.

Це розширення мішків. Процедура полягає в наступному: ви берете зразок завантажувальної інформації своїх даних, а потім використовуєте це для вирощування дерева класифікації або регресії (CART). Це робиться заздалегідь визначена кількість разів, і передбачення - це сукупність прогнозів окремих дерев, це може бути голос більшості (для класифікації) або середній (для регресії). Такий підхід називається мішковиною (Breiman 1994). Крім того, кандидатська змінна для кожного розділення кожногодерево взято з випадкової вибірки всіх доступних незалежних змінних. Це вносить ще більшу мінливість і робить дерева більш різноманітними. Це називається методом випадкового підпростору (Ho, 1998). Як вже згадувалося, це створює дуже різноманітні дерева, що перекладається на дерева, які є дуже незалежними один від одного. Через нерівність Дженсена ми знаємо, що середнє значення помилок передбачень цих дерев буде меншим або рівним похибці середнього дерева, вирощеного з цього набору даних. Ще один спосіб поглянути на це - подивитися на середню квадратичну помилку і помітити, як її можна розкласти на зміщення та дисперсійні частини (це пов’язано з проблемою в контрольованому навчанні, що називається компромісом відхилення зміщення). Випадковий ліс досягає кращої точності за рахунок зменшення дисперсії через усереднення прогнозу ортогональних дерев. Слід зазначити, що він успадковує зміщення своїх дерев, що є досить обговорюваною проблемою, перевірте, наприклад, це питання.

Я вважаю, що ви плутаєте підсилення, зокрема, з ансамблевими методами загалом, яких існує багато. Ваше "визначення" стимулювання - це не повне визначення, яке детально розроблено у відповіді Пата. Якщо ви хочете дізнатися більше про методи ансамблю, рекомендую вам взяти наступну книгу:

Джон Старший та Джованні Сені. Ансамблеві методи в обробці даних: підвищення точності за допомогою комбінування прогнозів . (2010 р.)

Випадковий ліс - це техніка падіння, а не прискорювальна техніка. Підвищуючи, як випливає з назви, один навчається у інших, що, в свою чергу, сприяє навчанню.

Дерева у випадкових лісах ведуться паралельно. Не буває взаємодії між цими деревами під час побудови дерев. Після того, як всі дерева побудовані, тоді голосування або середнє значення приймається за всіма прогнозами дерев, залежно від того, проблема є класифікацією чи регресією.

Дерева в алгоритмах прискорення, такі як GBM-Gradient Boosting Machine, навчаються послідовно.

Скажімо, перше дерево навчилося, і воно зробило деякі прогнози щодо даних тренувань. Не всі ці прогнози були б правильними. Скажімо, із загальної кількості 100 передбачень, перше дерево помилилось за 10 спостережень. Тепер цим 10 спостереженням було б надано більше зважування при будівництві другого дерева. Зауважте, що вивчення другого дерева прискорилося завдяки вивченню першого дерева. Отже, термін стимулювання. Таким чином, кожне з дерев будується послідовно над знаннями з минулих дерев.