Випадковий ліс проти Адабоост

У розділі 7 статті " Випадкові ліси" (Брейман, 1999) автор констатує таку гіпотезу: "Адабоост - випадковий ліс".

Хтось довів чи спростував це? Що було зроблено для підтвердження чи спростування цієї посади 1999 року?

machine-learning random-forest boosting

Будь ласка, прочитайте stats.stackexchange.com/questions/77018/… Можливо, ви знайдете свою відповідь там

@ user75008 Дякую! Отже, у розділі 7 передбачена ще одна домисловість, що, якщо доведено, показує, що adaboost еквівалентний випадковому лісу. Хтось показав, що ця думка є правдивою?

— Олексій

@ user75008 Я читаю ваше посилання, stats.stackexchange.com/questions/77018/… , чи вважаєте ви, що це говорить про те, що Adaboost не еквівалентний Random Forest?

— Олексій

Цікаве запитання. Відтоді була проведена робота над поясненням прискорення адаптації за допомогою декількох різних тактик.

Я здійснив швидкий пошук літератури, і цей дещо дивний документ виглядає як самий останній на цю тему, а також рецензує купу заступницьких робіт Брімена та інших:

http://arxiv.org/pdf/1212.1108.pdf

Я не маю уявлення, чи є їхні результати справедливими, але вони стверджують, що не довели домислу Брімена, але довели послаблену версію, стверджуючи, що adaboost є мірою збереженням, але не обов'язково ергодичним.

Вони також представляють деякі емпіричні докази того, що adaboost насправді іноді є надмірним.

Я думаю, що припущення adaboost може бути пов'язане з випадковим лісом, але не цілком (або не завжди) еквівалентом у тому, як вигадав Брімен?

— Райан Бресслер
джерело

дякую, тож я думаю, це все ще відкрите питання, але ваше останнє твердження говорить.

— Олексій

Так, я думаю, він все ще відкритий. Я також думаю, що інтерес знизився до аналізу AdaBoost, оскільки машини для підвищення градієнта [стохастичного] стали більш популярними. AdaBoost - це форма спуску градієнта ( en.wikipedia.org/wiki/AdaBoost#Boosting_as_Gradient_Descent ), а мислення з точки зору явно рандомізованого градієнтного спуску може бути більш інтуїтивним та практичнішим, ніж еквівалентність, яку запропонував Брімен. (Тобто навіть якщо це було правдою, це може бути дуже важко відібрати від необхідного розподілу на практиці.)

— Райан Бресслер

Я щойно побачив цей новий документ на тему: arxiv.org/pdf/1504.07676v1.pdf

— Райан Бресслер

Дуже цікаво, якщо правда! "Ми робимо висновок, що стимулювання слід використовувати як випадкові ліси: з великими деревами рішень і без прямої регуляризації або ранньої зупинки".

— Олексій