Щодо прискорення алгоритмів, я б сказав, що вони розвивалися досить добре. На початку 1995 року була представлена AdaBoost, потім через деякий час це була градієнтна машина для підсилення (GBM). Нещодавно, близько 2015 року, було представлено XGBoost, який є точним, справляється з оснащенням і став переможцем кількох змагань Kaggle. У 2017 році компанія LightGBM була представлена компанією Microsoft, вона пропонує значно менший час навчання порівняно з XGBoost. Також CatBoost був представлений Яндексом для обробки категоричних особливостей.
Випадковий ліс був введений на початку 2000-х, але чи були в ньому гідні наступники? Я думаю, якби існував кращий алгоритм розробки, ніж Random Forest (який можна легко застосувати на практиці), він би привернув певну увагу в таких місцях, як Kaggle. Крім того, чому підсилення стало більш популярною технікою ансамблю, це тому, що ви можете побудувати менше дерев для оптимального прогнозування?