Чому б не завжди використовувати ансамблеве навчання?

Мені здається, що ансамблеве навчання завжди дасть кращі показники прогнозування, ніж лише одна гіпотеза навчання.

То чому б ми не використовували їх постійно?

Моя здогадка, можливо, через обчислювальні обмеження? (навіть тоді ми використовуємо слабкі предиктори, тому я не знаю).

Загалом, це неправда, що це завжди буде краще. Існує кілька методів ансамблю, кожен з яких має свої переваги / слабкі сторони. Який з них використовувати, а потім залежить від проблеми.

Наприклад, якщо у вас є моделі з великою дисперсією (вони надмірно відповідають вашим даним), то ви, ймовірно, отримаєте користь від використання мішків. Якщо у вас є упереджені моделі, то краще поєднувати їх з Boosting. Існують також різні стратегії формування ансамблів. Тема просто занадто широка, щоб охопити її однією відповіддю.

Але моя думка полягає в тому, що якщо ви використовуєте неправильний метод ансамблю для своєї установки, ви не будете робити краще. Наприклад, використання Baging з упередженою моделлю не допоможе.

Крім того, якщо вам потрібно працювати в імовірнісній обстановці, ансамблеві методи можуть також не працювати. Як відомо , що Активізації (в його найбільш популярних формах , таких як AdaBoost) забезпечує погані оцінки ймовірності. Тобто, якщо ви хочете мати модель, яка дозволяє міркувати про свої дані, а не лише про класифікацію, вам може бути краще з графічною моделлю.