Не плутайте поводження з передбачувачами (через базових учнів, наприклад, пеньків) та керування функцією втрат при збільшенні. Хоча AdaBoost можна розглядати як пошук комбінацій базових учнів, щоб мінімізувати помилку помилок, класифікація, яку ви цитуєте , "Додаткова логістична регресія" показує, що вона також може бути сформульована для мінімізації функції експоненціальної втрати. Це розуміння відкрило стимулюючий підхід до широкого класу проблем машинного навчання, що мінімізують функції диференційованих втрат за рахунок градієнтного прискорення . Залишки, які підходять на кожному кроці, - це псевдо залишки, обчислені з градієнта функції втрат. Навіть якщо прогноктори моделюються як бінарні пні, вихід цієї моделі не повинен бути бінарним вибором.
Як говориться в іншій відповіді, лінійні базові студенти можуть не працювати для підвищення рівня, але для лінійних базових учнів не потрібно «посилена регресія» ні в стандартному, ні в логістичному сенсі. Рішуче нелінійні пні можуть поєднуватися як повільні учні, щоб мінімізувати відповідні функції втрат. Це все ще називається "посиленою регресією", хоча це далеко не стандартна лінійна модель регресії в коефіцієнтах предикторів. Функція втрат може бути функціонально однаковою для лінійних моделей та моделей "посиленої регресії" з пнями або деревами, як прогнози. Розділ 8 ISLR робить це досить зрозумілим.
Тож якщо ви хочете, щоб логістична регресія була еквівалентною посиленій регресії, зосередьтеся на функції втрат, а не на базових учнях. Ось що робить підхід LogitBoost в роботі, яку ви цитуєте: мінімізувати втрати журналу, а не експоненціальну втрату, що міститься в adaboost. Ця сторінка описує сторінку Wikipedia AdaBoost .
Багато учасників цього сайту стверджують, що прогнозування на основі журналу коефіцієнтів / імовірностей є більш переважним перед суворим прогнозом класифікації так / ні, оскільки попереднє, як правило, дозволяє проводити різні компроміси між додатковими витратами помилково-позитивних та хибно-негативних прогнозів . Як свідчить відповідь на ваше пов’язане запитання , можна отримати оцінені ймовірності від сильного класифікатора, похідного від AdaBoost, але LogitBoost цілком може дати кращі показники.
Реалізація збільшення градієнта для класифікації може надати інформацію про основні ймовірності. Наприклад, на цій сторінці при збільшенні градієнта показано, як sklearnкод дозволяє вибирати між втратами відхилень для логістичної регресії та експоненціальними втратами для AdaBoost та документами функцій для прогнозування ймовірностей в моделі, підсиленій градієнтом.