Класифікація з підвищенням градієнта: як зберегти прогноз у [0,1]

17

Питання

Я намагаюся зрозуміти, як прогноз зберігається в інтервалі $[0,1]$ коли робимо бінарну класифікацію з підвищенням градієнта.

Припустимо, що ми працюємо над проблемою бінарної класифікації, і наша цільова функція - втрата журналу, $-\sum y_i \log(H_m(x_i)) + (1-y_i) \log(1-H_m(x_i))$ , де $y$ - цільова змінна $\in \{0,1\}$ а $H$ - наша поточна модель.

Під час навчання наступного слабкого учня $h_i$ таким, що нашою новою моделлю є $H_i = H_{i-1} + h_i$ , який механізм повинен тримати $H_i \in [0,1]$ ? Або, можливо, більш відповідне питання, чи існує такий механізм?

Більше інформації про те, що я роблю

Я намагаюся реалізувати збільшення градієнта, використовуючи дерева регресії. Що я уникаю, це помножити на коефіцієнт , так що не йде нижче нуля або вище одиниці, і я вибираю в цьому діапазоні, що мінімізує функція втрат. $h_i$ $c \in [0,c_{\text{max}}]$ $H + c_{\text{max}}h$ $c$

Це спричиняє таку проблему: Після декількох раундів у мене є одна точка, яка ідеально класифікована, і найкращий доступний розкол для натискання класифікатора в напрямку градієнта хоче просунути цю точку вище однієї, що я переконуюсь, що цього не відбудеться встановлення . Таким чином, всі наступні ітерації виберуть однаковий розріз і однаковий . $c = 0$ $c = 0$

Я спробував звичайні практики регуляризації

Зниження швидкості навчання шляхом множення на . Це просто затримує проблему. $c$ $\mu = 0.01$
Підгрупуючи простір функцій, але деякі пункти класифікувати дуже просто, вони відмічають майже кожне поле у "Це позитив?" форми, і майже кожен «добрий розкол» показує таку поведінку.

Я думаю, що це не проблема параметрів, і повинен бути більш надійний спосіб виправити це. Я не відкидаю можливості порушення моєї реалізації, але я не знайшов нічого, щоб вирішити цю проблему.

Те, що ми маніпулюємо, в умовах логістичних втрат, має бути ймовірністю, тож як ми цього уникнути?

Моя інтуїція полягала б у тому, щоб поставити модель, яку ми будуємо, , в сигмовидну функцію такою, що вона обмежена , і я думаю, що це спрацювало б, але я хочу знати, чи є інші рішення. Оскільки збільшення градієнта здається успішно використаним у класифікаційних завданнях, має існувати "правильне" (тобто з виправданням) рішення. $H$ $[0,1]$

logistic classification boosting

— Підморгує
джерело

Ви можете зажадати, що

є мультиплікативним, оскільки

адекватно поводиться з іншими вашими експертами.

H

$H$

\ln (H)

$\ln(H)$

— Алекс Р.

22

Мені подобається думати про це аналогічно випадку лінійних моделей та їх поширенню на ГЛМ (узагальнені лінійні моделі).

У лінійній моделі нам підходить лінійна функція для прогнозування нашої реакції

\hat{y} = β_{0} + β_{1} x_{1} + \dots β_{n} x_{n}

$\hat y = \beta_0 + \beta_1 x_1 + \cdots \beta_n x_n$

Для узагальнення інших ситуацій ми вводимо функцію зв’язку, яка перетворює лінійну частину моделі на масштаб відповіді (технічно це зворотна ланка, але, думаю, простіше думати про це таким чином, перетворюючи лінійний предиктор у відповідь, ніж перетворення відповіді у лінійний предиктор).

Наприклад, логістична модель використовує функцію sigmoid (або logit)

\hat{y} = \frac{1}{1 + \exp (- (β_{0} + β_{1} x_{1} + \dots β_{n} x_{n}))}

$\hat y = \frac{1}{1 + \exp(-(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n))}$

і пуассонова регресія використовує експоненціальну функцію

\hat{y} = \exp (β_{0} + β_{1} x_{1} + \dots β_{n} x_{n})

$\hat y = \exp(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n)$

Щоб побудувати аналогію із збільшенням градієнта, ми замінюємо лінійну частину цих моделей на суму підсилених дерев. Так, наприклад, гауссова справа (аналогічна лінійній регресії) стає добре відомою

\hat{y} = \sum_{i} h_{i}

$\hat y = \sum_i h_i$

де - наша послідовність слабких учнів. Біноміальний випадок аналогічний логістичній регресії (як ви зазначили у своїй відповіді) $h_i$

\hat{y} = \frac{1}{1 + \exp (- \sum_{i} h_{i})}

$\hat y = \frac{1}{1 + \exp\left(-\sum_i h_i\right)}$

прискорення пуассона аналогічно регресії пуассона

\hat{y} = \exp (\sum_{i} h_{i})

$\hat y = \exp\left(\sum_i h_i\right)$

Залишається питання, як підходить до цих розширених моделей, коли задіяна функція зв'язку? Для випадку з гаусом, де посиланням є функція ідентичності, часто звучить мантра пристосування слабких учнів до залишків діючої робочої моделі, але це насправді не узагальнює складніші моделі. Трюк полягає в тому, щоб записати мінімальну функцію втрат як функцію лінійної частини моделі (тобто частина рецептури GLM). $\sum_i \beta_i x_i$

Наприклад, біноміальну втрату зазвичай зустрічають як

\sum_{i} y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})

$\sum_i y_i \log(p_i) + (1 - y_i)\log(1 - p_i)$

Тут втрата є функцією , передбачувані значення в тій же шкалі, що і відповідь, а - нелінійне перетворення лінійного предиктора . Натомість ми можемо повторно виразити це як функцію (у цьому випадку також відомий як коефіцієнт журналу) $p_i$ $p_i$ $L_i$ $L_i$

\sum_{i} y_{i} L_{i} - \log (1 + \exp (L_{i}))

$\sum_i y_i L_i - \log(1 + \exp(L_i))$

Тоді ми можемо взяти градієнт цього по відношенню до і посилити, щоб безпосередньо мінімізувати цю величину. $L$

Лише в самому кінці, коли ми хочемо створити передбачення для користувача, ми застосовуємо функцію зв’язку до остаточної послідовності слабких учнів, щоб поставити прогнози на ту саму шкалу, що і відповідь. Приміряючи модель, ми весь час працюємо у лінійному масштабі.

— Метью Друрі
джерело

2

Погодьтеся з тим, що "функція втрати запису мінімізується як функція лінійної частини моделі". Але я думаю, що прямолінійний спосіб зрозуміти це без виведення шаблонів журналу такий: для лінійної частини моделі, тобто

, подумайте про функцію втрат як

r \in (- \infty, \infty)

$r \in (-\infty, \infty)$

, а псевдо-залишковий - просто зробити похідну від втрати wrt

.

- \sum_{i} (y_{i} \log \frac{1}{1 + e^{- r}} + (1 - y_{i}) \log (1 - \frac{1}{1 + e^{- r}}))

$- \sum_i \big( y_i \log \frac{1}{1+e^{-r}}+(1-y_i)\log ( 1 - \frac{1}{1+e^{-r}}) \big)$

r

$r$

— користувач2830451

@ matthew-drury Ви можете, будь ласка, додати трохи світла на мультиноміальну секцію K класу того ж алгоритму, де подібна ідея поширюється на її роботу?

— MixCoded

6

Після деяких досліджень, здається, моя інтуїція та коментар Алекса Р. вірні.

$[0,1]$ $H$ $H \in \mathbb{R}$

\frac{1}{1 + e^{- H}} \in [0, 1]

$\frac{1}{1 + e^{-H}} \in [0,1]$

H

$H$

Це було запропоновано в статті " Аддитивна логістична регресія": статистичний погляд на підвищення Friedman, Hastie та Tibshirani для створення LogitBoost (Wikipedia) , адаптації AdaBoost (Wikipedia) до логістичних втрат.

Якщо дуже просто сказати, якщо можливо перейти від лінійної регресії до логістичної регресії шляхом додавання сигмоїди, то вона також працює для перетворення посилення регресії в прискорення класифікації.

— Підморгує
джерело