Градієнт для функції логістичних втрат

Я б задавав питання, пов’язане з цим .

Я знайшов приклад написання спеціальної функції втрати для xgboost тут :

loglossobj <- function(preds, dtrain) {
  # dtrain is the internal format of the training data
  # We extract the labels from the training data
  labels <- getinfo(dtrain, "label")
  # We compute the 1st and 2nd gradient, as grad and hess
  preds <- 1/(1 + exp(-preds))
  grad <- preds - labels
  hess <- preds * (1 - preds)
  # Return the result as a list
  return(list(grad = grad, hess = hess))
}

Логістична функція втрат є

л о г (1 + е^{- у П})

$log(1+e^{-yP})$

де - коефіцієнти журналу, а - мітки (0 або 1). $P$ $y$

Моє запитання: як ми можемо отримати градієнт (перша похідна) просто рівний різниці між справжніми значеннями та передбачуваними ймовірностями (обчислюється з log-коефіцієнтів як preds <- 1/(1 + exp(-preds)))?

— Огурцов
джерело

Для цього слід використовувати втрати в квадраті. Ваше позначення є заплутаним і його слід визначити у публікації. Якщо

- прогнозований ризик, то

втрата - це те, що ви хочете. Я розгублений, тому що ми ніколи не використовуємо

для позначення коефіцієнтів журналу.

p

$p$

(y - p)^{2}

$(y-p)^2$

p

$p$

— АдамО

закріпився капіталом

. Це коефіцієнт журналу, і це чітко позначено у питанні. Я знаю, що градієнт для функції втрат

, але це квадратна втрата, а не логістика.

p

$p$

P

$P$

(y - f (x))^{2}

$(y-f(x))^2$

f (x) - y

$f(x)-y$

— Огурцов

Коли ви говорите "градієнт", який градієнт ви маєте на увазі? Градієнт втрат? Це просте математичне співвідношення: якщо похідна виразу є лінійною різницею, то вираз є квадратичною різницею або втратою помилки в квадраті.

— АдамО

Так, мова йде про градієнт втрат. Це просто, коли функція втрати - це помилка в квадраті. У цьому випадку функція втрати - це логістична втрата ( en.wikipedia.org/wiki/LogitBoost ), і я не можу знайти відповідність між градієнтом цієї функції та наведеним прикладом коду.

— Огурцов

Моя відповідь на моє запитання: так, можна показати, що градієнт логістичних втрат дорівнює різниці між справжніми значеннями та прогнозованими ймовірностями. Короткий пояснення було знайдено тут .

По-перше, логістичні втрати - це лише негативна ймовірність журналу, тому ми можемо почати з вираження для лого-ймовірності ( стор. 74 - цей вираз є ймовірністю журналу, а не негативною ймовірністю журналу):

L = у_{i} \cdot л о г (p_{i}) + (1 - у_{i}) \cdot л о г (1 - p_{i})

$L=y_{i}\cdot log(p_{i})+(1-y_{i})\cdot log(1-p_{i})$

- логістична функція: $p_{i}$ $p_{i}=\frac{1}{1+e^{-\hat{y}_{i}}}$ $\hat{y}_{i}$

L = у_{i} \cdot л о г (\frac{1}{1 + е^{- {\hat{у}}_{i}}}) + (1 - у_{i}) \cdot л о г (\frac{е^{- {\hat{у}}_{i}}}{1 + е^{- {\hat{у}}_{i}}})

$L=y_{i}\cdot log\left(\frac{1}{1+e^{-\hat{y}_{i}}}\right)+(1-y_{i})\cdot log\left(\frac{e^{-\hat{y}_{i}}}{1+e^{-\hat{y}_{i}}}\right)$

Перше похідне, отримане за допомогою Wolfram Alpha:

L^{'} = \frac{у_{i} - (1 - у_{i}) \cdot е^{{\hat{у}}_{i}}}{1 + е^{{\hat{у}}_{i}}}

${L}'=\frac{y_{i}-(1-y_{i})\cdot e^{\hat{y}_{i}}}{1+e^{\hat{y}_{i}}}$

$\frac{e^{-\hat{y}_{i}}}{e^{-\hat{y}_{i}}}$

L^{'} = \frac{у_{i} \cdot е^{- {\hat{у}}_{i}} + у_{i} - 1}{1 + е^{- {\hat{у}}_{i}}} = \frac{у_{i} \cdot (1 + е^{- {\hat{у}}_{i}})}{1 + е^{- {\hat{у}}_{i}}} - \frac{1}{1 + е^{- {\hat{у}}_{i}}} = у_{i} - p_{i}

${L}'=\frac{y_{i}\cdot e^{-\hat{y}_{i}}+y_{i}-1}{1+e^{-\hat{y}_{i}}}= \frac{y_{i}\cdot (1+e^{-\hat{y}_{i}})}{1+e^{-\hat{y}_{i}}}-\frac{1}{1+e^{-\hat{y}_{i}}}=y_{i}-p_{i}$

Після зміни знаку ми маємо вираз для градієнта функції логістичних втрат:

p_{i} - у_{i}

$p_{i}-y_{i}$

— Огурцов
джерело

\hat{y}

$\hat{y}$

y

$y$

ν

$\nu$

\frac{1}{p_{i} (1 - p_{i})} (y_{i} - p_{i})

$\frac{1}{p_i(1-p_i)}(y_i - p_i)$