Що відбувається тут, коли я використовую квадратичні втрати для налаштування логістичної регресії?

Я намагаюся використовувати збиток у квадраті, щоб зробити бінарну класифікацію набору даних про іграшки.

Я використовую mtcarsнабір даних, використовуйте милю на галон і вагу для прогнозування типу передачі. На графіку нижче показані два типи даних передачі різних кольорів та межа прийняття рішення, породжена різними функціями втрат. Збиток у квадраті - де - мітка правди (0 або 1), а - прогнозована ймовірність . Іншими словами, я замінюю логістичні втрати квадратними втратами в класифікаційній установці, інші частини - ті ж. $\sum_i (y_i-p_i)^2$ $y_i$ $p_i$ $p_i=\text{Logit}^{-1}(\beta^Tx_i)$

Для іграшкового прикладу з mtcarsданими, у багатьох випадках я отримав модель, «подібну» до логістичної регресії (див. Наступну рисунок із випадковим насінням 0).

Але в деяких випадках (якщо ми це зробимо set.seed(1)), збиток у квадраті, здається, не працює добре. Що тут відбувається? Оптимізація не сходиться? Логістичні втрати простіше оптимізувати порівняно із збитками у квадраті? Будь-яка допомога буде вдячна.

Код

d=mtcars[,c("am","mpg","wt")]
plot(d$mpg,d$wt,col=factor(d$am))
lg_fit=glm(am~.,d, family = binomial())
abline(-lg_fit$coefficients[1]/lg_fit$coefficients[3],
       -lg_fit$coefficients[2]/lg_fit$coefficients[3])
grid()

# sq loss
lossSqOnBinary<-function(x,y,w){
  p=plogis(x %*% w)
  return(sum((y-p)^2))
}

# ----------------------------------------------------------------
# note, this random seed is important for squared loss work
# ----------------------------------------------------------------
set.seed(0)

x0=runif(3)
x=as.matrix(cbind(1,d[,2:3]))
y=d$am
opt=optim(x0, lossSqOnBinary, method="BFGS", x=x,y=y)

abline(-opt$par[1]/opt$par[3],
       -opt$par[2]/opt$par[3], lty=2)
legend(25,5,c("logisitc loss","squared loss"), lty=c(1,2))

— Хайтао Ду
джерело

Можливо, випадкове початкове значення є поганим. Чому б не вибрати кращого?

— whuber

@whuber логістичні втрати опуклі, тому починати значення не має. як щодо втрат у квадраті на p і y? це опуклий?

— Haitao Du

Я не в змозі відтворити те, що ви описуєте. optimговорить вам, що він ще не закінчився, ось і все: це сходиться. Ви можете багато чого навчитися, скоригувавши свій код додатковим аргументом control=list(maxit=10000), побудувавши його відповідність та порівнявши його коефіцієнти з вихідними.

— whuber

@amoeba дякую за ваші коментарі, я переглянув питання. сподіваємось, що краще.

— Haitao Du

@amoeba Я перегляну легенду, але це твердження не виправить (3)? "Я використовую набір даних mtcars, використовуйте милю на галон і вагу для прогнозування типу передачі. На графіку нижче показані два типи даних передачі різних кольорів та межа прийняття рішення, породжена різною функцією втрати."

— Haitao Du

Відповіді:

Схоже, ви вирішили цю проблему у вашому конкретному прикладі, але я думаю, що все-таки варто уважніше вивчити різницю між найменшими квадратами та максимально можливою логістичною регресією.

Давайте отримаємо деяке позначення. Нехай $L_S(y_i, \hat y_i) = \frac 12(y_i - \hat y_i)^2$ і $L_L(y_i, \hat y_i) = y_i \log \hat y_i + (1 - y_i) \log(1 - \hat y_i)$ . Якщо ми робимо максимальну ймовірність (або мінімальний журнал ймовірність негативногояк я роблю тут), ми маємо

{\hat{β}}_{L} := {argmin}_{b \in R^{p}} - \sum_{i = 1}^{n} y_{i} \log g^{- 1} (x_{i}^{T} b) + (1 - y_{i}) \log (1 - g^{- 1} (x_{i}^{T} b))

$\hat \beta_L := \text{argmin}_{b \in \mathbb R^p} -\sum_{i=1}^n y_i \log g^{-1}(x_i^T b) + (1-y_i)\log(1 - g^{-1}(x_i^T b))$ причому

g

$g$ є нашою функцією зв'язку.

Як альтернативи ми маємо

{\hat{β}}_{S} := {argmin}_{b \in R^{p}} \frac{1}{2} \sum_{i = 1}^{n} (y_{i} - g^{- 1} (x_{i}^{T} b))^{2}

$\hat \beta_S := \text{argmin}_{b \in \mathbb R^p} \frac 12 \sum_{i=1}^n (y_i - g^{-1}(x_i^T b))^2$ як найменший розчин квадратів. Таким чином

мінімізує

і аналогічно для

{\hat{β}}_{S}

$\hat \beta_S$

L_{S}

$L_S$

L_{L}

$L_L$

Нехай $f_S$ і $f_L$ - цільові функції, що відповідають мінімізації $L_S$ і $L_L$ , відповіднояк це робиться для і . Нехайнарешті, , так . Зауважте, що якщо ми використовуємо канонічне посилання, у нас $\hat \beta_S$ $\hat \beta_L$ $h = g^{-1}$ $\hat y_i = h(x_i^T b)$

h (z) = \frac{1}{1 + e^{- z}} ⟹ h^{'} (z) = h (z) (1 - h (z)) .

$h(z) = \frac{1}{1+e^{-z}} \implies h'(z) = h(z) (1 - h(z)).$

Для регулярної логістичної регресії ми маємо

\frac{\partial f_{L}}{\partial b_{j}} = - \sum_{i = 1}^{n} h^{'} (x_{i}^{T} b) x_{i j} (\frac{y_{i}}{h (x_{i}^{T} b)} - \frac{1 - y_{i}}{1 - h (x_{i}^{T} b)}) .

$\frac{\partial f_L}{\partial b_j} = -\sum_{i=1}^n h'(x_i^T b)x_{ij} \left( \frac{y_i}{h(x_i^T b)} - \frac{1-y_i}{1 - h(x_i^T b)}\right).$ Використовуючи

h^{'} = h \cdot (1 - h)

$h' = h \cdot (1 - h)$ ми можемо спростити це до

\frac{\partial f_{L}}{\partial b_{j}} = - \sum_{i = 1}^{n} x_{i j} (y_{i} (1 - {\hat{y}}_{i}) - (1 - y_{i}) {\hat{y}}_{i}) = - \sum_{i = 1}^{n} x_{i j} (y_{i} - {\hat{y}}_{i})

$\frac{\partial f_L}{\partial b_j} = -\sum_{i=1}^n x_{ij} \left( y_i(1 - \hat y_i) - (1-y_i)\hat y_i\right) = -\sum_{i=1}^n x_{ij}(y_i - \hat y_i)$ тому

\nabla f_{L} (b) = - X^{T} (Y - \hat{Y}) .

$\nabla f_L(b) = -X^T (Y - \hat Y).$

Далі зробимо другі похідні. Гессієць

H_{L} := \frac{\partial^{2} f_{L}}{\partial b_{j} \partial b_{k}} = \sum_{i = 1}^{n} x_{i j} x_{i k} {\hat{y}}_{i} (1 - {\hat{y}}_{i}) .

$H_L:= \frac{\partial^2 f_L}{\partial b_j \partial b_k} = \sum_{i=1}^n x_{ij} x_{ik} \hat y_i (1 - \hat y_i).$ Це означаєщо

H_{L} = X^{T} A X

$H_L = X^T A X$ де

дійсно залежить від поточних

A = diag (\hat{Y} (1 - \hat{Y}))

$A = \text{diag} \left(\hat Y (1 - \hat Y)\right)$

H_{L}

$H_L$

\hat{Y}

$\hat Y$ але

Y

$Y$ випало, а

H_{L}

$H_L$ - PSD. Таким чином, наша проблема оптимізації випукла в

b

$b$ .

Порівняймо це з найменшими квадратами.

\frac{\partial f_{S}}{\partial b_{j}} = - \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i}) h^{'} (x_{i}^{T} b) x_{i j} .

$\frac{\partial f_S}{\partial b_j} = - \sum_{i=1}^n (y_i - \hat y_i) h'(x^T_i b)x_{ij}.$

This means we have

\nabla f_{S} (b) = - X^{T} A (Y - \hat{Y}) .

$\nabla f_S(b) = -X^T A (Y - \hat Y).$ This is a vital point: the gradient is almost the same except for all

i

$i$

{\hat{y}}_{i} (1 - {\hat{y}}_{i}) \in (0, 1)

$\hat y_i (1 - \hat y_i) \in (0,1)$ so basically we're flattening the gradient relative to

\nabla f_{L}

$\nabla f_L$ . This'll make convergence slower.

For the Hessian we can first write

\frac{\partial f_{S}}{\partial b_{j}} = - \sum_{i = 1}^{n} x_{i j} (y_{i} - {\hat{y}}_{i}) {\hat{y}}_{i} (1 - {\hat{y}}_{i}) = - \sum_{i = 1}^{n} x_{i j} (y_{i} {\hat{y}}_{i} - (1 + y_{i}) {\hat{y}}_{i}^{2} + {\hat{y}}_{i}^{3}) .

$\frac{\partial f_S}{\partial b_j} = - \sum_{i=1}^n x_{ij}(y_i - \hat y_i) \hat y_i (1 - \hat y_i) = - \sum_{i=1}^n x_{ij}\left( y_i \hat y_i - (1+y_i)\hat y_i^2 + \hat y_i^3\right).$

This leads us to

H_{S} := \frac{\partial^{2} f_{S}}{\partial b_{j} \partial b_{k}} = - \sum_{i = 1}^{n} x_{i j} x_{i k} h^{'} (x_{i}^{T} b) (y_{i} - 2 (1 + y_{i}) {\hat{y}}_{i} + 3 {\hat{y}}_{i}^{2}) .

$H_S:=\frac{\partial^2 f_S}{\partial b_j \partial b_k} = - \sum_{i=1}^n x_{ij} x_{ik} h'(x_i^T b) \left( y_i - 2(1+y_i)\hat y_i + 3 \hat y_i^2 \right).$

Let $B = \text{diag} \left( y_i - 2(1+y_i)\hat y_i + 3 \hat y_i ^2 \right)$ . We now have

H_{S} = - X^{T} A B X .

$H_S = -X^T A B X.$

Unfortunately for us, the weights in $B$ are not guaranteed to be non-negative: if $y_i = 0$ then $y_i - 2(1+y_i)\hat y_i + 3 \hat y_i ^2 = \hat y_i (3 \hat y_i - 2)$ which is positive iff $\hat y_i > \frac 23$ . Similarly, if $y_i = 1$ then $y_i - 2(1+y_i)\hat y_i + 3 \hat y_i ^2 = 1-4 \hat y_i + 3 \hat y_i^2$ which is positive when $\hat y_i < \frac 13$ (it's also positive for $\hat y_i > 1$ but that's not possible). This means that $H_S$ is not necessarily PSD, so not only are we squashing our gradients which will make learning harder, but we've also messed up the convexity of our problem.

All in all, it's no surprise that least squares logistic regression struggles sometimes, and in your example you've got enough fitted values close to $0$ or $1$ so that $\hat y_i (1 - \hat y_i)$ can be pretty small and thus the gradient is quite flattened.

Connecting this to neural networks, even though this is but a humble logistic regression I think with squared loss you're experiencing something like what Goodfellow, Bengio, and Courville are referring to in their Deep Learning book when they write the following:

One recurring theme throughout neural network design is that the gradient of the cost function must be large and predictable enough to serve as a good guide for the learning algorithm. Functions that saturate (become very flat) undermine this objective because they make the gradient become very small. In many cases this happens because the activation functions used to produce the output of the hidden units or the output units saturate. The negative log-likelihood helps to avoid this problem for many models. Many output units involve an exp function that can saturate when its argument is very negative. The log function in the negative log-likelihood cost function undoes the exp of some output units. We will discuss the interaction between the cost function and the choice of output unit in Sec. 6.2.2.

and, in 6.2.2,

Unfortunately, mean squared error and mean absolute error often lead to poor results when used with gradient-based optimization. Some output units that saturate produce very small gradients when combined with these cost functions. This is one reason that the cross-entropy cost function is more popular than mean squared error or mean absolute error, even when it is not necessary to estimate an entire distribution $p(y|x)$ .

(both excerpts are from chapter 6).

— jld
джерело

I really like you helped me to derive the derivative and hessian. I will check it more careful tomorrow.

— Haitao Du

@hxd1011 you're very welcome, and thanks for the link to that older question of yours! I've really been meaning to go through this more carefully so this was a great excuse :)

— jld

I carefully read the math and verified with code. I found Hessian for squared loss does not match the numerical approximation. Could you check it? I am more than happy to show you the code if you want.

— Haitao Du

@hxd1011 I just went through the derivation again and I think there's a sign error: for

H_{S}

$H_S$ I think everywhere that I have

y_{i} - 2 (1 - y_{i}) {\hat{y}}_{i} + 3 {\hat{y}}_{i}^{2}

$y_i - 2(1-y_i)\hat y_i + 3 \hat y_i^2$ it should be

y_{i} - 2 (\underset{⏟}{1 + y_{i}}) {\hat{y}}_{i} + 3 {\hat{y}}_{i}^{2}

$y_i - 2(\underbrace{1+y_i})\hat y_i + 3 \hat y_i^2$ . Could you recheck and tell me if that fixes it? Thanks a lot for the correction.

— jld

@hxd1011 glad that fixed it! thanks again for finding that

— jld

Я хотів би подякувати @whuber та @Chaconne за допомогу. Особливо @Chaconne, ця деривація - це те, що я хотіла роками.

Проблема полягає в оптимізаційній частині. Якщо ми встановимо випадкове насіння в 1, BFGS за замовчуванням не буде працювати. Але якщо ми змінимо алгоритм і змінимо максимальне ітераційне число, воно запрацює знову.

Як зазначалося @Chaconne, проблема класифікації втрат для класифікації не випукла і важче оптимізувати. Щоб додати математику @ Chaconne, я хотів би представити деякі візуалізації щодо логістичних втрат та втрат у квадраті.

Ми змінимо демо-дані mtcars, оскільки оригінальний приклад іграшки є $3$ коефіцієнти, включаючи перехоплення. Ми будемо використовувати інший набір даних про іграшки, згенерований mlbenchу цьому наборі даних $2$ параметри, що краще для візуалізації.

Ось демонстрація

Дані показані на лівій фігурі: у нас є два класи у двох кольорах. x, y - це дві функції для даних. Крім того, ми використовуємо червону лінію для представлення лінійного класифікатора від логістичних втрат, а синя лінія - лінійний класифікатор від квадратних втрат.
Середня і права цифра показують контур логістичних втрат (червоний) та втрати у квадраті (синій). x, y - два параметри, які нам підходять. Крапка - оптимальна точка, знайдена BFGS.

З контуру ми можемо легко зрозуміти, як оптимізувати втрати в квадраті складніше: як згадував Chaconne, він не випуклий.

Ось ще один погляд з persp3d.

Код

set.seed(0)
d=mlbench::mlbench.2dnormals(50,2,r=1)
x=d$x
y=ifelse(d$classes==1,1,0)

lg_loss <- function(w){
  p=plogis(x %*% w)
  L=-y*log(p)-(1-y)*log(1-p)
  return(sum(L))
}
sq_loss <- function(w){
  p=plogis(x %*% w)
  L=sum((y-p)^2)
  return(L)
}

w_grid_v=seq(-15,15,0.1)
w_grid=expand.grid(w_grid_v,w_grid_v)

opt1=optimx::optimx(c(1,1),fn=lg_loss ,method="BFGS")
z1=matrix(apply(w_grid,1,lg_loss),ncol=length(w_grid_v))

opt2=optimx::optimx(c(1,1),fn=sq_loss ,method="BFGS")
z2=matrix(apply(w_grid,1,sq_loss),ncol=length(w_grid_v))

par(mfrow=c(1,3))
plot(d,xlim=c(-3,3),ylim=c(-3,3))
abline(0,-opt1$p2/opt1$p1,col='darkred',lwd=2)
abline(0,-opt2$p2/opt2$p1,col='blue',lwd=2)
grid()
contour(w_grid_v,w_grid_v,z1,col='darkred',lwd=2, nlevels = 8)
points(opt1$p1,opt1$p2,col='darkred',pch=19)
grid()
contour(w_grid_v,w_grid_v,z2,col='blue',lwd=2, nlevels = 8)
points(opt2$p1,opt2$p2,col='blue',pch=19)
grid()


# library(rgl)
# persp3d(w_grid_v,w_grid_v,z1,col='darkred')

— Хайтао Ду
джерело

I don't see any non-convexity on the third subplot of your first figure...

— amoeba says Reinstate Monica

@amoeba I thought convex contour is more like ellipse, two U shaped curve back to back is non-convex, is that right?

— Haitao Du

No, why? Maybe it's a part of a larger ellipse-like contour? I mean, it might very well be non-convex, I am just saying that I do not see it on this particular figure.

— amoeba says Reinstate Monica