Збільшити штрафи GLM, використовуючи збільшення рядків?

Я читав, що регресія хребта може бути досягнута простим додаванням рядків даних до вихідної матриці даних, де кожен рядок побудований з використанням 0 для залежних змінних та квадратного кореня або нуля для незалежних змінних. Потім додається один додатковий рядок для кожної незалежної змінної.$k$

Мені було цікаво, чи можна отримати доказ для всіх випадків, у тому числі для логістичної регресії чи інших ГЛМ.

Регресія хребта мінімізує .$\sum_{i=1}^n (y_i-x_i^T\beta)^2+\lambda\sum_{j=1}^p\beta_j^2$

(Часто потрібна константа, але не зменшена. У такому випадку вона входить до і предикторів, - але якщо ви не хочете її зменшувати, у вас немає відповідного рядка для псевдоспостереження. Або якщо ви хочете , щоб зменшити його, ви дійсно мають ряд для нього. Я напишу його , як ніби це не враховується в , і не зморщені, так як це більш складний випадок. інший випадок тривіальне зміна від цього .)$\beta$$p$

Ми можемо записати другий доданок як псевдоспостереження, якщо можемо записати кожне "y" і кожен із відповідних -векторів "x" таким, що$p$$(p+1)$

$(y_{n+j}-x_{n+j}^T\beta)^2=\lambda\beta_j^2\,,\quad j=1,\ldots,p$

Але, перевіривши, просто нехай , нехай і нехай всі інші (включаючи як правило).$y_{n+j}=0$$x_{n+j,j}=\sqrt{\lambda}$$x_{n+j,k}=0$$x_{n+j,0}=0$

Потім

$(y_{n+j}-[x_{n+j,0}\beta_0+x_{n+j,1}\beta_1+x_{n+j,2}\beta_2+...+x_{n+j,p}\beta_p])^2=\lambda\beta_j^2$ .

Це працює для лінійної регресії. Це не працює для логістичної регресії, оскільки звичайна логістична регресія не мінімізує суму залишків у квадраті.

[Регресія хребта - не єдине, що можна зробити за допомогою таких псевдо-спостережень - вони придумані в ряді інших контекстів]

Узагальнити цей рецепт до ГЛМ справді не складно, оскільки зазвичай ГММ підходять, використовуючи ітераційно переосмислені найменші квадрати . Отже, в межах кожної ітерації можна підміняти звичайний середньозважений крок з найменшими квадратами з кроком пенальті, зваженим найменшим квадратом, щоб отримати хребет, покараний GLM. Насправді, у поєднанні з адаптаційними штрафними штрафами цей рецепт застосовується для пристосування L0 пенізованих GLM (також найкращий підмножина, тобто GLM, де загальна кількість ненульових коефіцієнтів штрафується). Це було реалізовано, наприклад , в пакеті l0ara см цей документ і цей для деталей.

Варто також зазначити, що застосовується найшвидший спосіб вирішення регулярної регресії хребтів у закритій формі

lmridge_solve = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  solve(crossprod(X) + diag(lambdas), crossprod(X, y))[, 1]
}

для випадку, коли n>=pабо з використанням

lmridge_solve_largep = function (X, Y, lambda) (t(X) %*% solve(tcrossprod(X)+lambda*diag(nrow(X)), Y))[,1]

коли p>nі для моделі без перехоплення.

Це швидше, ніж використовувати рецепт збільшення рядків , тобто робити

lmridge_rbind = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  qr.solve(rbind(X, diag(sqrt(lambdas))), c(y, rep(0, ncol(X))))
}

Якщо вам трапляються необхідності обмеження негативності на встановлених вами коефіцієнтах, тоді ви можете просто зробити

library(nnls)

nnlmridge_solve = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  nnls(A=crossprod(X)+diag(lambdas), b=crossprod(X,Y))$x
}

що дає дещо точніший результат btw, ніж

nnlmridge_rbind = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  nnls(A=rbind(X,diag(sqrt(lambdas))), b=c(Y,rep(0,ncol(X))))$x 
}

(і строго кажучи, тільки рішення nnls(A=crossprod(X)+diag(lambdas), b=crossprod(X,Y))$x тоді є правильним).

Я ще не зрозумів, як обмежений випадок, що обмежується негативністю, може бути додатково оптимізований для цього p > nвипадку - дайте мені знати, якщо хтось трапиться, щоб знати, як це зробити ... [ lmridge_nnls_largep = function (X, Y, lambda) t(X) %*% nnls(A=tcrossprod(X)+lambda*diag(nrow(X)), b=Y)$xне працює]