Як отримати рішення про регресію хребта?

40

У мене виникають деякі проблеми з виведенням рішення для регресії хребта.

Я знаю рішення регресії без терміну регуляризації:

β = (X^{T} X)^{- 1} X^{T} y .

$\beta = (X^TX)^{-1}X^Ty.$

Але після додавання терміна L2 до функції витрат, яким чином стає рішенням $\lambda\|\beta\|_2^2$

β = (X^{T} X + λ I)^{- 1} X^{T} y .

$\beta = (X^TX + \lambda I)^{-1}X^Ty.$

— користувач34790
джерело

23

Досить змінити функцію втрат, додавши штраф. У матричному відношенні початковою квадратичною втратою стає

(Y - X β)^{T} (Y - X β) + λ β^{T} β .

$(Y - X\beta)^{T}(Y-X\beta) + \lambda \beta^T\beta.$ Виведення відносно

β

$\beta$ призводить до нормального рівняння

X^{T} Y = (X^{T} X + λ I) β

$X^{T}Y = \left(X^{T}X + \lambda I\right)\beta$ що веде до оцінювача Ріджа.

— Джоні
джерело

1

Чому похідна від

λ β^{T} β

$\lambda \beta^T \beta$ дорівнює

λ I β

$\lambda I \beta$

— user34790

4

@ user34790 Це не так. Це дорівнює

2 λ β

$2\lambda\beta$ . Але 2 скасовують аналогічні 2 на інших умовах. Звичайно, коефіцієнт

I

$I$ схожий на коефіцієнт 1 у "звичайній" алгебрі, ви можете помножити його де завгодно, не змінюючи нічого.

— Білл

4

@bill: тут вам знадобиться щоб отримати матрицю правильного розміру, тому додавання працює з : - просто скаляр

I

$I$

X^{T} X

$X^TX$

λ

$\lambda$

— Генрі

47

Давайте побудуємо на тому, що ми знаємо, а саме: щоразу, коли матриця моделі дорівнює , відповідь -вектор - , а параметр -vector - , цільова функція $n\times p$ $X$ $n$ $y$ $p$ $\beta$

f (β) = (y - X β)^{'} (y - X β)

$f(\beta) = (y - X\beta)^\prime(y - X\beta)$

(що є сумою квадратів залишків) зводиться до мінімуму, коли розв'язує нормальні рівняння $\beta$

(X^{'} X) β = X^{'} y .

$(X^\prime X)\beta = X^\prime y.$

Регресія хребта додає ще один термін до цільової функції (зазвичай після стандартизації всіх змінних для того, щоб поставити їх на загальну основу), вимагаючи мінімізувати

(y - X β)^{'} (y - X β) + λ β^{'} β

$(y - X\beta)^\prime(y - X\beta) + \lambda \beta^\prime \beta$

для деякої негативної константи . Це сума квадратів залишків плюс кратна сумі квадратів самих коефіцієнтів (очевидно, що він має глобальний мінімум). Оскільки , він має позитивний квадратний корінь . $\lambda$ $\lambda\ge 0$ $\nu^2 = \lambda$

Розглянемо матрицю доповненої з рядами , відповідні раз в одиничну матрицю : $X$ $\nu$ $p\times p$ $I$

X_{*} = (\begin{matrix} X \\ ν I \end{matrix})

$X_{*} = \pmatrix{X \\ \nu I}$

Коли вектор аналогічно розширений з нулями в кінці до , матричний добуток в цільовій функції додає додаткові умови форми до початкової мети. Тому $y$ $p$ $y_{*}$ $p$ $(0 - \nu \beta_i)^2 = \lambda \beta_i^2$

(y_{*} - X_{*} β)^{'} (y_{*} - X_{*} β) = (y - X β)^{'} (y - X β) + λ β^{'} β .

$(y_{*} - X_{*}\beta)^\prime(y_{*} - X_{*}\beta) = (y - X\beta)^\prime(y - X\beta) + \lambda \beta^\prime \beta.$

З форми виразу лівої руки випливає, що нормальні рівняння є

(X_{*}^{'} X_{*}) β = X_{*}^{'} y_{*} .

$(X_{*}^\prime X_{*})\beta = X_{*}^\prime y_{*}.$

Оскільки ми примикали нулі до кінця , права рука є такою ж, як . На лівій стороні додається до вихідного . Тому нові нормальні рівняння спрощуються до $y$ $X^\prime y$ $\nu^2 I=\lambda I$ $X^\prime X$

(X^{'} X + λ I) β = X^{'} y .

$(X^\prime X + \lambda I)\beta = X^\prime y.$

Крім концептуально економічного - для отримання цього результату не потрібні нові маніпуляції - це також обчислювально економічно: ваше програмне забезпечення для виконання звичайних найменших квадратів також буде робити регресію хребта без будь-яких змін. (Тим не менш, може бути корисним у великих проблемах використання програмного забезпечення, розробленого для цієї мети, оскільки воно буде використовувати спеціальну структуру для ефективного отримання результатів для щільно розташованого інтервалу , що дозволяє вивчити, як змінюються відповіді з .) $X_{*}$ $\lambda$ $\lambda$

Ще одна краса такого способу погляду на речі полягає в тому, як це може допомогти нам зрозуміти регресію хребта. Коли ми хочемо реально зрозуміти регресію, це майже завжди допомагає думати про це геометрично: стовпці складають вектори в реальному векторному просторі розмірності . Приєднуючи до , тим самим продовжуючи їх від векторів до векторів, ми вбудовуємо у більший простір , включаючи "уявні", взаємно ортогональні напрямки. Перший стовпчик $X$ $p$ $n$ $\nu I$ $X$ $n$ $n+p$ $\mathbb{R}^n$ $\mathbb{R}^{n+p}$ $p$ $X$ надається невеликий уявний компонент розміру , тим самим подовжуючи його та переміщуючи його з простору, створеного вихідними стовпцями. Другий, третій, ..., стовпці аналогічно подовжуються та переміщуються з вихідного простору на однакову кількість - але все в різних нових напрямках. Отже, будь-яка колінеарність, присутня в початкових колонках, буде негайно вирішена. Більше того, чим більше стає, тим більше ці нові вектори наближаються до окремих $\nu$ $p$ $p^\text{th}$ $\nu$ $\nu$ $p$ уявні напрямки: вони стають все більш ортонормальними. Отже, рішення нормальних рівнянь негайно стане можливим і воно швидко стане чисельно стабільним, оскільки зростає з . $\nu$ $0$

Цей опис процесу наводить певний роман та творчий підхід до вирішення проблем, з якими Ridge Regression був розроблений для вирішення. Наприклад, використовуючи будь-які засоби (такі як дисперсійне розкладання, описані Belsley, Kuh і Welsch у своїй книзі 1980 р. Про регресійну діагностику , глава 3), ви можете виявити підгрупи майже колінеарних стовпців , де кожна підгрупа є майже ортогональним для будь-якого іншого. Вам потрібно приєднати стільки рядків до (і нулів до ), скільки елементів у найбільшій групі, присвячуючи один новий "уявний" вимір для переміщення кожного елемента групи від його побратимів: вам не потрібно уявного розміри для цього. $X$ $X$ $y$ $p$

— дзижчати
джерело

2

Останній автор книги - валлійський, а не валлійський.

— Марк Л. Стоун

1

О, це просто підірвало мені розум. Чи є дискусія щодо того, що відбувається, коли це узагальнено за межами лінійних моделей, тобто з glm? Штраф не повинен бути таким же, як регресія хребта ... але це тлумачення означає, що це все-таки потенційний корисний оцінювач!

— Кліф АВ

2

@Cliff Це дуже цікава пропозиція. Оскільки, однак, оцінки GLM значно складніше залежать від і їх оцінювачі зазвичай не можуть бути враховані у формі як вони є для OLS (де і ), це може бути важко встановити корисну зв'язок між накладення штрафу функції і зміни стовпців . Зокрема, незрозуміло, як потрібно було б збільшити значення , щоб зробити цю роботу.

X

$X$

\hat{β} = g (X) \cdot h (y)

$\hat\beta = g(X)\cdot h(y)$

g (X) = (X^{'} X)^{- 1} X^{'}

$g(X)=(X^\prime X)^{-1}X^\prime$

h (y) = y

$h(y)=y$

X

$X$

y

$y$

— whuber

1

Так, потрібно було б подумати, щоб спробувати встановити, що таке покарання, але мене це не так хвилює. Ідея того, що використовувати, зазвичай не є простою ... за винятком, можливо, у випадку логістичної регресії, де ми могли б додати два ; один із 0 і один із 1. Тоді це збільшення буде більш загальною версією "+2 біноміального оцінювача" (є більш правильна назва цього оцінника, на який я переглядаю, що в основному, коли ви оцінюєте з біноміального розподілу, використовуючи заднє середнє значення як оцінка з рівномірним попереднім на ).

y_{*}

$y_*$

y_{*}

$y_*$

p

$p$

p

$p$

— Кліф АВ

@Mark Дякую за виправлення. Ви можете сказати, що я йшов із пам’яті ... :-).

— whuber

20

Виведення включає в себе матричне обчислення, яке може бути досить стомлюючим. Ми хотіли б вирішити таку проблему:

min_{β} (Y - β^{T} X)^{T} (Y - β^{T} X) + λ β^{T} β

$\begin{equation} \min_\beta (Y-\beta^T X)^T(Y-\beta^T X)+\lambda \beta^T \beta \end{equation}$

Тепер зауважимо, що і Разом переходимо до умови першого порядку Виділення дає рішення:

\frac{\partial (Y - β^{T} X)^{T} (Y - β^{T} X)}{\partial β} = - 2 X^{T} (Y - β^{T} X)

$\begin{equation} \frac{\partial (Y-\beta^T X)^T (Y-\beta^T X)}{\partial \beta}=-2X^T(Y-\beta^T X) \end{equation}$

\frac{\partial λ β^{T} β}{\partial β} = 2 λ β .

$\begin{equation} \frac{\partial \lambda \beta^T \beta}{\partial \beta}=2\lambda\beta. \end{equation}$

X^{T} Y = X^{T} X β + λ β .

$\begin{equation} X^TY = X^TX\beta + \lambda\beta. \end{equation}$

β

$\beta$

β = (X^{T} X + λ I)^{- 1} X^{T} Y .

$\begin{equation} \beta = (X^TX+ \lambda I )^{-1}X^T Y. \end{equation}$

— pthesling
джерело

9

Нещодавно я натрапив на те саме питання в контексті P-Splines, і оскільки концепція однакова, я хочу дати більш детальну відповідь щодо виведення оцінювача гребеня.

Почнемо з пеналізованої критеріальної функції, яка відрізняється від класичної функції критерію OLS своїм терміном пеналізації в останньому підсумку:

$Criterion_{Ridge} = \sum_{i=1}^{n}(y_i-x_i^T\beta)^2 + \lambda \sum_{j=1}^p\beta_j^2$

де

$p=$ кількість коефіцієнтів, використаних у моделі
$x_i^T\beta =$ ваш стандартний лінійний предиктор
Перша підсумка представляє MSE (квадратичне розходження прогнозу від фактичного значення), яке ми хочемо мінімізувати, як завжди
друга сума представляє пеналізацію, яку ми застосовуємо за коефіцієнтами. Ось ми в контексті хребта, який передбачає евклідову міру відстані, а отже, ступінь 2 у терміні пеналізації. У випадку з ласо-пеналізацією ми застосуємо ступінь 1 і отримаємо абсолютно інший оцінювач.

Ми можемо переписати цей критерій у матричній нотації та далі розбити його:

$Criterion_{Ridge} = (y-X\beta)^T(y-X\beta) + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - y^TX\beta+ \beta^Tx^TX\beta + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - \beta^TX^Ty + \beta^TX^TX\beta + \beta^T\lambda I\beta$ з матрицею ідентичності $I$

$= y^Ty - 2\beta^TX^Ty + \beta^T(X^TX + \lambda I)\beta$

Тепер ми шукаємо що мінімізує наш критерій. Серед інших ми використовуємо правило диференціації матриць яке ми можемо застосувати тут як : $\beta$ $\frac{\partial x^TAx}{\partial x} = (A+A^T)x \overset{\text{A symmetric}}{=} 2Ax$ $(X^TX + \lambda I) \in \mathbb{R}^{n \times n}$

$\frac{\partial Criterion_{Ridge} }{\partial\beta} = -2X^Ty + 2(X^TX + \lambda I)\beta \overset{!}{=}0$

$(X^TX + \lambda I)\beta = X^Ty$

$\overset{\text{et voilà}}{\Rightarrow} \hat\beta = (X^TX + \lambda I)^{-1} X^Ty$

— Ян Гошенхофер
джерело

@Jahn, чи можете ви поясніть, як став ? Я думаю, що ти щойно застосував транспонинг, правда. Але ви не можете просто застосувати транспонирование на одному терміні, не застосовуючи його до всього рівняння. Що я тут пропускаю?

y^{T} X β

$y^TX\beta$

β^{T} X^{T} y

$\beta ^TX^Ty$

— театр

1

@theateist Транспонований скаляр - це той самий скаляр.

— Костянтин

2

У наведених відповідях є кілька важливих речей.

Рішення для виходить із необхідної умови першого порядку: що дає . Але чи достатньо цього? Тобто рішення є глобальним мінімумом лише у тому випадку, якщо є строго опуклим. Це може бути показано правдою. $\beta$ $\frac{\partial f_{ridge}(\beta, \lambda)}{\partial \beta} = 0$ $\beta = (X^TX+ \lambda I )^{-1}X^T Y$ $f_{ridge}(\beta, \lambda)$
Ще один спосіб розглянути проблему - побачити еквівалентність між та обмежений . OLS означає звичайні найменші квадрати. З цієї точки зору - просто функція Лагрангія, яка використовується для пошуку глобальних мінімумів опуклої цільової функції обмежених опуклою функцією . $f_{ridge}(\beta, \lambda)$ $f_{OLS}(\beta) = (Y-\beta^T X)^T(Y-\beta^T X)$ $||\beta||^2_2 \leq t$ $f_{ridge}(\beta, \lambda)$ $f_{OLS}(\beta)$ $||\beta||^2_2$

Гарне пояснення цих моментів та виведення можна знайти в цих прекрасних конспектах лекцій: http://math.bu.edu/people/cgineste/classes/ma575/p/w14_1.pdf $\beta$

— Давор Йосипович
джерело