Розуміння негативної регресії хребта

Я шукаю літературу про негативну регресію хребта .

Коротше кажучи, це узагальнення лінійної регресії з використанням коника негативний $\lambda$ у формулі

\hat{β} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y .

$\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.$ Позитивний випадок має хорошу теорію: як функція втрат, як обмеження, як Байєс до ... але я відчуваю втрату від негативної версії лише вищевказаною формулою. Це може бути корисним для того, що я роблю, але я не можу це зрозуміло зрозуміти.

Чи знаєте ви якийсь серйозний вступний текст про негативний хребет? Як це можна інтерпретувати?

regression regularization ridge-regression

— Бенуа Санчес
джерело

Я не знаю жодного вступного тексту, який розповідає про це, але це джерело може бути освічуючим, особливо дискусія внизу сторінки 18: jstor.org/stable/4616538?seq=1#page_scan_tab_contents

— Райан Сіммонс,

У випадку, якщо в майбутньому посилання вмирає, повна цитата є: Björkström, A. & Sundberg, R. "Узагальнений погляд на регресію континууму". Скандинавський журнал статистики, 26: 1 (1999): стор.17-30

— Райан Сіммонс

Дуже дякую. Це дає чітку інтерпретацію хребта через CR, коли

(найбільше власне значення коваріаційної матриці). Ще шукає тлумачення з

...

λ < - λ_{1}

$\lambda<-\lambda_1$

λ > - λ_{1}

$\lambda>-\lambda_1$

— Бенуа Санчес

Зауважимо в цьому розвитку регресії хребта від регуляризації Тихонова, що тихонова регуляризація

стає

для регресії хребта. Згодом

зазвичай замінюється на

. Єдиний спосіб зробити цей від’ємник -

уявним, тобто кратним

Γ^{T} Γ

$\Gamma^{T} \Gamma$

α^{2} I

$\alpha^2 I$

α^{2}

$\alpha^2$

λ

$\lambda$

α

$\alpha$

. Гаразд, що тепер? Куди ви хочете піти з нею?

i = \sqrt{- 1}

$i=\sqrt{-1}$

— Карл

Згаданий тут негативний хребет: stats.stackexchange.com/questions/328630/… з деякими посиланнями

— kjetil b halvorsen

Ось геометрична ілюстрація того, що відбувається з негативним хребтом.

{\hat{β}}_{λ} = (Х^{⊤} Х + λ Я)^{- 1} Х^{⊤} у

$\hat{\boldsymbol\beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top\mathbf y$

L_{λ} = ‖ y - X β ‖^{2} + λ ‖ β ‖^{2} .

$\mathcal L_\lambda = \|\mathbf y - \mathbf X\boldsymbol\beta\|^2 + \lambda \|\boldsymbol\beta\|^2.$

λ \in [0, \infty)

$\lambda\in[0,\infty)$

Тепер розглянемо , що відбувається , коли , де є найбільшим сингулярним значенням . Для дуже великих негативних лямбдів звичайно близький до нуля. Коли лямбда наближається до , термін отримує одне особливе значення, що наближається до нуля, що означає, що обернена має одне особливе значення, що йде на мінус нескінченність. Це особливе значення відповідає першому головному компоненту , тому в межі отримує вказує в напрямку PC1, але при цьому абсолютне значення зростає до нескінченності. $\lambda\in(-\infty, -s^2_\max)$ $s_\mathrm{max}$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\max$ $(\mathbf X^\top \mathbf X + \lambda \mathbf I)$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$

Що насправді приємно, це те, що можна намалювати його на одній фігурі так само: бети задаються точками, де кола торкаються еліпсів зсередини :

Коли , застосовується аналогічна логіка, що дозволяє продовжувати шлях хребта з іншого боку Оцінювача OLS. Тепер кола торкаються еліпсів зовні. межа, бета-версії наближаються до напрямку PC2 (але це трапляється далеко за межами цього ескізу): $\lambda\in(-s^2_\mathrm{min},0]$

Діапазон є чимось енергетичним розривом : там оцінювачі не живуть на одній кривій. $(-s^2_\mathrm{max}, -s^2_\mathrm{min})$

ОНОВЛЕННЯ: У коментарях @MartinL пояснює, що для втрата не має мінімуму, але має максимум. І цей максимум дає . Ось чому та сама геометрична конструкція з дотиком кола / еліпса продовжує працювати: ми все ще шукаємо точки нульового градієнта. Коли , втрата має мінімум, і вона задається , точно так, як у звичайному випадок. $\lambda<-s^2_\mathrm{max}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\mathrm{min}<\lambda\le 0$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $\lambda>0$

Але коли , втрата не має ані максимуму, ані мінімального; відповідав би точці сідла. Це пояснює "енергетичний розрив". $-s^2_\mathrm{max}<\lambda<-s^2_\mathrm{min}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$

природним чином випливає з певного обмеженого коника регресії, см Межа «блок-дисперсійного» Хребет регресійної оцінки при . Це пов’язано з тим, що відомо в літературі з хіміометрії як "регресія континууму", мою відповідь див. У пов'язаній нитці. $\lambda\in(-\infty, -s^2_\max)$ $\lambda\to\infty$

можна розглядати точно так же, як : функція втрат залишається тим же самим і оцінювач гребінь забезпечує його мінімум. $\lambda\in(-s^2_\mathrm{min},0]$ $\lambda>0$

— амеби
джерело

Дякую за цікаві графіки. Коли , рішення, яке ви зрозуміли, - це глобальний максимум функції вартості, а не глобальний мінімум. Аналогічно, коли , точка, яку ви схопили, повинна бути точкою сідла функції витрат.

λ < - s_{max}^{2}

$\lambda < -s_\text{max}^2$

- s_{max}^{2} < λ < 0

$-s_\text{max}^2 < \lambda < 0$

— Мартін Л

Розглянемо лише квадратичні терміни у функції витрат. Їх можна записати як Нехай , тоді матриця в дужках має лише негативні власні значення. Нехай , а матриця має як позитивні, так і негативні власні значення. Ці власні значення впливають на те, чи точка є сідловим моментом, мінімумом чи максимумом функції витрат.

β^{T} (X^{T} X + λ I) β .

$\beta^T (X^T X + \lambda I) \beta.$

λ < - s_{max}^{2}

$\lambda < - s_\text{max}^2$

- s_{max}^{2} < λ < 0

$- s_\text{max}^2 < \lambda < 0$

— Мартін Л

Це дуже корисно, спасибі велике. Я зробив оновлення своєї відповіді.

— амеба

Дякую. Зокрема, для розуміння того, що точка сідла виконується лише тоді, коли . Коли , рішення все ще є глобальним мінімумом з тих пір, є позитивним певним. Мій попередній коментар був частково невірним.

- s_{max}^{2} < λ < - s_{min}^{2}

$-s_\text{max}^2 < \lambda < - s_\text{min}^2$

λ > - s_{min}^{2}

$\lambda > -s_\text{min}^2$

X^{T} X + λ I

$X^T X + \lambda I$

— Мартін Л