За яких саме умов регресія хребта може забезпечити поліпшення порівняно з регресією найменших звичайних квадратів?

Регресія хребта оцінює параметри в лінійній моделі по де - параметр регуляризації. Загальновідомо, що він часто працює краще, ніж регресія OLS (з ), коли існує багато корельованих прогнозів. $\boldsymbol \beta$ $\mathbf y = \mathbf X \boldsymbol \beta$

{\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y,

$\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y,$

λ

$\lambda$

λ = 0

$\lambda=0$

Теорема існування для регресії хребта говорить про те, що завжди існує параметр $\lambda^* > 0$ такий, що середня квадратична помилка $\hat{\boldsymbol \beta}_\lambda$ суворо менша, ніж середня квадратична помилка OLS оцінка $\hat{\boldsymbol \beta}_\mathrm{OLS}=\hat{\boldsymbol \beta}_0$ . Іншими словами, оптимальне значення $\lambda$ завжди не нульове. Це, очевидно, було вперше доведено в Hoerl and Kennard, 1970, і повторюється в багатьох конспектах лекцій, які я знаходжу в Інтернеті (наприклад, тут і тут ). Моє запитання щодо припущень цієї теореми:

Чи є припущення щодо матриці коваріації $\mathbf X^\top \mathbf X$ ?
Чи є припущення щодо розмірності $\mathbf X$ ?

Зокрема, чи справедлива теорема, якщо прогноктори є ортогональними (тобто $\mathbf X^\top \mathbf X$ є діагональною), або навіть якщо $\mathbf X^\top \mathbf X=\mathbf I$ ? І чи все-таки це правда, якщо є лише один-два передбачувачі (скажімо, один провісник і перехоплювач)?

Якщо теорема не робить таких припущень і залишається вірною навіть у цих випадках, то чому регресія хребта зазвичай рекомендується лише у випадку співвіднесених предикторів, і ніколи (?) Не рекомендується для простої (тобто не множинної) регресії?

Це пов’язано з моїм питанням про Уніфікований погляд на усадку: яке співвідношення (якщо воно є) між парадоксом Штейна, регресією хребта та випадковими ефектами у змішаних моделях? , але відповіді там ще не уточнюють цей момент.

regression ridge-regression shrinkage

— Амеба каже Відновити Моніку
джерело

Здається, все, окрім останнього питання, безпосередньо розглядається в документі Hoerl & Kennard, особливо у першому реченні Вступу та першому реченні Висновків. На останнє запитання можна відповісти, зазначивши, що коваріація між константним вектором і будь-яким єдиним предиктором завжди дорівнює нулю, що дозволяє (стандартним способом) звести до матриці .

X^{'} X

$\mathbf{X^\prime X}$

1 \times 1

$1\times 1$

— whuber

Дякую, @whuber. Я вважаю, що папір Hoerl & Kennard відповідає на мої запитання (принаймні технічні) - треба мати можливість слідувати за доказом та перевіряти припущення (я цього ще не робив). Але я не повністю переконаний у реченнях, на які ви посилаєтесь. Як перше речення Вступного стосується мого запитання? Перше речення Висновків говорить про те, що якщо має однаковий спектр (наприклад, дорівнює ), то теорема не застосовується. Але я не впевнений на 100%, оскільки не вважаю, що це припущення прямо викладено перед доказом.

X^{⊤} X

$\mathbf X^\top \mathbf X$

I

$\mathbf I$

— Амеба каже: Відновити Моніку

Подивіться, які питання можуть задавати високопоставлені користувачі (які, як правило, відповідають лише на них) (а також для вашого іншого пов'язаного питання, яке мені надіслало тут stats.stackexchange.com/questions/122062/… !

— javadba

Відповідь як на 1, так і на 2 - ні, але потрібно дбати про інтерпретацію теореми існування.

Варіант оцінювача хребта

Нехай являє собою оцінку хребта за штрафом , а - вірний параметр для моделі . Нехай є власними значеннями . З рівнянь Горла та Кеннара 4.2-4.5 ризик (з точки зору очікуваної норми помилки ) становить $\hat{\beta^*}$ $k$ $\beta$ $Y = X \beta + \epsilon$ $\lambda_1, \dotsc, \lambda_p$ $X^T X$
$L^2$

\begin{aligned} E ({[\hat{β^{*}} - β]}^{T} [\hat{β^{*}} - β]) & = σ^{2} \sum_{j = 1}^{p} λ_{j} / {(λ_{j} + k)}^{2} + k^{2} β^{T} {(X^{T} X + k I_{p})}^{- 2} β \\ = γ_{1} (k) + γ_{2} (k) \\ = R (k) \end{aligned}

$\begin{align*} E \left( \left[ \hat{\beta^*} - \beta \right]^T \left[ \hat{\beta^*} - \beta \right] \right)& = \sigma^2 \sum_{j=1}^p \lambda_j/ \left( \lambda_j +k \right)^2 + k^2 \beta^T \left( X^T X + k \mathbf{I}_p \right)^{-2} \beta \\ & = \gamma_1 (k) + \gamma_2(k) \\ & = R(k) \end{align*}$ куди, наскільки я можу сказати, Вони зазначають, що має інтерпретацію дисперсії внутрішнього добутку , тоді як є внутрішнім продуктом зміщення.

{(X^{T} X + k I_{p})}^{- 2} = {(X^{T} X + k I_{p})}^{- 1} {(X^{T} X + k I_{p})}^{- 1} .

$\left( X^T X + k \mathbf{I}_p \right)^{-2} = \left( X^T X + k \mathbf{I}_p \right)^{-1} \left( X^T X + k \mathbf{I}_p \right)^{-1}.$

γ_{1}

$\gamma_1$

\hat{β^{*}} - β

$\hat{\beta^*} - \beta$

γ_{2}

$\gamma_2$

Припустимо, що , тоді Нехай - похідна від ризику w / r / t . Оскільки , то робимо висновок, що існує деякий такий, що . $X^T X = \mathbf{I}_p$

R (k) = \frac{p σ^{2} + k^{2} β^{T} β}{(1 + k)^{2}} .

$R(k) = \frac{p \sigma^2 + k^2 \beta^T \beta}{(1+k)^2}.$

R^{'} (k) = 2 \frac{k (1 + k) β^{T} β - (p σ^{2} + k^{2} β^{T} β)}{(1 + k)^{3}}

$R^\prime (k) = 2\frac{k(1+k)\beta^T \beta - (p\sigma^2 + k^2 \beta^T \beta)}{(1+k)^3}$

k

$k$

lim_{k \to 0^{+}} R^{'} (k) = - 2 p σ^{2} < 0

$\lim_{k \rightarrow 0^+} R^\prime (k) = -2p \sigma^2 < 0$

k^{*} > 0

$k^*>0$

R (k^{*}) < R (0)

$R(k^*)<R(0)$

Автори зазначають, що ортогональність - це найкраще, на що можна сподіватися з точки зору ризику при , і що при збільшенні кількості умови , підходи . $k=0$ $X^T X$ $\lim_{k \rightarrow 0^+} R^\prime (k)$ $- \infty$

Прокоментуйте

Тут виявляється парадокс, що якщо і є постійними, ми просто оцінюємо середнє значення послідовності Normal , і ми знаємо ванільну неупереджену оцінку допустимо в цьому випадку. Це вирішується, помічаючи, що вищезазначене міркування лише передбачає, що значення, що мінімізує існує для фіксованого . Але для будь-якого ми можемо зробити ризик вибухнути, зробивши великим, тому один аргумент не показує допустимості для оцінки гребня. $p=1$ $X$ $(\beta, \sigma^2)$ $k$ $\beta^T \beta$ $k$ $\beta^T \beta$

Чому регресію хребта зазвичай рекомендують лише у випадку співвіднесених предикторів?

Виведення ризику H & K показує, що якщо ми вважаємо, що невелика, і якщо конструкція майже сингулярна, то ми можемо досягти великих зменшень ризику оцінки. Я думаю, що регресія хребта не використовується повсюдно, оскільки оцінка OLS - це безпечний дефолт, а також властивості інваріантності та неупередженості привабливі. Коли вона не вдається, вона чесно виходить з ладу - ваша матриця коваріації вибухає. Можливо, є також філософський / інфекційний момент, що якщо ваш дизайн майже єдиний, і у вас є дані спостереження, то тлумачення як зміни для зміни одиниць у є підозрюваним - велика матриця коваріації є симптом того. $\beta ^T \beta$ $X^T X$ $\beta$ $E Y$ $X$

Але якщо ваша мета - виключно прогнозування, інфекційні проблеми вже не мають сили, і у вас є вагомий аргумент щодо використання якогось оцінювача усадки.

— Андрій М
джерело

Нічого, дякую! Дозвольте мені перевірити своє розуміння вашого розділу "Коментар": для будь-якого заданого оптимальна не дорівнює нулю, але її значення різне для різних бета-версій, і жоден фіксований може перевищувати для всіх бета-версій, тобто що потрібно для прийнятності. Правильно? Окрім цього, чи можете ви прокоментувати моє загальне запитання: [якщо теорема не передбачає таких припущень, то] чому регресія хребта зазвичай рекомендується лише для корельованих прогнозів, і ніколи не рекомендується для простої (не множинної) регресії? Це тому, що позитивний ефект, емпірично відомо, занадто малий, щоб турбувати?

β

$\beta$

k

$k$

k

$k$

k = 0

$k=0$

— Амеба каже: Відновити Моніку

H&K послідовно припускають, що є повноцінним. Заявляючи, що відповідь на номер 1 - "ні", ви стверджуєте, що їх результати продовжують бути вірними, коли їх немає?

X^{'} X

$X^\prime X$

— whuber

@whuber: Основним для їх виведення є ризик, що оцінка хребта , де - оцінка OLS, а . Це явно не може бути таким, коли має дефіцит. Але оцінка OLS не існує - тому, можливо, будь-яка оцінка з кінцевим ризиком (візьміть досить великий, і ви отримаєте , з ризиком ) краще ніж оцінювач, який не існує? Що стосується виведення ризику: я не впевнений. Буде потрібен інший доказ.

\hat{β^{*}} = Z \hat{β}

$\hat{\beta^*} = Z \hat{\beta}$

\hat{β}

$\hat{\beta}$

Z = {((X^{T} X)^{- 1} + k I_{p})}^{- 1}

$Z = \left( (X^TX)^{-1} + k I_p \right)^{-1}$

X^{T} X

$X^TX$

k

$k$

\hat{β^{*}} \approx 0

$\hat{\beta^*} \approx 0$

β^{T} β

$\beta^T \beta$

— Андрій М

@amoeba: так, ваш переказ здається правильним. Для домінування в оцінці OLS нам потрібна якась адаптивна процедура, в якій є функцією даних. На вашій іншій темі Сіан мав коментар щодо адаптивних оцінок хребта, так що це може бути місце для пошуку. RE: кошторисні оцінки для ортогональних конструкцій - я додав ще один коментар, що стосується настанов, які я б взяв із їх підтвердження.

λ

$\lambda$

— Ендрю М