Легке пояснення "чисельної стійкості інверсії матриці" в регресії хребта та його ролі у зниженні надлишків

Я розумію, що ми можемо використовувати регуляризацію в регресії як мінімум квадратів

$$\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right]$$

і що ця проблема має рішення закритої форми як:

$$\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}.$$

Ми бачимо, що у другому рівнянні регуляризація просто додає $\lambda$ до діагоналі $\boldsymbol{X}^T\boldsymbol{X}$ , що робиться для поліпшення чисельної стійкості інверсії матриці.

Моє теперішнє «сире» розуміння чисельної стійкості полягає в тому, що якщо функція стане «чисельнішою», то на її вихід буде менш впливати шум на її входах. У мене виникають труднощі, пов'язані з цією концепцією покращеної чисельної стійкості до більш широкого уявлення про те, як вона уникає / зменшує проблему надмірного оснащення.

Я спробував переглянути Вікіпедію та кілька інших веб-сайтів університету, але вони не заглиблюються в пояснення, чому це так.

У лінійній моделі , якщо припустити некорельовані помилки із середнім нулем та мають повний ранг стовпця, оцінювач найменших квадратів є неупередженим оцінювачем параметра . Однак цей оцінювач може мати великі дисперсії. Наприклад, коли два стовпці сильно корелюються.$Y=X\beta + \epsilon$$X$$(X^TX)^{-1}X^TY$$\beta$$X$

Параметр штрафу робить упередженим оцінювачем , але він зменшує його дисперсію. Також - це заднє очікування в байєсівській регресії з до . У цьому сенсі ми включаємо в аналіз деяку інформацію, яка каже, що компоненти не повинні бути занадто далеко від нуля. Знову це призводить нас до упередженої точкової оцінки але зменшує дисперсію оцінки.$\lambda$$\hat{w}$$\beta$$\hat{w}$$\beta$$N(0,\frac{1}{\lambda}I)$$\beta$$\beta$$\beta$

У налаштуваннях, де високими розмірами, скажімо, , найменший розмір квадратів повністю відповідатиме даним. Незважаючи на об'єктивну оцінку, ця оцінка буде дуже чутлива до коливань даних, оскільки в таких високих розмірах буде багато точок з високим важелем. У таких ситуаціях знак деяких компонентів може бути визначений одним спостереженням. Термін штрафу призводить до зменшення цих оцінок до нуля, що може знизити МСЕ оцінювача за рахунок зменшення дисперсії.$X$$N \approx p$$\hat{\beta}$

Редагувати: У своїй початковій відповіді я надіслав посилання на відповідний документ, і я поспішив її. Ось це: http://www.jarad.me/stat615/papers/Ridge_Regression_in_Practice.pdf

Чисельна стабільність та надмірне оснащення є певним чином пов'язаними, але різними питаннями.

Класична проблема OLS:

Розглянемо класичну проблему з найменшими квадратами:

$$\operatorname*{minimize}(\text{over $\mathbf{b}$}) \quad(\mathbf y-X\mathbf{b})^T(\boldsymbol{y}-X\mathbf{b})$$

Рішення - класичний . Ідея полягає в тому, що за законом великих чисел:$\hat{\mathbf{b}} = (X'X)^{-1}(X'\mathbf{y})$

$$\lim_{n \rightarrow \infty} \frac{1}{n} X'X \rightarrow \mathrm{E}[\mathbf{x}\mathbf{x}'] \quad \quad \quad \lim_{n \rightarrow \infty} \frac{1}{n} X'\mathbf{y} \rightarrow \mathrm{E}[\mathbf{x}y]$$

Отже, оцінка OLS також переходить до . (У лінійній алгебрі це лінійна проекція випадкової величини на лінійний проміжок випадкових величин .)$\hat{\mathbf{b}}$$\mathrm{E}[\mathbf{x}\mathbf{x}']^{-1}\mathrm{E}[\mathbf{x}y]$$y$$x_1, x_2, \ldots, x_k$

Проблеми?

Механічно, що може піти не так? Які можливі проблеми?

1. Для невеликих зразків наші вибіркові оцінки та можуть бути поганими.$\mathrm{E}[\mathbf{x}\mathbf{x}']$$\mathrm{E}[\mathbf{x}y]$
2. Якщо стовпці є колінеарними (або через властиву колінеарності чи невеликого розміру вибірки), проблема матиме континуум рішення! Рішення може бути не унікальним. $X$
   • Це відбувається, якщо є дефіцитним.$\mathrm{E}[\mathbf{x}\mathbf{x}']$
   • Це також відбувається, якщо має дефіцит за рангом через невеликий розмір вибірки відносно кількості випусків регресора.$X'X$

Проблема (1) може призвести до перевиконання, оскільки оцінка починає відображати зразки у вибірці, яких немає в базовій популяції. Оцінка може відображати шаблони в та , які насправді не існують у і$\hat{\mathbf{b}}$$\frac{1}{n}X'X$$\frac{1}{n}X'\mathbf{y}$$\mathrm{E}[\mathbf{x}\mathbf{x}']$$\mathrm{E}[\mathbf{x}y]$

Проблема (2) означає, що рішення не є унікальним. Уявіть, що ми намагаємося оцінити ціну індивідуального взуття, але пари взуття завжди продаються разом. Це невдала проблема, але скажімо, ми все одно це робимо. Ми можемо вважати, що ціна на ліве взуття плюс ціна на праве взуття дорівнює 50 доларам , але як можна придумати індивідуальні ціни? Чи встановлення цін на ліве взуття а ціна на праве взуття гаразд? Як ми можемо вибрати з усіх можливостей?$p_l = 45$$p_r = 5$

Введення штрафу :$L_2$

Тепер розглянемо:

$$\operatorname*{minimize}(\text{over }\mathbf{b})\quad (\mathbf y-X\mathbf{b})^T(\boldsymbol{y}-X\mathbf{b}) + \lambda\|\boldsymbol{b}\|^2$$

Це може допомогти нам з обома типами проблем. штраф штовхає нашу оцінку до нуля. Це ефективно функціонує як байєсівський раніше, ніж розподіл за значеннями коефіцієнта зосереджено навколо . Це допомагає при надмірному оснащенні. Наша оцінка буде відображати як дані, так і наші початкові переконання, що майже до нуля.$L_2$$\mathbf{b}$$\mathbf{0}$$\mathbf{b}$

$L_2$ регуляризація також завжди допомагає нам знайти унікальне рішення проблемних проблем. Якщо нам відомо, що ціна лівого і правого взуття становить до , рішенням, яке також мінімізує норму є вибір .$\$50$$L_2$$p_l = p_r = 25$

Це магія? Ні. Регуляризація - це не те саме, що додавати дані, які насправді дозволять нам відповісти на питання. регуляризація в деякому сенсі сприймає думку про те, що якщо вам бракує даних, вибирайте оцінки, ближчі до .$L_2$$0$