Застосовуючи регресію хребта для недостатньо визначеної системи рівнянь?

Коли , проблема найменших квадратів, яка накладає сферичне обмеження на значення може бути записана як ім'я для завищеної системи. \ | \ cdot \ | _2 - евклідова норма вектора.$y = X\beta + e$$\delta$$\beta$

$$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$$ $\|\cdot\|_2$

Відповідне рішення $\beta$ задається

$$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$$ які можна отримати за методом множників Лагранжа ( $\lambda$ - множник): $$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$$

Я розумію, що є властивість

$$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$$ Права сторона нагадує псевдо-зворотну матрицю регресора $X$ у невизначеному випадку (із доданим параметром регуляризації $\lambda$ ). Чи означає це, що той самий вираз може бути використаний для наближення $\beta$ для недостатньо визначеного випадку? Чи існує окреме виведення для відповідного виразу у заздалегідь визначеному випадку, оскільки сферичне обмеження обмеження є надмірним з цільовою функцією (мінімальна норма $\beta$ ):

$$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$$

Починаючи з постановки проблеми регресії хребта як

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

Ви можете написати проблему як

$\min \| A\beta - b \|_{2}^{2}$

де

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

і

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

Матриця має повний ранг стовпця через частину . Таким чином, проблема найменших квадратів є унікальним рішенням$A$$\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

Виписуючи це з точки зору та та спрощуючи багато 0, ми отримуємо$X$$y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

Ніщо в цій деривації не залежить від того, чи має більше рядків чи стовпців, чи навіть від того, чи має повний ранг. Таким чином, ця формула застосовна для невизначеного випадку. $X$$X$

Це алгебраїчний факт, що для ,$\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

Таким чином, ми також маємо можливість використовувати

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ .

Щоб відповісти на ваші конкретні запитання:

1. Так, обидві формули працюють як для невизначеного випадку, так і для надвизначеного випадку. Вони також працюють , якщо менше мінімального числа рядків і стовпців . Друга версія може бути ефективнішою для невизначених проблем, оскільки в цьому випадку менший, ніж$\mbox{rank}(X)$$X$$XX^{T}$$X^{T}X$

2. Мені невідомо жодне виведення альтернативної версії формули, яка починається з якоїсь іншої проблеми з найменшими квадратиками і використовує звичайні рівняння. У будь-якому випадку, ви можете отримати це прямо, використовуючи трохи алгебри.

Можливо, ви замислюєтесь про проблему регресії хребта у формі

$\min \| \beta \|_{2}^{2}$

на тему

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

Однак ця версія проблеми регресії хребта просто призводить до тієї ж задачі з найменшими затухаючими квадратами .$\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$