Зв'язок між регресією хребта та регресією PCA

Я пам’ятаю, що десь в Інтернеті прочитав зв’язок між регресією хребта (з регуляризацією) та регресією PCA: використовуючи регресію з гіперпараметром , якщо , то регресія еквівалентна видаленню ПК змінна з найменшим власним значенням. $\ell_2$ $\ell_2$ $\lambda$ $\lambda \to 0$

Чому це правда?
Чи має це щось спільне з процедурою оптимізації? Наївно, я б очікував, що це буде рівнозначно OLS.
Хтось має на це посилання?

— Хосе Г
джерело

Не могли б ви пояснити більш чітко, як PCA та регресія пов'язані у вашій заяві? Регресія відрізняє залежні від незалежних змінних, тоді як нічого подібного не відбувається в PCA. Тож до яких змінних ви застосовуєте PCA? Це не може бути просто незалежними змінними, оскільки це мало б стосується регресії. Але якщо він застосовується до всіх змінних, то власні вектори - це лінійні комбінації їх усіх. Що може означати видалення будь-якого такого компонента з набору даних, оскільки він включає залежну змінну?

— whuber

З'єднання (наскільки я розумію) полягає в тому, що якщо ви використовуєте дуже маленький штраф за регуляризацію, регресія, регульована L2, видалить змінну, яка має найменше власне значення. Тому виконання SVD на проектній матриці та видалення змінної з найменшим власним значенням еквівалентно регресії з "м'яким" штрафом регуляризації ... Це найближче пояснення, яке я знайшов цьому: sites.stat.psu. edu / ~ jiali / курс / stat597e / notes2 / lreg.pdf

— Jose G

Здається, що ваша посилання демонструє протилежне тому, що ви говорите у коментарях: для малих в результатах дуже мало змін. Нічого не знімається взагалі. Насправді, кілька слайдів, схоже, спрямовані на вказівку на різницю між пенізованою регресією (в якій оцінки зменшуються до ) та "регресією PCA" (в якій найменші компоненти повністю видалені - що може бути дуже поганою справою за деяких обставин).

λ

$\lambda$

L^{2}

$L^2$

0

$0$

— whuber

Ммм .. знайшов ще одне посилання: statweb.stanford.edu/~owen/courses/305/Rudyregularization.pdf На слайді " та основні компоненти" сказано, що регресія хребта проектує y на ці компоненти з великими dj * зітхання *

y^{r i d g e}

$y^{ridge}$

— Jose G

Ви помітили, що с. 14 цієї останньої посилання прямо відповідає на ваше запитання?

— whuber

Відповіді:

Нехай - центрована матриця провіктора і розглянемо його сингулярне розкладання значення при цьому є діагональною матрицею з діагональними елементами . $\mathbf X$ $n \times p$ $\mathbf X = \mathbf{USV}^\top$ $\mathbf S$ $s_i$

Встановлені значення регресії найменших звичайних квадратів (OLS) задаютьсяВстановлені значення регресії хребта задаютьсяВстановлені значення регресії PCA (PCR) з компонентами задаються

{\hat{у}}_{О L S} = Х β_{О L S} = Х (Х^{⊤} Х)^{- 1} Х^{⊤} у = U U^{⊤} у .

$\hat {\mathbf y}_\mathrm{OLS} = \mathbf X \beta_\mathrm{OLS} = \mathbf X (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y = \mathbf U \mathbf U^\top \mathbf y.$

{\hat{у}}_{r i г г е} = Х β_{r i г г е} = Х (Х^{⊤} Х + λ Я)^{- 1} Х^{⊤} у = U г i а г {\frac{с_{i}^{2}}{с_{i}^{2} + λ}} U^{⊤} у .

$\hat {\mathbf y}_\mathrm{ridge} = \mathbf X \beta_\mathrm{ridge} = \mathbf X (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y = \mathbf U\: \mathrm{diag}\left\{\frac{s_i^2}{s_i^2+\lambda}\right\}\mathbf U^\top \mathbf y.$

k

$k$

{\hat{у}}_{П С R} = Х_{П С А} β_{П С R} = U г i а г {1, \dots, 1, 0, \dots 0} U^{⊤} у,

$\hat {\mathbf y}_\mathrm{PCR} = \mathbf X_\mathrm{PCA} \beta_\mathrm{PCR} = \mathbf U\: \mathrm{diag}\left\{1,\ldots, 1, 0, \ldots 0\right\}\mathbf U^\top \mathbf y,$ де є , з якими нулі.

k

$k$

Звідси ми можемо побачити, що:

Якщо то . $\lambda=0$ $\hat {\mathbf y}_\mathrm{ridge} = \hat {\mathbf y}_\mathrm{OLS}$
Якщо то більша сингулярна величина , тим менше вона буде штрафована в регресії хребта. Малі одиничні значення ( та менші) найбільше штрафуються. $\lambda>0$ $s_i$ $s_i^2 \approx \lambda$
Навпаки, при регресії PCA великі сингулярні значення зберігаються неушкодженими, а маленькі (після певного числа ) повністю видаляються. Це відповідатиме для перших та для решти. $k$ $\lambda=0$ $k$ $\lambda=\infty$
Це означає, що регресія хребта може розглядатися як "гладка версія" ПЛР.

(Ця інтуїція корисна, але не завжди виконується; наприклад, якщо всі приблизно рівні, то регресія хребта зможе лише приблизно однаково покарати всі основні компоненти і може сильно відрізнятися від PCR). $s_i$ $\mathbf X$
Регресія хребта має тенденцію до кращого результату на практиці (наприклад, для вищої перехресної перевірки).
Відповідаючи зараз на ваше запитання: якщо , то . Я не бачу, як це може відповідати видаленню найменшого . Я думаю, що це неправильно. $\lambda \to 0$ $\hat {\mathbf y}_\mathrm{ridge} \to \hat {\mathbf y}_\mathrm{OLS}$ $s_i$

Одним із хороших посилань є «Елементи статистичного навчання» , розділ 3.4.1 «Регресія хребта».

Дивіться також цю тему: Інтерпретація регуляризації хребта в регресії та, зокрема, відповідь @BrianBorchers.

— Амеба каже Відновити Моніку
джерело

s_{i} -

$s_i -$

β_{L e a s t - s q u a r e s}

$\beta_{Least-squares}$

k

$k$

U діагностувати (1_{1}, 1_{2}, . . ., 1_{к}, 0, . . ., 0) U^{Т} у

$\mathbf{U} {\text{diag}}(1_1,1_2,...,1_k,0,...,0)\mathbf{U}^T\mathbf{y}$

Це прекрасно.

— xxx222

Елементи статистичного навчання ведуть велику дискусію з цього приводу.

Я розтлумачив цей зв'язок і логіку таким чином:

PCA - це лінійна комбінація змінних характеристик, що намагається максимально розмежувати дані, пояснені новим простором.
Дані, які страждають від мультиколінеарності (або більше предикторів, ніж рядки даних), призводять до матриці коваріації, яка не має повного рангу.
За допомогою цієї матриці коваріації ми не можемо інвертувати для визначення рішення найменших квадратів; це змушує числове наближення коефіцієнтів найменших квадратів підірватися до нескінченності.
Рідж Регресія вводить штрафну лямбду на матриці коваріації, щоб дозволити інверсію матриці та конвергенцію коефіцієнтів LS.

З'єднання PCA полягає в тому, що регрес Рейда обчислює лінійні комбінації функцій, щоб визначити, де відбувається мультиколінеарність. Лінійні комбінації особливостей (Принциповий аналіз компонентів) з найменшою дисперсією (а отже, меншими сингулярними значеннями та меншими власними значеннями в PCA) - ті, що найсуворіше штрафуються.

Думай про це так; для лінійних комбінацій функцій з найменшою дисперсією ми знайшли особливості, які найбільше схожі, що обумовлює мультиколінеарність. Оскільки Ridge не зменшує набір функцій, незалежно від того, в якому напрямку описується ця лінійна комбінація, оригінальна функція, що відповідає цьому напрямку, найбільше штрафується.

— MDornbos
джерело

Х β = у,

$\mathbf X \beta = \mathbf y\,,$

X

$\mathbf X$

Х = U S V^{Т},

$\mathbf X = \mathbf U \,\mathbf S \,\mathbf V^T,$

S = diag (s_{i})

$\mathbf S = \text{diag}(s_i)$

$\beta$

β_{О L S} = V S^{- 1} U^{Т}

$\beta_{OLS} = \mathbf V \,\mathbf S^{-1} \,\mathbf U^T$

s_{i}

$s_i$

$\mathbf S^{-1}$ $\beta$

\begin{aligned} S_{хребет}^{- 1} & = діагностувати (\frac{с_{i}}{с_{i}^{2} + α}), \\ β_{хребет} & = V S_{хребет}^{- 1} U^{Т} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{ridge}} &= \text{diag}\bigg(\frac{s_i}{s^2_i+\alpha}\bigg),\\ \beta_{\text{ridge}} &= \ \mathbf V \,\mathbf S_{\text{ridge}}^{-1} \,\mathbf U^T \end{align}$

$\mathbf S^{-1}$

\begin{aligned} S_{PCA}^{- 1} & = діагностувати (\frac{1}{с_{i}} θ (с_{i} - γ)), \\ β_{PCA} & = V S_{PCA}^{- 1} U^{Т} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{PCA}} &= \text{diag}\bigg(\frac{1}{s_i} \, \theta(s_i-\gamma)\bigg)\,,\\ \beta_{\text{PCA}} &= \ \mathbf V \,\mathbf S_{\text{PCA}}^{-1} \,\mathbf U^T \end{align}$

θ

$\theta$

γ

$\gamma$

Таким чином, обидва способи послаблюють вплив підпросторів, що відповідають малим значенням. PCA робить це важким шляхом, тоді як хребет - більш плавний підхід.

S_{myReg}^{- 1} = діагностувати (R (с_{i})),

$\mathbf S^{-1}_{\text{myReg}} = \text{diag}\big(R(s_i)\big)\,,$

R (x)

$R(x)$

x \to 0

$x\rightarrow 0$

R (x) \to x^{- 1}

$R(x)\rightarrow x^{-1}$

x

$x$

— Давидхіг
джерело