Доведення коефіцієнтів усадки за допомогою регресії хребта за допомогою "спектрального розкладання"

Я зрозумів, як регресія хребта зменшує коефіцієнти до нуля геометрично. Більше того, я знаю, як довести це в спеціальній "Ортонормічній справі", але мене бентежить, як це працює в загальному випадку за допомогою "Спектральної декомпозиції".

— Джеза
джерело

Ви заявили, що ви розгублені, але яке ваше питання?

— whuber

Здається, питання вимагає продемонструвати, що регрес Рідж зменшує оцінки коефіцієнтів до нуля, використовуючи спектральне розкладання. Спектральне розкладання можна зрозуміти як легкий наслідок розкладання сингулярного значення (SVD). Тому ця публікація починається з SVD. Він пояснює це простими словами, а потім ілюструє це важливими програмами. Потім він забезпечує запитувану (алгебраїчну) демонстрацію. (Звичайно, алгебра ідентична геометричній демонстрації; вона просто купірується іншою мовою.)

Оригінальне джерело цієї відповіді можна знайти в моїх записках з регресійного курсу . Ця версія виправляє деякі незначні помилки.

Що таке SVD

Будь-яку матрицю , з , можна записати де $n\times p$ $X$ $p \le n$

X = U D V^{'}

$X = UDV^\prime$

$U$ - матриця . $n\times p$
- Стовпці мають довжину . $U$ $1$
- Стовпці взаємно ортогональні. $U$
- Вони називаються головними компонентами з . $X$
$V$ - матриця . $p \times p$
- Стовпці мають довжину . $V$ $1$
- Стовпці взаємно ортогональні. $V$
- Це робить на обертання в . $V$ $\mathbb{R}^p$
$D$ - діагональна матриця . $p \times p$
- Діагональні елементи не від'ємні. Ці особливі значення з . $d_{11}, d_{22}, \ldots, d_{pp}$ $X$
- За бажанням ми можемо замовити їх від найбільшого до найменшого.

Критерії (1) і (2) стверджують, що і і є ортонормальними матрицями. Їх можна акуратно підсумувати за умовами $U$ $V$

U^{'} U = 1_{p}, V^{'} V = 1_{p} .

$U^\prime U = 1_p,\ V^\prime V = 1_p.$

Як наслідок (що являє собою обертання), також. Це буде використано в деривації регресної регресії нижче. $V$ $VV^\prime = 1_p$

Що це робить для нас

Це може спростити формули. Це працює як алгебраїчно, так і концептуально. Ось кілька прикладів.

Нормальні рівняння

Розглянемо регресію де, як завжди, незалежні та однаково розподілені відповідно до закону, який має нульові очікування та кінцеву дисперсію . Рішення найменших квадратів через звичайні рівняння - Застосування SVD та спрощення отриманого алгебраїчного безладу (що легко) дає хороше розуміння: $y = X\beta + \varepsilon$ $\varepsilon$ $\sigma^2$

\hat{β} = (X^{'} X)^{- 1} X^{'} y .

$\hat\beta = (X^\prime X)^{-1} X^\prime y.$

(X^{'} X)^{- 1} X^{'} = ((U D V^{'})^{'} (U D V^{'}))^{- 1} (U D V^{'})^{'} = (V D U^{'} U D V^{'})^{- 1} (V D U^{'}) = V D^{- 2} V^{'} V D U^{'} = V D^{- 1} U^{'} .

$(X^\prime X)^{-1} X^\prime = ((UDV^\prime)^\prime (UDV^\prime))^{-1} (UDV^\prime)^\prime \\= (VDU^\prime U D V^\prime)^{-1} (VDU^\prime) = VD^{-2}V^\prime VDU^\prime = VD^{-1}U^\prime.$

Єдина відмінність між цим і полягає в тому, що використовуються зворотні елементи елементів ! Іншими словами, "рівняння" розв'язується шляхом "інвертування" : ця псевдоінверсія скасовує обертання і (просто шляхом їх переміщення) і скасовує множення (представлене ) окремо в кожному головному напрямку. $X^\prime = VDU^\prime$ $D$ $y=X\beta$ $X$ $U$ $V^\prime$ $D$

Для подальшої довідки зауважте, що "поворотні" оцінки є лінійними комбінаціями "обертаних" відповідей . Коефіцієнти - це звороти (позитивних) діагональних елементів , рівних . $V^\prime \hat\beta$ $U^\prime y$ $D$ $d_{ii}^{-1}$

Коваріація оцінок коефіцієнта

Нагадаємо, що коваріація оцінок - Використовуючи SVD, це стає Іншими словами, коваріація діє подібно до ортогональних змінних, кожна з варіаціями , які повернуті в .

Cov (\hat{β}) = σ^{2} (X^{'} X)^{- 1} .

$\text{Cov}(\hat\beta) = \sigma^2(X^\prime X)^{-1}.$

σ^{2} (V D^{2} V^{'})^{- 1} = σ^{2} V D^{- 2} V^{'} .

$\sigma^2(V D^2 V^\prime)^{-1} = \sigma^2 V D^{-2} V^\prime.$

k

$k$

d_{i i}^{2}

$d^2_{ii}$

R^{k}

$\mathbb{R}^k$

Матриця капелюха

Матриця капелюхів -За допомогою попереднього результату ми можемо переписати його якПросто!

H = X (X^{'} X)^{- 1} X^{'} .

$H = X(X^\prime X)^{-1} X^\prime.$

H = (U D V^{'}) (V D^{- 1} U^{'}) = U U^{'} .

$H = (UDV^\prime)(VD^{-1}U^\prime) = UU^\prime.$

Ейгенаналіз (спектральний розпад)

Оскільки та то негайно

X^{'} X = V D U^{'} U D V^{'} = V D^{2} V^{'}

$X^\prime X = VDU^\prime U D V^\prime = VD^2V^\prime$

X X^{'} = U D V^{'} V D U^{'} = U D^{2} U^{'},

$XX^\prime = UDV^\prime VDU^\prime = UD^2U^\prime,$

Власні значення і - це квадрати сингулярних значень. $X^\prime X$ $XX^\prime$
Стовпці є власними векторами . $V$ $X^\prime X$
Стовпці - деякі з власних векторів . (Інші власні вектори існують, але відповідають нульовим власним значенням.) $U$ $X X^\prime$

SVD може діагностувати та вирішувати проблеми колінеарності.

Апроксимація регресорів

Замінивши найменші значення однини на нулі, ви змінить твір лише незначно. Однак тепер нулі усувають відповідні стовпці , ефективно зменшуючи кількість змінних. За умови, що ці усунені стовпці мають невелику кореляцію з , це може ефективно працювати як техніка зменшення змінних. $UDV^\prime$ $U$ $y$

Регрес хребта

Нехай стовпці будуть стандартизовані, як і сам . (Це означає, що нам більше не потрібен постійний стовпчик у ) Для оцінювач хребта $X$ $y$ $X$ $\lambda \gt 0$

\begin{aligned} {\hat{β}}_{R} & = (X^{'} X + λ)^{- 1} X^{'} y \\ = (V D^{2} V^{'} + λ 1_{p})^{- 1} V D U^{'} y \\ = (V D^{2} V^{'} + λ V V^{'})^{- 1} V D U^{'} y \\ = (V (D^{2} + λ) V^{'})^{- 1} V D U^{'} y \\ = V (D^{2} + λ)^{- 1} V^{'} V D U^{'} y \\ = V (D^{2} + λ)^{- 1} D U^{'} y . \end{aligned}

$\begin{aligned}\hat\beta_R &= (X^\prime X + \lambda)^{-1}X^\prime y \\ &= (VD^2V^\prime + \lambda\,1_p)^{-1}VDU^\prime y \\ &= (VD^2V^\prime + \lambda V V^\prime)^{-1}VDU^\prime y \\ &= (V(D^2 + \lambda)V^\prime)^{-1} VDU^\prime y \\ &= V(D^2+\lambda)^{-1}V^\prime V DU^\prime y \\ &= V(D^2 + \lambda)^{-1} D U^\prime y.\end{aligned}$

Різниця між цим і є заміна по . $\hat\beta$ $D^{-1} = D^{-2}D$ $(D^2+\lambda)^{-1}D$ По суті, це помножує оригінал на дріб . Оскільки (коли ) знаменник, очевидно, більший за чисельник, параметр оцінює "зменшення до нуля". $D^2/(D^2+\lambda)$ $\lambda \gt 0$

Цей результат слід розуміти у дещо тонкому сенсі, на який натякали раніше: поворотні оцінки все ще є лінійними комбінаціями векторів , але кожен коефіцієнт - який раніше був - помножено на коефіцієнт . Таким чином, обертаються коефіцієнти повинні скорочуватися, але можливо, коли є достатньо малим, деякі з самі фактично збільшуються в розмірі. $V^\prime\hat\beta_R$ $U^\prime y$ $d_{ii}^{-1}$ $d_{ii}^2/(d_{ii}^2 + \lambda)$ $\lambda$ $\hat\beta_R$

Щоб уникнути відволікань, у цій дискусії був виключений випадок одного з більше нульових сингулярних значень. За таких обставин, якщо ми умовно вважаємо " " рівним нулю, $d_{ii}^{-1}$ то все одно працює. Це те, що відбувається, коли для вирішення нормальних рівнянь використовуються узагальнені звороти .

— дзижчати
джерело

@Glen_b Це хороший момент: мені потрібно було чітко визначити, про яку фракцію я розглядав! Я це виправлю.

— whuber

(1) Частина рівняння стверджує, що крапковий добуток кожного стовпця з собою дорівнює , звідки кожна довжина (за визначенням) . (2) випливає із спостереження, що - матриця обертання, оскільки це означає, що також є матрицею обертання. Тому . Підключення до дає .

U U^{'} = 1_{p}

$UU^\prime=1_p$

U

$U$

1

$1$

\sqrt{1} = 1

$\sqrt{1}=1$

V V^{'} = 1_{p}

$VV^\prime=1_p$

V

$V$

V^{- 1}

$V^{-1}$

(V^{- 1})^{'} (V^{- 1}) = 1_{p}

$(V^{-1})^\prime(V^{-1})=1_p$

V^{- 1} = V^{'}

$V^{-1}=V^\prime$

V V^{'} = (V^{'})^{'} V^{'} = 1_{p}

$VV^\prime=(V^\prime)^\prime V^\prime=1_p$

— whuber

@Vimal Дякую за гарну пропозицію. Зараз я включив пояснення в розділ "Нормальні рівняння", де вводиться модель регресії.

— whuber

Коли симетричний, то за визначенням Порівнюючи ліву і праву сторони негайно показує діагоналізації реальної симетричною матриці є окремим випадком СВД , а також передбачає , що в СВД симетричною матриці, . Це насправді так, за умови, що є невиродженим, але доведення цього не зовсім елементарне, тому я не буду вникати в деталі.

X

$X$

V D U^{'} = X^{'} = X = U D V^{'} .

$VDU^\prime=X^\prime=X=UDV^\prime.$

U = V

$U=V$

X

$X$

— качан

@ whuber, о, це так? У встановленому значенні ми будемо використовувати оцінки коефіцієнтів і доки вони скоротяться до нуля, те станеться і з пристосованим значенням.

\hat{y}

$\hat{y}$

— jeza