Що таке "регресія зниженого рангу"?

Я читав "Елементи статистичного навчання" і не міг зрозуміти, про що йдеться в розділі 3.7 "Багаторазове скорочення та вибір". Це говорить про RRR (регресія зі зниженим рангом), і я можу лише зрозуміти, що передумова стосується узагальненої багатовимірної лінійної моделі, де коефіцієнти невідомі (і підлягають оцінці), але, як відомо, не мають повного рангу. Це єдине, що я розумію.

Решта математики - поза мною. Навіть не допомагає, що автори кажуть, що «можна показати», і залишає речі як вправу.

Може хтось допоможе пояснити, що тут відбувається, інтуїтивно? Чи в цьому розділі нібито обговорюються нові методи? або те, що?

— cgo
джерело

Здається, вони дають методи регресії, які використовують велику кількість моделей результатів у контексті усадки та вибору змінних. Немає жодного результату Y, але більше ніж один Y результат. Скажімо, у вас є 5 результатів Y, то в цьому розділі розглядаються методи об'єднання оцінок методів, а не просто побудова 5 окремих моделей.

— spdrnl

Мої кілька центів: припущення про матрицю низького рангу полегшує справи. На щастя, це припущення справедливо для багатьох джерел даних реального світу.

— Владислав Довгалеч

Схоже, що це припущення стосується обмеження рішення. У цьому документі описано, чому statprob.com/encyclopedia/…

— Владислав Довгалеч

Відповіді:

1. Що таке регресія зниженого рангу (RRR)?

Розглянемо багатоваріантну множинну лінійну регресію, тобто регресію з незалежними змінними та залежними змінними. Нехай і мають по центру набори даних прогнозу ( ) та відповіді ( ). Тоді звичайна регресія звичайних найменших квадратів (OLS) може бути сформульована як мінімізація наступної функції витрат: $p$ $q$ $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$

L = ‖ Y - Х Б ‖^{2},

$L=\|\mathbf Y-\mathbf X\mathbf B\|^2,$

де - матриця ваг регресії. Її рішення дається формулою $\mathbf B$ $p\times q$ і це легко бачитищо це еквівалентно робитиокремі МНК регресії,одному для кожної залежної змінної.

{\hat{B}}_{O L S} = (X^{⊤} X)^{- 1} X^{⊤} Y,

$\hat{\mathbf B}_\mathrm{OLS}=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf Y,$

q

$q$

Регресія пониженого рангу вводить обмеження на рангові показники , а саме слід мінімізувати з $\mathbf B$ $L$ , де є максимально допустимим ранг . $\operatorname{rank}(\mathbf B)\le r$ $r$ $\mathbf B$

2. Як отримати розчин RRR?

Виявляється, RRR можна подати як проблему власного вектора. У самому справі, використовуючи той факт , що МНК є по суті ортогональної проекцією на колонці простору , можна переписати , як Перший доданок не залежить від , а другий член може бути зведений до мінімуму з допомогою SVD / PCA з підігнаних значень $\mathbf X$ $L$

L = ‖ Y - Х {\hat{Б}}_{О L S} ‖^{2} + ‖ Х {\hat{Б}}_{О L S} - Х Б ‖^{2} .

$L=\|\mathbf Y-\mathbf X\hat{\mathbf B}_\mathrm{OLS}\|^2+\|\mathbf X\hat{\mathbf B}_\mathrm{OLS}-\mathbf X\mathbf B\|^2.$

B

$\mathbf B$

\hat{Y} = X {\hat{B}}_{O L S}

$\hat{\mathbf Y}=\mathbf X\hat{\mathbf B}_\mathrm{OLS}$

В Зокрема, якщо спочатку головні осі , то $\mathbf U_r$ $r$ $\hat{\mathbf Y}$

{\hat{Б}}_{R R R} = {\hat{Б}}_{О L S} U_{r} U_{r}^{⊤} .

$\hat{\mathbf B}_\mathrm{RRR}=\hat{\mathbf B}_\mathrm{OLS}\mathbf U_r\mathbf U_r^\top.$

3. Для чого хороший RRR?

Причин використання RRR може бути дві.

$\mathbf B$ $r$

По-друге, можна використовувати його як метод зменшення розмірності / дослідження даних. Якщо у нас є купа змінних предиктора та купа залежних змінних, то RRR побудує «приховані фактори» в просторі прогноктора, які найкраще справляться з поясненням дисперсії DV. Тоді можна спробувати інтерпретувати ці приховані фактори, побудувати їх графік тощо. Наскільки я знаю, це звичайно робиться в екології, де RRR відомий як аналіз надмірності і є прикладом того, що вони називають методами ординації ( див. Відповідь @ GavinSimpson тут ).

4. Зв'язок з іншими методами зменшення розмірності

RRR тісно пов'язаний з іншими методами зменшення розмірності, такими як CCA і PLS. Я трохи висвітлив це у своїй відповіді на те, який зв'язок між частковими найменшими квадратами, зменшеною регресією регресу та регресією основних компонентів?

якщо і - по центру набору даних даних провіктора ( ) і відповіді ( ), і якщо ми шукаємо першу пару осей, для і для $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$ $\mathbf w \in \mathbb R^p$ $\mathbf X$ $\mathbf v \in \mathbb R^q$ $\mathbf Y$ , то ці методи максимізують наступні кількості:

$\begin{aligned} P С А : & Вар (Х ш) \\ R R R : & {Кор}^{2} (Х ш, Y v) \cdot Вар (Y v) \\ П L S : & Вар (Х ш) \cdot {Кор}^{2} (Х ш, Y v) \cdot Вар (Y v) = {Ков}^{2} (Х ш, Y v) \\ С С А : & {Кор}^{2} (Х ш, Y v) \end{aligned}$ $\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}) \\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}) \\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv})\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}) \end{align}$

Дивіться там докладнішу інформацію.

Дивіться Torre, 2009, Рамка з найменшими квадратами для аналізу компонентів для детальної обробки того, як більшість загальних лінійних багатоваріантних методів (наприклад, PCA, CCA, LDA, - але не PLS!) Можна розглядати як RRR.

5. Чому цей розділ у Хасті та ін. так заплутано?

L = ‖ Y - Х Б ‖^{2},

$L=\|\mathbf Y-\mathbf X \mathbf B\|^2,$

L = ‖ (Y - X B) (Y^{⊤} Y)^{- 1 / 2} ‖^{2},

$L=\|(\mathbf Y-\mathbf X \mathbf B)(\mathbf Y^\top \mathbf Y)^{-1/2}\|^2,$

Y

$\mathbf Y$

Y

$\mathbf Y$ біліє, тоді різниця зникає. Отже, що Hastie та ін. call RRR - це насправді CCA у масках (і справді, дивіться їх 3.69).

У цьому розділі нічого з цього не пояснено належним чином, звідси плутанина.

Дивіться мою відповідь на Дружній підручник або вступ до регресії зі зниженим рангом для подальшого читання.

— Амеба каже Відновити Моніку
джерело

Це дуже красиво написане детальне пояснення. Дякую, я ціную це.

— cgo

r

$r$

B

$\bf B$

Y

$Y$

B

$B$

B

$B$

L

$L$

B

$B$

L

$L$

r

$r$

r

$r$

\hat{df} (r) = p q - (p - r) (q - r) + "a small correction term"

$\hat{\text{df}}(r) = pq - (p-r)(q-r) + \text{"a small correction term"}$

p

$p$

q

$q$

r

$r$

\frac{‖ Y - {\hat{Y}}^{RRRR} (r) ‖_{Fro}^{2}}{(n q - \hat{df} (r))^{2}}

$\frac{\|Y - \hat{Y}^{\text{RRRR}}(r)\|_{\text{Fro}}^2}{(nq - \hat{\text{df}}(r))^2}$

Дивіться, наприклад, google.fr/url?sa=t&source=web&rct=j&url=https://…

— dohmatob

Регресія зі зниженим рейтингом - це модель, де існує не один результат Y, а множинні результати Y. Звичайно, ви можете просто встановити окрему багатоваріантну лінійну регресію для кожної відповіді, але це здається неефективним, коли функціональний зв'язок між предикторами та кожною відповіддю явно схожий. Подивіться на цю вправу на кубок у ситуації, коли я вважаю, що це очевидно.

https://www.kaggle.com/c/bike-sharing-demand/data

Існує кілька споріднених прийомів наближення до цієї проблеми, які будують "фактори" або "компоненти" з X змінних, які потім використовуються для прогнозування Ys. Ця сторінка з документацією від SAS допомогла мені виправити відмінності. Зниження регресу рейтингу, здається, стосується вилучення компонентів, які максимально враховують різницю між відповідями, на відміну від «Часткових найменших квадратів», які витягують компоненти, які максимально враховують різницю як у відповідях, так і в прогнозах.

https://support.sas.com/documentation/cdl/en/statug/63347/HTML/default/viewer.htm#statug_pls_sect014.htm

— Iggy25
джерело

+1. Це правильно. Я обговорював цю сторінку документації SAS і, зокрема, їхню фігуру у своїй відповіді на stats.stackexchange.com/questions/206587.

— амеба каже, що відновіть Моніку