Межа оцінювача регресії хребта "одинична дисперсія" при

Розглянемо регресію хребта з додатковим обмеженням, що вимагає, щоб має одиницю суми квадратів (еквівалентно одиниці дисперсії); при необхідності можна припустити, що має одиничну суму квадратів: $\hat{\mathbf y}$ $\mathbf y$

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1.

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1.$

Яка межа $\hat{\boldsymbol\beta}_\lambda^*$ коли $\lambda\to\infty$ ?

Ось кілька тверджень, які я вважаю вірними:

Коли $\lambda=0$ , є чітке явне рішення: візьміть оцінювач OLS $\hat{\boldsymbol\beta}_0=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf y$ і нормалізуйте його, щоб задовольнити обмеження (це можна побачити, додавши множник Лагранжа і диференціюючи):
${\hat{β}}_{0}^{*} = {\hat{β}}_{0} / ‖ X {\hat{β}}_{0} ‖ .$ $\hat{\boldsymbol\beta}_0^* = \hat{\boldsymbol\beta}_0 \big/ \|\mathbf X\hat{\boldsymbol\beta}_0\|.$
Загалом, рішення -
${\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .$ $\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$ Я не бачу рішення закритої форми, коли $\lambda >0$ . Здається, що рішення еквівалентне звичайному оцінювачу RR з деяким $\lambda^*$ нормалізованим для задоволення обмежень, але я не бачу закритої формули для $\lambda^*$ .
Коли $\lambda\to \infty$ , звичайний оцінювач RR
${\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y$ $\hat{\boldsymbol\beta}_\lambda=(\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top \mathbf y$ очевидно сходить до нуля, але його напрямок $\hat{\boldsymbol\beta}_\lambda \big/ \|\hat{\boldsymbol\beta}_\lambda\|$ конвергується до напрямку $\mathbf X^\top \mathbf y$ , він же є першим частковим компонентом найменших квадратів (PLS).

Висловлювання (2) і (3) разом змушують мене думати, що, можливо, $\hat{\boldsymbol\beta}_\lambda^*$ також сходиться до належним чином нормалізованого $\mathbf X^\top \mathbf y$ , але я не впевнений, чи це правильно, і я так і не зумів переконати себе.

— Амеба каже Відновити Моніку
джерело

Відповіді:

Геометрична інтерпретація

Оцінювач, описаний у запитанні, є еквівалентом множника Лагранжа наступної задачі оптимізації:

minimize f (β) subject to g (β) \leq t and h (β) = 1

$\text{minimize $f(\beta)$ subject to $g(\beta) \leq t$ and $h(\beta) = 1$ }$

\begin{aligned} f (β) & = ‖ y - X β ‖^{2} \\ g (β) & = ‖ β ‖^{2} \\ h (β) & = ‖ X β ‖^{2} \end{aligned}

$\begin{align} f(\beta) &= \lVert y-X\beta \lVert^2 \\ g(\beta) &= \lVert \beta \lVert^2\\ h(\beta) &= \lVert X\beta \lVert^2 \end{align}$

який геометрично можна розглядати як пошук найменшого еліпсоїда який торкається перетину сфери та еліпсоїда $f(\beta)=\text{RSS }$ $g(\beta) = t$ $h(\beta)=1$

Порівняння зі стандартним регресійним видом на кряж

З точки зору геометричного виду це змінює старий вигляд (для стандартної регресії хребта) точки, де торкаються сфероїда (помилки) та сфери ( ) $\|\beta\|^2=t$ . У новий погляд, де ми шукаємо точку, коли сфероїд (помилки) торкається кривої (норма бета, обмежена ) . Одна сфера (синій на лівому зображенні) змінюється на фігуру нижнього розміру через перетин з обмеженням . $\|X\beta\|^2=1$ $\|X\beta\|=1$

У двовимірному випадку це просто для перегляду.

Коли ми налаштовуємо параметр тоді ми змінюємо відносну довжину синьо / червоної сфер або відносні розміри та (В теорії лагранжевих множників, мабуть, існує акуратний спосіб формально і точно опишіть, що це означає, що для кожного як функція , або зворотний, є монотонною функцією. Але я думаю, що ви можете зрозуміти, що сума квадратних залишків збільшується лише тоді, коли ми зменшимо .) $t$ $f(\beta)$ $g(\beta)$ $t$ $\lambda$ $||\beta||$

Рішення для є таким, як ви сперечалися на лінії між 0 і $\beta_\lambda$ $\lambda=0$ $\beta_{LS}$

Рішення для є (справді, як ви прокоментували) у завантаженні першого основного компонента. Це точка, коли є найменшою для . Це точка, де коло торкається еліпса в одній точці. $\beta_\lambda$ $\lambda \to \infty$ $\lVert \beta \rVert^2$ $\lVert \beta X \rVert^2 = 1$ $\lVert \beta \rVert^2=t$ $|X\beta|=1$

У цьому краї перетину сфери і сфероїда є точками. У кількох розмірах це будуть криві $\lVert \beta \rVert^2 =t$ $\lVert \beta X \rVert^2 = 1$

(Спочатку я уявив, що ці криві будуть еліпсами, але вони складніші. Ви можете уявити, що еліпсоїд перетинається кулькою як деякі різновид еліпсоїдного фрусту, але з ребрами, які не є простими еліпсами) $\lVert X \beta \rVert^2 = 1$ $\lVert \beta \rVert^2 \leq t$

Щодо обмеження $\lambda \to \infty$

Спочатку (попередні редагування) я писав, що буде деякий обмежувальний над яким всі рішення однакові (і вони знаходяться у точці ). Але це не так $\lambda_{lim}$ $\beta^*_\infty$

Розглянемо оптимізацію як алгоритм LARS або спуск градієнта. Якщо для будь-якої точки існує напрямок, в якому ми можемо змінити таким чином, щоб термін покарання збільшувався менше, ніж термін SSR зменшується, то ви не знаходяться як мінімум . $\beta$ $\beta$ $|\beta|^2$ $|y-X\beta|^2$

У нормальній регресії хребта у вас є нульовий нахил (у всіх напрямках) для у точці . Тож для всіх кінцевих рішення не може бути (оскільки можна зробити нескінченно малий крок для зменшення суми квадратних залишків без збільшення штрафу). $|\beta|^2$ $\beta=0$ $\lambda$ $\beta = 0$
Для LASSO це не те саме, оскільки: штраф є (тому він не є квадратичним з нульовим нахилом). Через це LASSO матиме деяке обмежувальне значення вище якого всі рішення дорівнюють нулю, оскільки термін покарання (помножений на ) збільшиться більше, ніж зменшиться залишкова сума квадратів. $\lvert \beta \rvert_1$ $\lambda_{lim}$ $\lambda$
Для обмеженого хребта ви отримуєте те саме, що і звичайна регресія хребта. Якщо змінити починаючи з ця зміна буде перпендикулярна до ( перпендикулярно поверхні еліпса ) і може змінюватися нескінченно малим кроком, не змінюючи штрафний термін, але зменшуючи суму залишків у квадраті. Таким чином, для будь-яких кінцевих точка не може бути рішенням. $\beta$ $\beta^*_\infty$ $\beta$ $\beta^*_\infty$ $|X\beta|=1$ $\beta$ $\lambda$ $\beta^*_\infty$

Подальші примітки щодо обмеження $\lambda \to \infty$

Звичайна межа регресії хребта для до нескінченності відповідає різній точці обмеженої регресії хребта. Ця "стара" межа відповідає точці, коли дорівнює -1. Тоді похідна функції Лагранжа в нормованій задачі $\lambda$ $\mu$

$2 (1 + μ) X^{T} X β + 2 X^{T} y + 2 λ β$ $2 (1+\mu) X^{T}X \beta + 2 X^T y + 2 \lambda \beta$ відповідає рішенню для похідної функції Лагранжа в стандартній задачі

$2 X^{T} X β^{'} + 2 X^{T} y + 2 \frac{λ}{(1 + μ)} β^{'} with β^{'} = (1 + μ) β$ $2 X^{T}X \beta^\prime + 2 X^T y + 2 \frac{\lambda}{(1+\mu)} \beta^\prime \qquad \text{with $\beta^\prime = (1+\mu)\beta$}$

Автор StackExchangeStrike

— Секст Емпірік
джерело

+1. Велике спасибі, це дуже корисно! Мені знадобиться певний час, щоб продумати це.

— амеба каже, що повернеться Моніка

Варто зазначити, що червоний і чорний еліпсоїди мають однакову форму: саме тому точка, де вони торкаються, лежить на лінії, що з'єднує їх центри. Хороший графічний доказ точки №1 в моєму запитанні.

— амеба каже, що повернеться до Моніки

Я намагаюсь зрозуміти, де на вашому малюнку знаходиться бета-версія, що відповідає оцінці хребта з нескінченною лямбда, нормалізованою, щоб лежати на чорному еліпсі. Я думаю, що це десь між та (використовуючи моє позначення) - дві точки, позначені чорним відкритим колом на вашому малюнку. Отже, якщо ми робимо регресію хребта і нормалізуємо розчин і збільшуємо лямбда від 0 до нескінченності, це, ймовірно, веде нас по одній дузі, але не цілим шляхом до PC1. Натомість, явне введення обмеження змушує рішення пройти весь шлях до PC1.

β_{0}^{*}

$\beta_0^*$

β_{\infty}^{*}

$\beta_\infty^*$

‖ X β ‖ = 1

$\|X\beta\|=1$

— амеба каже, що відбудеться Моніка

+5 (Я розпочав щедроту, яку з радістю нагороджу за вашу відповідь). Я також розмістив свою власну відповідь, тому що я робив деякі алгебраїчні виведення, і це було занадто багато, щоб додати питання. Я не переконаний у вашому висновку, що з'явиться деякий кінцевий після якого рішення більше не зміниться і буде надано PC1. Я не бачу це алгебраїчно, і я не зовсім розумію ваш аргумент, чому він повинен існувати. Спробуємо розібратися в цьому.

λ_{lim}

$\lambda_\text{lim}$

— Амеба каже, що повернеться Моніка

@amoeba, ви мали рацію щодо того, що кінцева не існує. Я надто інтуїтивно сперечався і швидко переходив від конкретної умови регулярної регресії хребта до обмеженої регресії хребта. Звичайний RR має нульовий нахил (у всіх напрямках) для у точці . Я подумав, що (оскільки ) ви не отримаєте цього при обмеженій регресії. Однак тому, що обмежується еліпсоїдом ви не можете "рухатися" в усіх напрямках.

λ_{lim}

$\lambda_{\lim}$

| β |^{2}

$|\beta|^2$

β = 0

$\beta = 0$

β_{\infty}^{*} \neq 0

$\beta^*_\infty \neq 0$

β

$\beta$

| X β | = 1

$|X\beta| =1$

β

$\beta$

— Sextus Empiricus

Це алгебраїчний аналог прекрасної геометричної відповіді @ Мартійна.

Перш за все, межа коли дуже легко отримати: в обмеженні перший член функції втрати стає мізерним і, таким чином, може не враховуватися. Проблема оптимізації стає що є першим головним компонентом

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1$

λ \to \infty

$\lambda\to\infty$

lim_{λ \to \infty} {\hat{β}}_{λ}^{*} = {\hat{β}}_{\infty}^{*} = \underset{‖ X β ‖^{2} = 1}{a r g m i n} ‖ β ‖^{2} \sim \underset{‖ β ‖^{2} = 1}{a r g m a x} ‖ X β ‖^{2},

$\lim_{\lambda\to\infty}\hat{\boldsymbol\beta}_\lambda^* = \hat{\boldsymbol\beta}_\infty^* = \operatorname*{arg\,min}_{\|\mathbf X \boldsymbol\beta\|^2=1}\|\boldsymbol\beta\|^2 \sim \operatorname*{arg\,max}_{\| \boldsymbol\beta\|^2=1}\|\mathbf X\boldsymbol\beta\|^2,$

X

$\mathbf X$ (відповідне масштабування). Це відповідає на питання.

Тепер розглянемо рішення для будь-якого значення яке я згадував у пункті 2 свого запитання. Додаючи до функції втрати множник Лагранжа і диференціюючи, отримаємо $\lambda$ $\mu(\|\mathbf X\boldsymbol\beta\|^2-1)$

{\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .

$\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$

Як поводиться це рішення, коли зростає від нуля до нескінченності? $\lambda$

Коли , ми отримуємо масштабовану версію рішення OLS: $\lambda=0$
${\hat{β}}_{0}^{*} \sim {\hat{β}}_{0} .$ $\hat{\boldsymbol\beta}_0^* \sim \hat{\boldsymbol\beta}_0.$
Для позитивних, але малих значень , рішення є масштабованою версією деякого оцінювача хребта: $\lambda$
${\hat{β}}_{λ}^{*} \sim {\hat{β}}_{λ^{*}} .$ $\hat{\boldsymbol\beta}_\lambda^* \sim \hat{\boldsymbol\beta}_{\lambda^*}.$
Коли, значення необхідне для задоволення обмеження, дорівнює . Це означає, що рішення є масштабованою версією першого компонента PLS (це означає, що відповідного оцінювача хребта ): $\lambda=\|\mathbf X\mathbf X^\top \mathbf y\|$ $(1+\mu)$ $0$ $\lambda^*$ $\infty$
${\hat{β}}_{‖ X X^{⊤} y ‖}^{*} \sim X^{⊤} y .$ $\hat{\boldsymbol\beta}_{\|\mathbf X\mathbf X^\top \mathbf y\|}^* \sim \mathbf X^\top \mathbf y.$
Коли стає більшим за це, необхідний термін стає негативним. Відтепер рішення є масштабованою версією оцінювача псевдозрідження з негативним параметром регуляризації ( негативний гребінь ). З точки зору напрямів, ми минули регрес хребта з нескінченною лямбда. $\lambda$ $(1+\mu)$
Коли , термін піде в нуль (або розходиться до нескінченність), якщо де є найбільшим значенням однини . Це зробить кінцевим і пропорційним першій головній осі . Нам потрібно встановити щоб задовольнити обмеження. Таким чином, ми отримуємо, що $\lambda\to\infty$ $\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}$ $\mu = -\lambda/ s^2_\mathrm{max} + \alpha$ $s_\mathrm{max}$ $\mathbf X=\mathbf{USV}^\top$ $\hat{\boldsymbol\beta}_\lambda^*$ $\mathbf V_1$ $\mu = -\lambda/ s^2_\mathrm{max} + \mathbf U_1^\top \mathbf y -1$
${\hat{β}}_{\infty}^{*} \sim V_{1} .$ $\hat{\boldsymbol\beta}_\infty^* \sim \mathbf V_1.$

Загалом, ми бачимо, що ця обмежена проблема мінімізації охоплює одиничні дисперсійні версії OLS, RR, PLS та PCA у наступному спектрі:

OLS \to RR \to PLS \to negative RR \to PCA

$\boxed{\text{OLS} \to \text{RR} \to \text{PLS} \to \text{negative RR} \to \text{PCA}}$

Здається, це еквівалентно незрозумілій (?) Хіміометрічній структурі під назвою "континуальна регресія" (див. Https://scholar.google.de/scholar?q="continuum+regression " , зокрема Stone & Brooks 1990, Sundberg 1993, Björkström & Sundberg 1999 і т. Д.), Яка дозволяє те саме об'єднання, максимізуючи спеціальний критерій ім'яЦе, очевидно, дає масштабований OLS, коли , PLS, коли , PCA, коли , і може бути показано, щоб отримати масштабований RR за

T = {corr}^{2} (y, X β) \cdot {Var}^{γ} (X β) s.t. ‖ β ‖ = 1.

$\mathcal T = \operatorname{corr}^2(\mathbf y, \mathbf X \boldsymbol\beta)\cdot \operatorname{Var}^\gamma(\mathbf X\boldsymbol\beta) \;\;\text{s.t.}\;\;\|\boldsymbol\beta\|=1.$

γ = 0

$\gamma=0$

γ = 1

$\gamma=1$

γ \to \infty

$\gamma\to\infty$

0 < γ < 1

$0<\gamma<1$

1 < γ < \infty

$1<\gamma<\infty$ , див. Sundberg 1993.

Незважаючи на те, що я маю досить багато досвіду роботи з RR / PLS / PCA / тощо, я мушу визнати, що раніше ніколи не чув про «регресію континууму». Я також повинен сказати, що цей термін мені не подобається.

Схему, яку я зробив на основі одного @ Martijn:

Оновлення: малюнок оновлений негативною доріжкою хребта, величезне спасибі @Martijn за те, що він запропонував виглядати. Детальну інформацію див. У моїй відповіді в « Розуміння негативної регресії хребта» .

— Амеба каже Відновити Моніку
джерело

«Неперервна регресія», здається, є однією з дивно широких категорій методів, спрямованих на об'єднання ПЛС та СПС у загальні рамки. Я ніколи про це не чув, до речі, поки не досліджував негативний хребет (я надаю посилання на папку Bjorkstron & Sundberg, 1999, в першому коментарі до питання про негативний хребет, на який ви посилаєтесь), хоча це, здається, досить широко обговорюється в хімічна література. Має бути якась історична причина, чому вона розвивалася, здавалося б, ізольовано від інших галузей статистики. (1/3)

— Райан Сіммонс

Один документ, який ви можете прочитати, - це де Йонг та ін. (2001) . Їх формулювання "канонічних PLS", схоже, на швидкому погляді є рівнозначним вашому, хоча, я визнаю, я ще не суворо порівнював математику (вони також містять огляд кількох інших узагальнень PLS-PCA в тому ж дусі). Але може бути глибоко зрозуміти, як вони пояснили проблему. (2/3)

— Райан Сіммонс

Якщо посилання вмирає, повна цитата: Сіджмен де Йонг, Баррі М. Мудрий, Н. Лоуренс Рікер. "Канонічні часткові найменші квадрати та безперервна регресія потужності". Журнал хіміометрії, 2001; 15: 85-100. doi.org/10.1002/… (3/3)

— Райан Сіммонс

ах, добре, тоді і переходять до нескінченності, але їх співвідношення залишається . У будь-якому випадку шлях регресії від'ємного гребеня повинен знаходитись у (негативному) секторі між векторами PLS та PCA таким чином, щоб їх проекція на еліпсзнаходиться між точками PLS і PCA. (норма, що йде до нескінченності, має сенс, оскільки йде до нескінченності, тому шлях продовжується до правого нижнього кута, спочатку дотичного до, від'ємного, PLS і, зрештою, до PCA)

λ^{*}

$\lambda^*$

1 + μ^{*}

$1+\mu^*$

\pm

$\pm$

s_{m a x}^{2}

$s_{max}^2$

| X β = 1 |

$|X\beta=1|$

μ

$\mu$

— Sextus Empiricus

Це додало б візуалізації. Я уявляю, що три поточні точки шляху RR (де дотик до кола та еліпсоїда) тривають вниз праворуч і, врешті-решт, у нескінченності коло та еліпсоїд повинні 'торкання' в напрямку від на місці , де коло стосується еліпсоїда

| β |^{2} = t_{\infty}

$|\beta|^2=t_{\infty}$

| X (β - \hat{β}) |^{2} = R S S

$|X (\beta - \hat\beta)|^2 =RSS$

| β |^{2} = t_{p c a}

$|\beta|^2=t_{pca}$

| X β |^{2} = 1

$|X \beta|^2 =1$

— Секст Емпірика

Межа оцінювача регресії хребта "одинична дисперсія" при

Геометрична інтерпретація

Порівняння зі стандартним регресійним видом на кряж

Щодо обмеженняλ→∞λ→∞\lambda \to \infty

Подальші примітки щодо обмеженняλ→∞λ→∞\lambda \to \infty

Щодо обмеження $\lambda \to \infty$

Подальші примітки щодо обмеження $\lambda \to \infty$