Зворотна регресія хребта: задавши матрицю відповіді та коефіцієнти регресії, знайдіть відповідні предиктори

Розглянемо стандартну проблему регресії OLS : У мене є матриці і і я хочу знайти щоб мінімізувати Рішення задається $\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin}$ $\Y$ $\X$ $\B$

L = ‖ Y - X β ‖^{2} .

$L=\|\Y-\X\B\|^2.$

\hat{β} = \underset{β}{argmin} {L} = (X^{⊤} X)^{+} X^{⊤} Y .

$\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y.$

Я також можу поставити "зворотну" проблему: задано $\Y$ і $\B^*$ , знайдіть $\hat\X$ що дасть $\hat\B\approx \B^*$ , тобто мінімуму $\|\argmin_\B\{L\}-\B^*\|^2$ . Словами, у мене є матриця відповідей $\Y$ та вектор коефіцієнтів $\B^*$ і я хочу знайти матрицю прогнозу, яка дала б коефіцієнти, близькі до $\B^*$ . Звичайно, це також проблема регресії OLS з рішенням

\hat{X} = \underset{X}{argmin} {‖ \underset{β}{argmin} {L} - β^{*} ‖^{2}} = Y β^{⊤} (β β^{⊤})^{+} .

$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \Y\B^\top(\B\B^\top)^{+}.$

Оновлення уточнення: Як @ GeoMatt22 пояснив у своїй відповіді, якщо $\Y$ - вектор (тобто, якщо є лише одна змінна відповіді), то це $\hat \X$ буде першим рангом, а зворотна проблема масово недоопределена. У моєму випадку $\Y$ насправді є матрицею (тобто є багато змінних відповідей, це багатоваріантна регресія). Отже $\X$ - $n\times p$ , $\Y$ - $n\times q$ і $\B$ - $p\times q$ .

Мені цікаво вирішити "зворотну" задачу для регресії хребта. А саме, тепер моя функція втрати -

L = ‖ Y - X β ‖^{2} + μ ‖ β ‖^{2}

$L=\|\Y-\X\B\|^2+\mu\|\B\|^2$ а рішення -

\hat{β} = \underset{β}{argmin} {L} = (X^{⊤} X + μ I)^{- 1} X^{⊤} Y .

$\hat\B=\argmin_\B\{L\}=(\X^\top \X+\mu\mathbf I)^{-1}\X^\top \Y.$

Проблема "зворотного" полягає у пошуку

\hat{X} = \underset{X}{argmin} {‖ \underset{β}{argmin} {L} - β^{*} ‖^{2}} = ?

$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \;?$

Знову ж таки, у мене є матриця відповідей $\Y$ та вектор коефіцієнтів $\B^*$ і я хочу знайти матрицю предиктора, яка дала б коефіцієнти, близькі до $\B^*$ .

Насправді є два пов'язані з ними формулювання:

Знайдіть $\hat\X$ заданих $\Y$ і $\B^*$ і $\mu$ .
Знайдіть $\hat\X$ і $\hat \mu$ заданих $\Y$ і $\B^*$ .

Чи має будь-який із них пряме рішення?

Ось короткий уривок Matlab для ілюстрації проблеми:

% generate some data
n = 10; % number of samples
p = 20; % number of predictors
q = 30; % number of responses
Y = rand(n,q);
X = rand(n,p);
mu = 0;
I = eye(p);

% solve the forward problem: find beta given y,X,mu
betahat = pinv(X'*X + mu*I) * X'*Y;

% backward problem: find X given y,beta,mu
% this formula works correctly only when mu=0
Xhat =  Y*betahat'*pinv(betahat*betahat');

% verify if Xhat indeed yields betahat
betahathat = pinv(Xhat'*Xhat + mu*I)*Xhat'*Y;
max(abs(betahathat(:) - betahat(:)))

Цей код виводить нуль, mu=0але якщо не інакше.

regression least-squares ridge-regression

— Амеба каже Відновити Моніку
джерело

Оскільки і задані, вони не впливають на зміни втрат. Тому в (1) ви все ще робите OLS. (2) не менш просто, тому що втрати можна зробити довільно невеликими, прийнявши довільно негативні, в межах будь-яких обмежень, які ви порівнюєте з накладенням на неї. Це зводить вас до справи (1).

B

$B$

μ

$\mu$

\hat{μ}

$\hat\mu$

— whuber

@whuber Дякую Я думаю, що я не пояснив це досить зрозуміло. Розглянемо (1). і дано (назвемо це ), але мені потрібно знайти

B

$B$

μ

$\mu$

B^{*}

$B^*$

X

$X$ який дасть коефіцієнти регресії хребта, близькі до , іншими словами я хочу знайти мінімізаціюЯ не бачу, чому це повинно бути OLS.

B^{*}

$B^*$

X

$X$

‖ \underset{B}{argmin} {L_{r i d g e} (X, B)} - B^{*} ‖^{2} .

$\Big\|\operatorname*{argmin}_B\big\{ L_\mathrm{ridge}(X,B)\big\} - B^*\Big\|^2.$

— амеба каже, що повернеться до Моніки

Це як у мене і я хочу знайти таким, що близький заданому . Це не те саме, що знайти .

f (v, w)

$f(v,w)$

v

$v$

{argmin}_{w} f (v, w)

$\operatorname{argmin}_w f(v,w)$

w^{*}

$w^*$

{argmin}_{v} f (v, w^{*})

$\operatorname{argmin}_v f(v,w^*)$

— амеба каже: Відновити Моніку

Експозиція у вашому дописі з цього приводу збентежує, оскільки, очевидно, ви фактично не використовуєте як функцію втрати. Чи можете ви, можливо, детальніше зупинитися на специфіці проблем (1) та (2) у посаді?

L

$L$

— whuber

@ hxd1011 Багато стовпців у X зазвичай називають "множинною регресією", багато стовпців у Y зазвичай називають "багатоваріантною регресією".

— амеба каже: Відновити Моніку

Тепер, коли питання сходилося з більш точним формулюванням проблеми, що цікавить, я знайшов рішення для випадку 1 (відомий параметр хребта). Це також повинно допомогти у випадку 2 (не саме аналітичне рішення, а проста формула та деякі обмеження).

Короткий зміст: Жодна з двох зворотних формулювань задачі не має однозначної відповіді. У випадку 2 , коли параметр хребта невідомий, існує нескінченно багато рішень , для . У випадку 1, де задано , існує обмежене число рішень для , через неоднозначність у спектрі сингулярних значень. $\mu\equiv\omega^2$ $X_\omega$ $\omega\in[0,\omega_\max]$ $\omega$ $X_\omega$

(Виведення дещо тривале, тому TL, DR: в кінці є працюючий код Matlab.)

Недостатній випадок ("OLS")

Проблема вперед - де , , і .

min_{B} ‖ X B - Y ‖^{2}

$\min_B\|XB-Y\|^2$

X \in R^{n \times p}

$X\in\mathbb{R}^{n\times p}$

B \in R^{p \times q}

$B\in\mathbb{R}^{p\times q}$

Y \in R^{n \times q}

$Y\in\mathbb{R}^{n\times q}$

Виходячи з оновленого питання, будемо вважати, що , тож під визначеними даними та $n<p<q$ $B$ $X$ $Y$ . Як і в питанні, ми будемо вважати « по умовчанням» (мінімум норма) рішення , де є псевдообернених з . $L_2$

B = X^{+} Y

$B=X^+Y$

X^{+}

$X^+$

X

$X$

Від сингулярного розкладання значення ( SVD ) $X$ , заданого * псевдоінверс можна обчислити як ** (* Перші вирази використовують повний SVD, тоді як другі вирази використовують зменшений SVD. ** Для простоти я припускаю, що має повний ранг, тобто .)

X = U S V^{T} = U S_{0} V_{0}^{T}

$X=USV^T=US_0V_0^T$

X^{+} = V S^{+} U^{T} = V_{0} S_{0}^{- 1} U^{T}

$X^+=VS^+U^T=V_0S_0^{-1}U^T$

X

$X$

S_{0}^{- 1}

$S_0^{-1}$

Таким чином, завдання вперед має рішення Для подальшого посилання зазначу, що , де - вектор сингулярних значень.

B \equiv X^{+} Y = (V_{0} S_{0}^{- 1} U^{T}) Y

$B\equiv X^+Y=\left(V_0S_0^{-1}U^T\right)Y$

S_{0} = d i a g (σ_{0})

$S_0=\mathrm{diag}(\sigma_0)$

σ_{0} > 0

$\sigma_0>0$

У зворотній задачі нам дається $Y$ і . Ми знаємо , що прийшли з вищеописаного процесу, але ми не знаємо . Завдання полягає в тому, щоб визначити відповідний . $B$ $B$ $X$ $X$

Як зазначалося в оновленому запитанні, в цьому випадку ми можемо відновитись $X$ , використовуючи по суті той же самий підхід, тобто тепер використовується псевдообернених .

X_{0} = Y B^{+}

$X_0=YB^+$

B

$B$

Завищений випадок (оцінювач Ріджа)

У випадку "OLS" недостатньо визначена проблема була вирішена шляхом вибору рішення з мінімальною нормою , тобто наше "унікальне" рішення було неявно узаконено .

Замість вибору мінімальною нормою, тут ми вводимо параметр для контролю "наскільки малою" повинна бути норма, тобто ми використовуємо регресію хребта . $\omega$

У цьому випадку у нас є ряд прямих задач для , , які задаються Збір різних векторів лівого та правого боку в $\beta_k$ $k=1,\ldots,q$

min_{β} ‖ X β - y_{k} ‖^{2} + ω^{2} ‖ β ‖^{2}

$\min_\beta\|X\beta-y_k\|^2+\omega^2\|\beta\|^2$

B_{ω} = [β_{1}, \dots, β_{k}], Y = [y_{1}, \dots, y_{k}]

$B_{\omega}=[\beta_1,\ldots,\beta_k] \quad,\quad Y=[y_1,\ldots,y_k]$ цієї колекції проблеми можна звести до наступної проблеми "OLS" де ми ввели розширені матриці

min_{B} ‖ X_{ω} B - Y ‖^{2}

$\min_B\|\mathsf{X}_\omega B-\mathsf{Y}\|^2$

X_{ω} = [\begin{matrix} X \\ ω I \end{matrix}], Y = [\begin{matrix} Y \\ 0 \end{matrix}]

$\mathsf{X}_\omega=\begin{bmatrix}X \\ \omega I\end{bmatrix} \quad , \quad \mathsf{Y}=\begin{bmatrix}Y \\ 0 \end{bmatrix}$

У цьому завищеному випадку рішення все-таки дається псевдо-зворотним але псевдо-обернена тепер змінюється, в результаті чого * де нова матриця "спектру сингулярності" має (обернену) діагональ ** (* Дещо задіяний розрахунок, необхідний для його отримання, був опущений заради стислості. Він подібний до експозиції тут для випадку . ** Тут записи вектор виражається через вектор , де всі операції вводяться.)

B_{ω} = X^{+} Y

$B_\omega = \mathsf{X}^+\mathsf{Y}$

B_{ω} = (V_{0} S_{ω}^{- 2} U^{T}) Y

$B_\omega = \left(V_0S_\omega^{-2}U^T\right) Y$

σ_{ω}^{2} = \frac{σ_{0}^{2} + ω^{2}}{σ_{0}}

$\sigma_\omega^2 = \frac{\sigma_0^2+\omega^2}{\sigma_0}$

p \leq n

$p\leq n$

σ_{ω}

$\sigma_\omega$

σ_{0}

$\sigma_0$

Тепер у цій проблемі ми формально можемо відновити "базове рішення" як але це вже не справжнє рішення.

X_{ω} = Y B_{ω}^{+}

$X_\omega=YB_\omega^+$

Однак аналогія все ж полягає в тому, що це "рішення" має SVD з особливими значеннями наведеними вище.

X_{ω} = U S_{ω}^{2} V_{0}^{T}

$X_\omega=US_\omega^2V_0^T$

σ_{ω}^{2}

$\sigma_\omega^2$

Таким чином, ми можемо отримати квадратичне рівняння, що стосується бажаних сингулярних значень до відновлюваних сингулярних значень та параметру регуляризації $\sigma_0$ $\sigma_\omega^2$ $\omega$ . Тоді рішення -

σ_{0} = \bar{σ} \pm Δ σ, \bar{σ} = \frac{1}{2} σ_{ω}^{2}, Δ σ = \sqrt{(\bar{σ} + ω) (\bar{σ} - ω)}

$\sigma_0=\bar{\sigma} \pm \Delta\sigma \quad , \quad \bar{\sigma} = \tfrac{1}{2}\sigma_\omega^2 \quad , \quad \Delta\sigma = \sqrt{\left(\bar{\sigma}+\omega\right)\left(\bar{\sigma}-\omega\right)}$

Наведений нижче демонстраційний опис Matlab (випробуваний в Інтернеті через Octave ) показує, що цей метод рішення, як видається, працює як на практиці, так і в теорії. Останній рядок показує, що всі особливі значення знаходяться у реконструкції , але я не зовсім зрозумів, який корінь взяти ( = vs. ). Для це завжди буде root. Це , як правило , здається, трюм для «малих» , в той час як для «великих» $X$ $\bar{\sigma}\pm\Delta\sigma$ sgn $+$ $-$ $\omega=0$ $+$ $\omega$ $\omega$ $-$ корінь , здається, взяти на себе. (Демонстрація нижче встановлена на "великий" випадок.)

% Matlab demo of "Reverse Ridge Regression"
n = 3; p = 5; q = 8; w = 1*sqrt(1e+1); sgn = -1;
Y = rand(n,q); X = rand(n,p);
I = eye(p); Z = zeros(p,q);
err = @(a,b)norm(a(:)-b(:),Inf);

B = pinv([X;w*I])*[Y;Z];
Xhat0 = Y*pinv(B);
dBres0 = err( pinv([Xhat0;w*I])*[Y;Z] , B )

[Uw,Sw2,Vw0] = svd(Xhat0, 'econ');

sw2 = diag(Sw2); s0mid = sw2/2;
ds0 = sqrt(max( 0 , s0mid.^2 - w^2 ));
s0 = s0mid + sgn * ds0;
Xhat = Uw*diag(s0)*Vw0';

dBres = err( pinv([Xhat;w*I])*[Y;Z] , B )
dXerr = err( Xhat , X )
sigX = svd(X)', sigHat = [s0mid+ds0,s0mid-ds0]' % all there, but which sign?

Я не можу сказати, наскільки надійним є це рішення, оскільки зворотні проблеми, як правило, недоцільні, а аналітичні рішення можуть бути дуже крихкими. Однак побіжні експерименти, що забруднюють гауссовим шумом (тобто він має повний ранг $B$ $p$ проти зменшеного рангу ), схоже, свідчать про те, що метод досить добре поводиться. $n$

Що стосується проблеми 2 (тобто невідомо), вищесказане дає принаймні верхню межу на $\omega$ $\omega$ . Щоб квадратичний дискримінант був негативним, ми повинні мати

ω \leq ω_{max} = {\bar{σ}}_{n} = min [\frac{1}{2} σ_{ω}^{2}]

$\omega \leq \omega_{\max} = \bar{\sigma}_n = \min[\tfrac{1}{2}\sigma_\omega^2]$

Для двозначності квадратичного корінця наступний фрагмент коду показує, що незалежно від знака будь-який дасть однаковий передній гребень-рішення, навіть коли відрізняється від . $\hat{X}$ $B$ $\sigma_0$ $\mathrm{SVD}[X]$

Xrnd=Uw*diag(s0mid+sign(randn(n,1)).*ds0)*Vw0'; % random signs
dBrnd=err(pinv([Xrnd;w*I])*[Y;Z],B) % B is always consistent ...
dXrnd=err(Xrnd,X) % ... even when X is not

— GeoMatt22
джерело

+11. Велике спасибі за всі зусилля, які ви доклали до відповіді на це запитання, і за всю дискусію, яку ми мали. Це, здається, цілком відповідає на моє запитання. Я відчував, що просто прийняти вашу відповідь у цьому випадку недостатньо; це заслуговує на набагато більше, ніж два обґрунтування, що є у відповіді на даний момент. Ура.

— амеба каже: Поновіть Моніку

@amoeba дякую! Я радий, що це було корисно. Я думаю, що я опублікую коментар до відповіді Ваубера, на яку ви посилаєтесь, запитуючи, чи вважає він це підходящим та / або є краща відповідь, яку слід використовувати. (Зверніть увагу, він передмінює свою дискусію SVD з умовою , тобто

p \leq n

$p\leq n$

X

$X$

— завищеним

@ GeoMatt22 мій коментар до оригінального запитання каже, що використовувати pinvце не дуже добре, ви згодні?

— Хайтао Ду

@ hxd1011 Взагалі ви (майже) ніколи не хочете явно перетворювати матрицю чисельно, і це також стосується псевдоінверсії. Дві причини, які я тут використав, - це 1) узгодженість математичних рівнянь + демо-код amoeba та 2) для випадку недостатньо визначених систем рішення "косою" за замовчуванням Matlab можуть відрізнятися від рівномірних . Майже всі випадки мого коду можуть бути замінені відповідними \ або / командами, які, як правило, кращі. (Вони дозволяють Matlab вирішити найбільш ефективний прямий вирішувач.)

— GeoMatt22,

@ hxd1011, щоб уточнити пункт 2 мого попереднього коментаря, за посиланням у вашому коментарі до початкового питання: "Якщо ранг A менший за кількість стовпців у A, то x = A \ B не обов'язково є мінімальним Більш обчислювально дорогий x = pinv (A) * B обчислює рішення мінімальної норми найменших квадратів. ".

— GeoMatt22