Лінійна регресія, коли ви знаєте лише , а не безпосередньо

Нехай . $X\beta =Y$

Ми не знаємо точно, тільки його кореляції з кожним предиктором, . $Y$ $X^\mathrm{t}Y$

Звичайним рішенням найменших квадратів (OLS) є і проблеми не виникає. $\beta=(X^\mathrm{t} X)^{-1} X^\mathrm{t}Y$

Але припустимо, що близький до сингулярності (мультиколінеарність), і вам потрібно оцінити оптимальний параметр хребта. Всі методи , здається, потрібні точні значення . $X^\mathrm{t}X$ $Y$

Чи існує альтернативний метод, коли відомий лише ? $X^\mathrm{t}Y$

regression multicollinearity

— Джаг
джерело

цікаве запитання. Можливо, якийсь алгоритм ЕМ спрацював би ...

— ймовірність відомості

Я не розумію, чи не можна використовувати перехресну перевірку для оцінки оптимального параметра гребеня?

— Пардіс

@Pardis: У запитанні не вказано жодної функції втрат, тому ми не знаємо, які оптимальні засоби. Чи можете ви побачити проблему, з якою ми стикаємося, якщо функцією втрати є MSE?

— кардинал

@JohnSmith: Ви натякаєте на те, що я їхав. Немає вказівки, як вимірювати "оптимальність". Те, що ви ефективно робите, - це ввести іншу метрику (функцію відстані), щоб виміряти "якість" прогнозування або придатності. Я підозрюю, що нам потрібно більше деталей з ОП, щоб зайти дуже далеко.

— кардинал

@Pardis: Пошук оцінок не є проблемою, як ви зазначаєте. :) Однак, якщо ви вирішили зробити кросвалідизацію, як ви збираєтеся оцінювати вибірковий MSE, тобто по лівій складці для кожної ітерації? :)

— кардинал

Відповіді:

Це цікаве питання. Дивно, але можливо зробити щось за певних припущень, але можлива втрата інформації про залишкову дисперсію. Від залежить, скільки втрачено. $X$

Розглянемо наступне розкладання сингулярного значення з з an матрицею з ортонормальними стовпцями, діагональна матриця з позитивними значеннями сингулярності в діагоналі і a ортогональна матриця. Тоді стовпці утворюють ортонормальну основу для простору стовпців і - вектор коефіцієнтів для проекції на цей простір стовпців при розширенні в $\newcommand{\t}{^\mathrm{t}}X = UDV\t$ $X$ $U$ $n \times p$ $D$ $d_1 \geq d_2 \geq ... \geq d_p > 0$ $V$ $p \times p$ $U$ $X$

Z = U^{t} Y = D^{- 1} V^{t} V D U^{t} Y = D^{- 1} V^{t} X^{t} Y

$Z = U\t Y = D^{-1} V\t V D U\t Y = D^{-1} V\t X\t Y$

Y

$Y$

U

$U$ колонна основа. З формули видно , що вирахує з знання і тільки.

Z

$Z$

X

$X$

X^{t} Y

$X\t Y$

Оскільки прогноз регресії хребта для заданого може бути обчислений як ми бачимо, що коефіцієнти для прогнозувача регресії хребта в основі стовпчика Тепер робимо припущення про розподіл, що має розмірне середнє та матрицю коваріації . Тоді має -вимірне середнє та матрицю коваріації . Якщо уявити незалежну $\lambda$

\hat{Y} = X (X^{t} X + λ I)^{- 1} X^{t} Y = U D (D^{2} + λ I)^{- 1} D U^{t} Y = U D (D^{2} + λ I)^{- 1} D Z

$\hat{Y} = X(X\t X + \lambda I)^{-1} X\t Y = U D(D^2 + \lambda I)^{-1} D U\t Y = U D(D^2 + \lambda I)^{-1} D Z$

U

$U$

\hat{Z} = D (D^{2} + λ I)^{- 1} D Z .

$\hat{Z} = D (D^2 + \lambda I)^{-1} D Z.$

Y

$Y$

n

$n$

ξ

$\xi$

σ^{2} I_{n}

$\sigma^2 I_n$

Z

$Z$

p

$p$

U^{t} ξ

$U\t \xi$

σ^{2} I_{p}

$\sigma^2 I_p$

Y^{New}

$Y^{\text{New}}$ з тим же розподілом, що і (все умовно на звідси), відповідний має те саме розподіл як і є незалежним і Тут третя рівність випливає з ортогональності і і четвертий тим, що

Y

$Y$

X

$X$

Z^{New} = U^{t} Y^{New}

$Z^{\text{New}} = U\t Y^{\text{New}}$

Z

$Z$

\begin{array}{rcl} E | | Y^{New} - \hat{Y} | |^{2} & = & E | | Y^{New} - U Z^{New} + U Z^{New} - U \hat{Z} | |^{2} \\ = & E | | Y^{New} - U Z^{New} | |^{2} + E | | U Z^{New} - U \hat{Z} | |^{2} \\ = & {Err}_{0} + E | | Z^{New} - \hat{Z} | |^{2} . \end{array}

$\begin{eqnarray*} E ||Y^{\text{New}} - \hat{Y}||^2 &= & E || Y^{\text{New}} - U Z^{\text{New}} + U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & E || Y^{\text{New}} - U Z^{\text{New}}||^2 + E||U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & \text{Err}_0 + E||Z^{\text{New}} - \hat{Z} ||^2. \end{eqnarray*}$

Y^{New} - U Z^{New}

$Y^{\text{New}} - U Z^{\text{New}}$

U Z^{New} - U \hat{Z}

$U Z^{\text{New}} - U \hat{Z}$

U

$U$ має ортонормальні колони. Кількість - це помилка, про яку ми не можемо отримати жодної інформації, але вона також не залежить від . Щоб звести до мінімуму помилку передбачення з лівого боку, ми повинні мінімізувати другий член у правій частині.

{Err}_{0}

$\text{Err}_0$

λ

$\lambda$

За допомогою стандартного обчислення Тут відомий як ефективні ступені свободи для регресії хребта з параметром . Незаангажований оцінювач є

\begin{array}{rcl} E | | Z^{New} - \hat{Z} | |^{2} & = & E | | Z - \hat{Z} | |^{2} + 2 \sum_{i = 1}^{p} cov (Z_{i}, {\hat{Z}}_{i}) \\ = & E | | Z - \hat{Z} | |^{2} + 2 σ^{2} \underset{df (λ)}{\underset{⏟}{\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ}}} . \end{array}

$\begin{eqnarray*} E||Z^{\text{New}} - \hat{Z} ||^2 &= & E||Z - \hat{Z}||^2 + 2 \sum_{i=1}^p \text{cov}(Z_i, \hat{Z}_i) \\ & = & E||Z - \hat{Z}||^2 + 2 \sigma^2 \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}}_{\text{df}(\lambda)}. \end{eqnarray*}$

df (λ)

$\text{df}(\lambda)$

λ

$\lambda$

E | | Z - \hat{Z} | |^{2}

$E||Z - \hat{Z}||^2$

err (λ) = | | Z - \hat{Z} | |^{2} = \sum_{i = 1}^{p} {(1 - \frac{d_{i}^{2}}{d_{i}^{2} + λ})}^{2} Z_{i}^{2} .

$\text{err}(\lambda) = ||Z - \hat{Z}||^2 = \sum_{i=1}^p \left(1 - \frac{d_i^2}{d_i^2 + \lambda}\right)^2 Z_i^2.$

Ми поєднуємо це з (неупередженим) оцінником з огляду на те, що ми знаємо , які нам потім потрібно мінімізувати. Очевидно, що це може бути зроблено лише в тому випадку, якщо ми знаємо або маємо обґрунтовану здогадку або оцінювач .

err (λ) + 2 σ^{2} df (λ)

$\text{err}(\lambda) + 2 \sigma^2 \text{df}(\lambda)$

E | | Z^{New} - \hat{Z} | |^{2}

$E||Z^{\text{New}} - \hat{Z} ||^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

Оцінка може бути більш проблематичною. Можна показати, що Таким чином, якщо можливо вибрати настільки малим, що квадратичне зміщення можна ігнорувати, ми можемо спробувати оцінити як Якщо це буде працювати під чому залежить від . $\sigma^2$

E | | Z - \hat{Z} | |^{2} = σ^{2} (p - \underset{d (λ)}{\underset{⏟}{\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ} (2 - \frac{d_{i}^{2}}{d_{i}^{2} + λ})}}) + bias (λ)^{2} .

$E||Z - \hat{Z}||^2 = \sigma^2\left(p - \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}\left(2 - \frac{d_i^2}{d_i^2 + \lambda}\right)}_{\text{d}(\lambda)}\right) + \text{bias}(\lambda)^2.$

λ

$\lambda$

σ^{2}

$\sigma^2$

{\hat{σ}}^{2} = \frac{1}{p - d (λ)} | | Z - \hat{Z} | |^{2} .

$\hat{\sigma}^2 = \frac{1}{p-\text{d}(\lambda)} ||Z - \hat{Z}||^2.$

X

$X$

Деякі деталі див. Розділ 3.4.1 та Розділ 7 у ESL або, можливо, навіть краще, Розділ 2 у GAM .

— NRH
джерело

Визначте як у питанні, і для різних параметрів та задає міток зразків. Тоді обчислюється, оскільки невідоме випадає при розширенні обох норм. $β$ $β(λ,K)=[(X^TX)_{KK}+λI]^{−1}(X^TY)_K$ $\lambda$ $K$ $e(λ,K):=\|Xβ(λ,K)-Y\|^2-\|Xβ-Y\|^2$ $\|Y\|^2$

Це призводить до наступного алгоритму:

Підрахувати для деяких варіантів навчальної вибірки . $e(λ,K)$ $K$
Накресліть результати як функцію . $\lambda$
Прийміть значення там, де сюжет є рівним. $\lambda$
Використовуйте як кінцеву оцінку. $β^*=[X^TX+λI]^{−1}X^TY$

— Арнольд Ноймаєр
джерело

Я здогадуюсь, "де сюжет найбідніший" буде в дуже маленький, як приблизно 0 :)

λ

$\lambda$

— jbowman

@jbowman: Це станеться лише в тому випадку, якщо проблема добре обумовлена і не потребує регуляризації, то дійсно адекватний. У випадку, що не обумовлений, передбачення предметів поза буде поганим через перевищення, і буде великим.

λ = 0

$\lambda=0$

K

$K$

e (λ, K)

$e(\lambda,K)$

— Арнольд Ноймайер

@ArnoldNeumaier: не можна обчислити. Відомо лише співвідношення кожного прогноктора. знаходиться в «домені предиктора», а не в «домені Y» (Якщо N - розмір вибірки, а р - кількість предикторів, у нас є лише значення p, по одному для кожного прогноктора).

(X^{T} Y)_{K}

$(X^TY)_K$

(X^{T} Y)

$(X^TY)$

— Джаг

@Jag: Тоді недостатньо інформації для вибору . Але мабуть, було зібрано якось. Якщо під час його збору ви розділите зразок на партії та збираєте окремо для кожної партії, тоді можна резервувати одну партію для перехресної перевірки.

λ

$\lambda$

X^{T} Y

$X^TY$

k

$k$

X^{T} Y

$X^TY$

— Арнольд Ноймайер

@ArnoldNeumaier: надаються зовні, не збираються.

X^{T} Y

$X^TY$

— Джаг