Чи має значення порядок пояснювальних змінних при обчисленні їх коефіцієнтів регресії?

Спочатку я думав, що порядок не має значення, але потім я прочитав про процес ортогоналізації грам-шмідта для обчислення кількох коефіцієнтів регресії, а тепер у мене є другі думки.

Відповідно до процесу грам-шмідта, чим пізніше пояснювальна змінна індексується серед інших змінних, тим менший її залишковий вектор, оскільки від неї віднімаються залишкові вектори попередніх змінних. В результаті коефіцієнт регресії пояснювальної змінної також менший.

Якщо це правда, то залишковий вектор відповідної змінної був би більшим, якби він був індексований раніше, оскільки з нього буде віднято менше залишкових векторів. Це означає, що і коефіцієнт регресії був би більшим.

Гаразд, тому мене попросили уточнити своє питання. Тож я розмістив скріншоти з тексту, який мене в першу чергу заплутав. Гаразд, ось іде.

Я розумію, що для розрахунку коефіцієнтів регресії є щонайменше два варіанти. Перший варіант позначений (3.6) на скріншоті нижче.

Перший спосіб

Ось другий варіант (мені довелося використовувати кілька скріншотів).

Другий спосіб

введіть тут опис зображення

Якщо я щось неправильно читаю (що, безумовно, можливо), здається, що порядок має значення у другому варіанті. Це має значення в першому варіанті? Чому або чому ні? Або моє посилання настільки заплутане, що це навіть не дійсне питання? Також, чи все це якось пов’язано з сумою квадратів І типу та сумою квадратів ІІ типу?

Дякую заздалегідь, я так розгублений!

regression multiple-regression regression-coefficients

— Райан Зотті
джерело

Не могли б ви окреслити точну процедуру обчислення коефіцієнтів? З того, що мені відомо про ортогоналізацію грам-шмідта та про те, як це можна застосувати до проблеми регресії, я можу припустити, що за допомогою gs процедури ви можете пристосуватись до регресії, але не до вихідних коефіцієнтів. Зауважте, що регресія підходить - це проекція на простір стовпців. Якщо ви ортогоналізуєте стовпчики, ви отримаєте ортогональну основу простору, що охоплює стовпці, отже, придатність буде лінійною комбінацією цієї бази, а також лінійною комбінацією оригінальних стовпців. Це буде те саме ...

— mpiktas

але коефіцієнти будуть різними. Це цілком нормально.

— mpiktas

Я думаю, що я розгублений, тому що думав, що читав у "Елементах статистичного навчання", що коефіцієнти, обчислені за допомогою грам-шмідт-процесу, будуть такими ж, як і обчислені за допомогою традиційного процесу: B = (X'X) ^ - 1 X'y.

— Ryan Zotti

Ось уривок із книги, що розповідає про процедуру: "Ми можемо переглянути оцінку [коефіцієнтів] як результат двох застосувань простої регресії. Етапи: 1. регрес x на 1 для отримання залишкового z = x - x ̄1; 2. регресуйте y на залишковий z, щоб отримати коефіцієнт βˆ1. Цей рецепт узагальнює випадок p входів, як показано в алгоритмі 3.1 Зауважте, що входи z0,., zj − 1 на етапі 2 є ортогональними, отже, обчислені прості коефіцієнти регресії насправді є також множинними коефіцієнтами регресії ".

— Райан Зотті

Це стає трохи безладним, коли я копіюю та вставляю сюди розділ коментарів, тому, мабуть, найкраще просто переглянути джерело безпосередньо. Це сторінки з 53 по 54 "Елементи статистичного навчання", які вільно доступні для завантаження на веб-сайті Стенфорда: www-stat.stanford.edu/~tibs/ElemStatLearn .

— Ryan Zotti

Відповіді:

Я вважаю, що плутанина може виникнути в чомусь більш простому, але це дає хорошу можливість переглянути деякі пов'язані питання.

Зверніть увагу , що текст НЕ стверджує , що всі з коефіцієнтів регресії можна обчислити з допомогою послідовних залишкових векторів , як $\newcommand{\bhat}{\hat{\beta}}\newcommand{\m}{\mathbf}\newcommand{\z}{\m{z}}\bhat_i$ а точніше, що лишеостанній,

{\hat{β}}_{i} \overset{?}{=} \frac{⟨ y, z_{i} ⟩}{‖ z_{i} ‖^{2}},

$\bhat_i \stackrel{?}{=} \frac{\langle \m y, \z_i \rangle}{\|\z_i\|^2}\>,$

, можна розрахувати таким чином!

{\hat{β}}_{p}

$\bhat_p$

Послідовна схема ортогоналізації (форма ортогоналізації Грама - Шмідта) (майже) виробляє пару матриць і таких, що $\newcommand{\Z}{\m{Z}}\newcommand{\G}{\m{G}}\Z$ $\G$

X = Z G,

$\m X = \Z \G \>,$

Z

$\Z$

n \times p

$n \times p$

G = (g_{i j})

$\G = (g_{ij})$

p \times p

$p \times p$

Z

$\Z$

G

$\G$

$\m X \in \mathbb R^{n \times p}$ $p \leq n$ $\bhat$

X^{T} X \hat{β} = X^{T} y .

$\m X^T \m X \bhat = \m X^T \m y \>.$

$\m X = \Z \G$ $\Z^T \Z = \m I$

G^{T} G \hat{β} = G^{T} Z^{T} y,

$\G^T \G \bhat = \G^T \Z^T \m y \> ,$

G \hat{β} = Z^{T} y .

$\G \bhat = \Z^T \m y \>.$

$\G$ $g_{pp}$

g_{p p} {\hat{β}}_{p} = ⟨ y, z_{p} ⟩ .

$g_{pp} \bhat_p = \langle \m y, \z_p \rangle \>.$

g_{p p} = ‖ z_{p} ‖

$g_{pp} = \|\z_p\|$

z_{i}

$\z_i$

Щоб знайти всі коефіцієнти регресії, потрібно зробити простий крок заміни, щоб вирішити для людини $\bhat_i$ $(p-1)$

g_{p - 1, p - 1} {\hat{β}}_{p - 1} + g_{p - 1, p} {\hat{β}}_{p} = ⟨ z_{p - 1}, y ⟩,

$g_{p-1,p-1} \bhat_{p-1} + g_{p-1,p} \bhat_p = \langle \m z_{p-1}, \m y \rangle \>,$

{\hat{β}}_{p - 1} = g_{p - 1, p - 1}^{- 1} ⟨ z_{p - 1}, y ⟩ - g_{p - 1, p - 1}^{- 1} g_{p - 1, p} {\hat{β}}_{p} .

$\bhat_{p-1} = g_{p-1,p-1}^{-1} \langle \m z_{p-1}, \m y \rangle \> - g_{p-1,p-1}^{-1} g_{p-1,p} \bhat_p .$

g_{i i}

$g_{ii}$

{\hat{β}}_{i}

$\bhat_i$

$\m X$ $\m X^{(r)}$ $r$ $\bhat_r$ $\bhat_r$ $\m y$ $\m x_r$

Загальні QR-розклади

$\m X$

X = Q R,

$\m X = \m Q \m R \>,$

X

$\m X$

\hat{β}

$\bhat$

R^{T} R \hat{β} = R^{T} Q^{T} y,

$\m R^T \m R \bhat = \m R^T \m Q^T \m y \>,$

R \hat{β} = Q^{T} y .

$\m R \bhat = \m Q^T \m y \> .$

R

$\m R$

{\hat{β}}_{p}

$\bhat_p$

$\m X$ $\hat{\m y}$

— кардинальний
джерело

$\beta_j$ $\beta_p$ - тому я набрав рішення. Сподіваюся, що це корисний.

Вправа 3.4 в ESL

$X$ .

Рішення

$X$

X = Z Γ,

$X = Z \Gamma,$

Z

$Z$

z_{j}

$z_j$

Γ

$\Gamma$

γ_{i j} = \frac{⟨ z_{i}, x_{j} ⟩}{‖ z_{i} ‖^{2}}

$\gamma_{ij} = \frac{\langle z_i, x_j \rangle}{\| z_i \|^2}$

x_{j} = z_{j} + \sum_{k = 0}^{j - 1} γ_{k j} z_{k} .

$x_j = z_j + \sum_{k=0}^{j-1} \gamma_{kj} z_k.$

Тепер, , ми можемо записати $QR$ $X = QR$ $Q$ $R$ $Q = Z D^{-1}$ $R = D\Gamma$ $D$ $D_{jj} = \| z_j \|$

Тепер, за визначенням , ми маємо $\hat \beta$

(X^{T} X) \hat{β} = X^{T} y .

$(X^T X) \hat \beta = X^T y.$

Q R

$QR$

\begin{aligned} (R^{T} Q^{T}) (Q R) \hat{β} & = R^{T} Q^{T} y \\ R \hat{β} & = Q^{T} y \end{aligned}

$\begin{align*} (R^T Q^T) (QR) \hat \beta &= R^T Q^T y \\ R \hat \beta &= Q^T y \end{align*}$

$R$ відповідно до наших попередніх результатів. Тепер зворотна підстановка, можна отримати послідовність коефіцієнтів регресії. В якості прикладу, для обчислення, ми маємо

\begin{aligned} R_{p p} {\hat{β}}_{p} & = ⟨ q_{p}, y ⟩ \\ ‖ z_{p} ‖ {\hat{β}}_{p} & = ‖ z_{p} ‖^{- 1} ⟨ z_{p}, y ⟩ \\ {\hat{β}}_{p} & = \frac{⟨ z_{p}, y ⟩}{‖ z_{p} ‖^{2}} \end{aligned}

$\begin{align*} R_{pp} \hat \beta_p &= \langle q_p, y \rangle \\ \| z_p \| \hat \beta_p &= \| z_p \|^{-1} \langle z_p, y \rangle \\ \hat \beta_p &= \frac{\langle z_p, y \rangle}{\| z_p \|^2} \end{align*}$

{\hat{β}}_{j}

$\hat \beta_j$

{\hat{β}}_{p - 1}

$\hat \beta_{p-1}$

\begin{aligned} R_{p - 1, p - 1} {\hat{β}}_{p - 1} + R_{p - 1, p} {\hat{β}}_{p} & = ⟨ q_{p - 1}, y ⟩ \\ ‖ z_{p - 1} ‖ {\hat{β}}_{p - 1} + ‖ z_{p - 1} ‖ γ_{p - 1, p} {\hat{β}}_{p} & = ‖ z_{p - 1} ‖^{- 1} ⟨ z_{p - 1}, y ⟩ \end{aligned}

$\begin{align*} R_{p-1, p-1} \hat \beta_{p-1} + R_{p-1,p} \hat \beta_p &= \langle q_{p-1}, y \rangle \\ \| z_{p-1} \| \hat \beta_{p-1} + \| z_{p-1} \| \gamma_{p-1,p} \hat \beta_p &= \| z_{p-1} \|^{-1} \langle z_{p-1}, y \rangle \end{align*}$

{\hat{β}}_{p - 1}

$\hat \beta_{p-1}$

β_{j}

$\beta_j$

— Ендрю Таллох
джерело

Чому б не спробувати і порівняти? Встановіть набір коефіцієнтів регресії, потім змініть порядок і знову їх встановіть і перевірте, чи вони відрізняються (крім можливої помилки округлення).

Як вказує @mpiktas, не зовсім зрозуміло, що ти робиш.

$B$ $(x'x)B=(x'y)$ $(x'x)$

$x_1$ $x_2$ $x_1$ $y$ $x_2$ $y$ $x_1$ $x_2$ $y$ $x_1$ $x_1$ $x_2$

— Грег Сніг
джерело

Я думаю, ваш останній абзац, мабуть, найближчий до джерела моєї плутанини - GS робить порядок важливим. Це те, що я думав. Я все ще трохи розгублений, тому що книга, яку я читаю, називається: "Елементи статистичного навчання" (видання в Стенфорді, яке є у вільному доступі: www-stat.stanford.edu/~tibs/ElemStatLearn ), здається, припускають, що GS еквівалентний стандартному підходу для обчислення коефіцієнтів; тобто B = (X'X) ^ - 1 X'y.

— Ryan Zotti

І частина того, що ви говорите, мене теж трохи бентежить: "Я бачу, як за допомогою GS вирішувати для B у рівнянні найменших квадратів (x′x) ^ - 1 B = (x′y). Але тоді ви б робили GS на матриці (x′x), а не на вихідних даних. " Я думав, що матриця x'x містить оригінальні дані? ... Принаймні, так говорять Елементи статистичного навчання. Він говорить, що x у x'x - це матриця N by p, де N - кількість входів (спостережень), а p - кількість вимірів.

— Ryan Zotti

Якщо GS не є стандартною процедурою обчислення коефіцієнтів, то як колінеарність зазвичай трактується? Яким чином надмірність (колінеарність) зазвичай розподіляється серед х? Чи не колінеарність традиційно робить коефіцієнти нестабільними? Тоді чи не це може припустити, що процес GS - це стандартний процес? Оскільки процес GS також робить коефіцієнти нестабільними - менший залишковий вектор робить коефіцієнт нестабільним.

— Ryan Zotti

Принаймні, так сказано в тексті: "Якщо xp сильно корелює з деякими іншими xk, залишковий вектор zp буде близький до нуля, а з (3.28) коефіцієнт βˆp буде дуже нестабільним".

— Ryan Zotti

Зауважте, що GS - це форма розкладання QR.

— кардинал