11

Я не маю офіційного визначення еквівалентності шкали, але ось що Вступ до статистичного навчання говорить про це на с. 217:

Стандартні найменші коефіцієнти квадратів ... еквівалентні за шкалою : множення на постійну просто призводить до масштабування оцінок коефіцієнта найменших квадратів на коефіцієнт . $X_j$ $c$ $1/c$

Для простоти припустимо загальну лінійну модель $\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilon$ , де $\mathbf{y} \in \mathbb{R}^N$ , $\mathbf{X}$ - матриця $N \times (p+1)$ (де $p+1 < N$ ) з усіма записами в $\mathbb{R}$ , $\boldsymbol\beta \in \mathbb{R}^{p+1}$ і $\boldsymbol\epsilon$ - $N$ -вимірний вектор дійсних значень випадкових величин з $\mathbb{E}[\boldsymbol\epsilon] = \mathbf{0}_{N \times 1}$ .

З оцінки OLS ми знаємо, що якщо $\mathbf{X}$ має повний (стовпець) ранг,

{\hat{β}}_{X} = (X^{T} X)^{- 1} X^{T} y .

$\hat{\boldsymbol\beta}_{\mathbf{X}} = (\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}\text{.}$ Припустимо, ми помножили стовпець

X

$\mathbf{X}$ , скажімо

x_{k}

$\mathbf{x}_k$ на деякий

k \in {1, 2, \dots, p + 1}

$k \in \{1, 2, \dots, p+1\}$ постійною

c \neq 0

$c \neq 0$ . Це було б еквівалентно матриці

X \underset{S}{\underset{⏟}{[\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ c \\ 1 \\ ⋱ \\ 1 \end{matrix}]}} = [\begin{matrix} x_{1} & x_{2} & \dots & c x_{k} & \dots & x_{p + 1} \end{matrix}] \equiv \tilde{X}

$\begin{equation} \mathbf{X}\underbrace{\begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & c\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}}_{\mathbf{S}} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots & c\mathbf{x}_{k} & \cdots & \mathbf{x}_{p+1}\end{bmatrix} \equiv \tilde{\mathbf{X}} \end{equation}$ де всі інші записи матриці

S

$\mathbf{S}$ вище

0

$0$ , а

c

$c$ знаходиться в

k

$k$ му записі діагоналі

S

$\mathbf{S}$ . Потім,

\tilde{X}

$\tilde{\mathbf X}$

\tilde{X}

$\tilde{\mathbf X}$ оскільки нова матриця дизайну -

{\hat{β}}_{\tilde{X}} = {({\tilde{X}}^{T} \tilde{X})}^{- 1} {\tilde{X}}^{T} y .

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \left(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}\right)^{-1}\tilde{\mathbf{X}}^{T}\mathbf{y}\text{.}$ Після деякої роботи можна показати, що

{\tilde{X}}^{T} \tilde{X} = [\begin{matrix} x_{1}^{T} x_{1} & x_{1}^{T} x_{2} & \dots & c x_{1}^{T} x_{k} & \dots & x_{1}^{T} x_{p + 1} \\ x_{2}^{T} x_{1} & x_{2}^{T} x_{2} & \dots & c x_{2}^{T} x_{k} & \dots & x_{2}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋱ & ⋮ & \dots & ⋮ \\ c x_{k}^{T} x_{1} & c x_{k}^{T} x_{2} & \dots & c^{2} x_{k}^{T} x_{k} & \dots & c x_{k}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋮ & ⋮ & \dots & ⋮ \\ x_{p + 1}^{T} x_{1} & x_{p + 1}^{T} x_{2} & \dots & c x_{p + 1}^{T} x_{p + 1} & \dots & x_{p + 1}^{T} x_{p + 1} \end{matrix}]

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{x}_1 & \mathbf{x}_1^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_1^{T}\mathbf{x}_k & \cdots & \mathbf{x}_1^{T}\mathbf{x}_{p+1} \\ \mathbf{x}_2^{T}\mathbf{x}_1 & \mathbf{x}_2^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_2^{T}\mathbf{x}_k & \cdots & \mathbf{x}_2^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \ddots & \vdots & \cdots & \vdots \\ c\mathbf{x}_k^{T}\mathbf{x}_1 & c\mathbf{x}_k^{T}\mathbf{x}_2 & \cdots & c^2\mathbf{x}_k^{T}\mathbf{x}_k & \cdots & c\mathbf{x}_k^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \vdots & \vdots & \cdots & \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{x}_1 & \mathbf{x}_{p+1}^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} & \cdots & \mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} \\ \end{bmatrix}$ \ cdots & \ mathbf {x} _ {p + 1} ^ {T} \ mathbf {x} _ {p + 1} \\ \ end {bmatrix} і

{\tilde{X}}^{T} y = [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}]

$\tilde{\mathbf{X}}^{T}\mathbf{y} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix}$ Як мені поїхати звідси, щоб показати вказану вище претензію (тобто, що

{\hat{β}}_{\tilde{X}} = \frac{1}{c} {\hat{β}}_{X}

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \dfrac{1}{c}\hat{\boldsymbol\beta}_{\mathbf{X}}$ )? Мені незрозуміло, як обчислити

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$ .

least-squares linear-model

— Кларнетист
джерело

Я думаю, що ваш неправильний, йому не вистачає множника у цілому ряду.

{\tilde{X}}^{T} \tilde{X}

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}$

c

$c$

— Firebug

1

Також майте на увазі, що претензія - , не кожен .

{\hat{β}}_{k, new} = \frac{1}{c} {\hat{β}}_{k, old}

$\hat{\beta}_{k, \text{new}}={1\over c}\hat{\beta}_{k, \text{old}}$

β

$\beta$

— Firebug

@Firebug Так, я просто зрозумів це. Я публікую відповідь.

— Кларнетист

2

Ви можете замінити всю цю алгебру набагато більш простим аналізом одиниць, тому що множення на просто змінює одиницю вимірювання, і тому відповідна зміна одиниць, пов'язаних з її коефіцієнтом полягає в тому, щоб розділити її на . Це не доводить , на жаль, слід розділити на . Однак цей ланцюжок думок може нагадувати нам, що множинна регресія може бути здійснена послідовною регресією проти одного регресора за один раз, де зрозуміло, що ділиться на , і тому доказ є повним.

X_{j}

$X_j$

c

$c$

β_{j}

$\beta_j$

c

$c$

{\hat{β}}_{j}

$\hat \beta_j$

c

$c$

{\hat{β}}_{j}

$\hat\beta_j$

c

$c$

— качан

@whuber, хоча інтуїція для результату зрозуміла, здається, що просто потрібно додати трохи алгебри для надання доказів. Зрештою, коефіцієнт масштабування потрібно перевернути.

c

$c$

— користувач795305

11

Оскільки твердження в цитаті - це сукупність тверджень про перенесення масштабів стовпців , ви можете також довести їх усі відразу. Дійсно, для доведення узагальнення твердження не потрібно більше: $X$

Коли правильно множиться на обернену матрицю , то нова оцінка коефіцієнта дорівнює ліво-помножена на . $X$ $A$ $\hat\beta_A$ $\hat \beta$ $A^{-1}$

Єдині алгебраїчні факти, які вам потрібні - це (легко доведені, добре відомі), що для будь-яких матриць і для оборотних матриць і . (Більш тонка версія останнього потрібна при роботі з узагальненими обертами: для перетворюваних і і будь-якого , . ) $(AB)^\prime=B^\prime A^\prime$ $AB$ $(AB)^{-1}=B^{-1}A^{-1}$ $A$ $B$ $A$ $B$ $X$ $(AXB)^{-} = B^{-1}X^{-}A^{-1}$

Доведення алгеброю :

{\hat{β}}_{A} = ((X A)^{'} ((X A))^{-} (X A)^{'} y = A^{- 1} (X^{'} X)^{-} (A^{'})^{- 1} A^{'} y = A^{- 1} \hat{β},

$\hat\beta_A = ((XA)^\prime ((XA))^{-}(XA)^\prime y = A^{-1}(X^\prime X)^{-} (A^\prime)^{-1}A^\prime y = A^{-1}\hat \beta,$

QED. (Для того, щоб цей доказ був повністю загальним, суперскрипт відноситься до узагальненого зворотного.) $^-$

Доказ геометрією :

Зазначені основи і з і , відповідно, являє собою лінійне перетворення з до . Право множення на можна вважати таким, що залишає це перетворення фіксованим, але змінює на (тобто, у стовпці ). Відповідно до цієї зміни бази, подання будь-якого вектора повинно змінюватися шляхом лівого множення на , $E_p$ $E_n$ $\mathbb{R}^n$ $\mathbb{R}^p$ $X$ $\mathbb{R}^p$ $\mathbb{R}^n$ $X$ $A$ $E_p$ $AE_p$ $A$ $\hat\beta\in\mathbb{R}^p$ $A^{-1}$ QED .

(Цей доказ працює без змін, навіть коли не є зворотним.) $X^\prime X$

Цитата конкретно стосується випадку діагональних матриць з для та . $A$ $A_{ii}=1$ $i\ne j$ $A_{jj}=c$

З'єднання з найменшими квадратами

Завдання тут полягає у використанні перших принципів для отримання результату, при цьому принципом є найменш квадратів: оцінка коефіцієнтів, що мінімізують суму квадратів залишків.

Знову ж таки, доведення (величезного) узагальнення виявляється не складніше і є досить показовим. Припустимо, - це будь-яке відображення (лінійне чи ні) реальних векторних просторів, і припустимо, - будь-яка реально оцінена функція на . Нехай - (можливо, порожній) набір точок для яких зведено до мінімуму.

ϕ : V^{p} \to W^{n}

$\phi:V^p\to W^n$

Q

$Q$

W^{n}

$W^n$

U \subset V^{p}

$U\subset V^p$

v

$v$

Q (ϕ (v))

$Q(\phi(v))$

Результат: , який визначається виключно і , не залежить від вибору бази використовується для представлення векторів у . $U$ $Q$ $\phi$ $E_p$ $V^p$

Доказ: QED.

Немає чого доводити!

Застосування результату: Нехай - додатна квадратична напіввизначена форма на , нехай , і припустимо, - лінійна карта, представлена коли бази і . Визначте . Виберіть основу і, припустимо, є представленням деякої на цій основі. Це найменші квадрати : мінімізує відстань у квадраті . Тому що $F$ $\mathbb{R}^n$ $y\in\mathbb{R}^n$ $\phi$ $X$ $V^p=\mathbb{R}^p$ $W^n=\mathbb{R}^n$ $Q(x)=F(y,x)$ $\mathbb{R}^p$ $\hat\beta$ $v\in U$ $x=X\hat\beta$ $F(y,x)$ $X$ лінійне відображення, зміна основи відповідає правій множення деякої оборотної матриці . Це залишить множення на , QED . $\mathbb{R}^p$ $X$ $A$ $\hat\beta$ $A^{-1}$

— дзижчати
джерело

6

Визначте оцінювач найменших квадратів , де проектна матриця - повний ранг. Якщо припустити, що матриця масштабування є незворотною. $\hat\beta = \arg\min_{\beta\in\mathbb{R}^p} \|y - X \beta\|_2^2$ $X \in \mathbb{R}^{n \times p}$ $S \in \mathbb{R}^{p \times p}$

Визначте цей новий масштабований оцінювач . Це означає, що для всіх . Визначаючи , ми можемо переписати цю відображену нерівність вище як для всіх . Тому , і випливає, що оцінювач найменших квадратів Через оберненість матриці масштабування $\tilde\alpha = \arg\min_{\alpha\in\mathbb{R}^p} \|y - X S \alpha\|_2^2$

‖ y - X S \tilde{α} ‖_{2}^{2} < ‖ y - X S α ‖_{2}^{2}

$\|y - X S \tilde\alpha\|_2^2 < \|y - X S \alpha\|_2^2$

α \neq \tilde{α}

$\alpha\ne \tilde\alpha$

\tilde{β} = S \tilde{α}

$\tilde\beta = S \tilde\alpha$

‖ y - X \tilde{β} ‖_{2}^{2} < ‖ y - X β ‖_{2}^{2}

$\|y - X \tilde\beta \|_2^2 < \|y - X \beta \|_2^2$

β \neq \tilde{β}

$\beta \ne \tilde\beta$

\tilde{β} = \arg min_{β \in R^{p}} ‖ y - X β ‖_{2}^{2}

$\tilde\beta = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2$

\begin{aligned} \hat{β} = \tilde{β} = S \tilde{α} . \end{aligned}

$\begin{align*} \hat\beta = \tilde\beta = S \tilde\alpha. \end{align*}$

S

$S$ , випливає, що . У нашому випадку це відрізняється від тим, що запис масштабується на .

\tilde{α} = S^{- 1} \hat{β}

$\tilde\alpha = S^{-1} \hat\beta$

\hat{β}

$\hat\beta$

k^{t h}

$k^\mathrm{th}$

\frac{1}{c}

$\frac{1}{c}$

— користувач795305
джерело

1

Я не знайомий, як мені слід працювати з та подібними функціями - чи могли б ви пояснити перехід від другого до третього рядка рівнянь?

arg min

$\text{arg min}$

— Кларнетист

Я написав це трохи інакше, що повинно зробити кроки більш чіткими.

— user795305

Це справді розумно. (+1)

— Кларнетист

4

Я зрозумів це після розміщення запитання. Якщо моя робота правильна, я неправильно трактував претензію. масштабування відбувається тільки на одному компоненті відповідного колонці множаться на . $\dfrac{1}{c}$ $\boldsymbol\beta$ $\mathbf{X}$ $c$

Зауважте, що у наведених вище позначеннях є діагональною, симетричною матрицею та має обернену (бо вона діагональна) Зверніть увагу, що - матриця . Припустимо, що $\mathbf{S}$ $(p+1) \times (p+1)$

S^{- 1} = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ \frac{1}{c} \\ 1 \\ ⋱ \\ 1 \end{matrix}] .

$\mathbf{S}^{-1} = \begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & \frac{1}{c}\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

(p + 1) \times (p + 1)

$(p+1)\times(p+1)$

(X^{T} X)^{- 1} = [\begin{matrix} z_{1} & z_{2} & \dots & z_{k} & \dots & z_{p + 1} \end{matrix}] .

$(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 & \cdots & \mathbf{z}_k & \cdots & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1} = [(X S)^{T} X S]^{- 1} = (S^{T} X^{T} X S)^{- 1} = (S X^{T} X S)^{- 1} = S^{- 1} (X^{T} X)^{- 1} S^{- 1} .

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1} = [(\mathbf{X}\mathbf{S})^{T}\mathbf{X}\mathbf{S}]^{-1} = (\mathbf{S}^{T}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1} = (\mathbf{S}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1}=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}\text{.}$ Отже, і помноживши це на має схожий ефект з тим, що множення на зробило так само, множимо на

S^{- 1} (X^{T} X)^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}]

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}$

S^{- 1}

$\mathbf{S}^{-1}$

X

$\mathbf{X}$

S

$\mathbf{S}$

\frac{1}{c} z_{k}

$\frac{1}{c}\mathbf{z}_k$

\frac{1}{c}

$\frac{1}{c}$ : Отже,

S^{- 1} (X^{T} X)^{- 1} S^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] .

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

\begin{aligned} {\hat{β}}_{\tilde{X}} & = S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S)^{T} y \\ = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}] \\ = [\begin{matrix} z_{1} x_{1}^{T} y \\ z_{2} x_{2}^{T} y \\ ⋮ \\ \frac{1}{c} z_{k} x_{k}^{T} y \\ ⋮ \\ z_{p + 1} x_{p + 1}^{T} y \end{matrix}] \end{aligned}

$\begin{align} \hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}}&=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}(\mathbf{X}\mathbf{S})^{T}\mathbf{y} \\ &= \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{z}_1\mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{z}_2\mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ \frac{1}{c}\mathbf{z}_k\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{z}_{p+1}\mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \end{align}$ за бажанням.

— Кларнетист
джерело

Існує помилка в . Вам потрібно перенести .

S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S) y

$\mathbf{S}^{-1}( \mathbf{X}^{T}\mathbf{X})^{-1} \mathbf{S}^{-1}(\mathbf{X} \mathbf{S}) \mathbf{y}$

(X S)

$(\mathbf{X}\mathbf{S})$

— ДжонК

3

Найбільш тривіальне доказ коли-небудь

Ви починаєте з лінійного рівняння: Тепер ви хочете змінити масштаб ваших регресорів, можливо, перетворите з метричної системи на Imperial, ви знаєте кілограми в фунти, метри до ярдів і т. Д. Отже, ви придумали з матрицею перетворення , де кожен є коефіцієнтом перетворення для змінної (колонки) в конструкції матриці .

Y = X β + ε

$Y=X\beta+\varepsilon$

S = d i a g (s_{1}, s_{1}, \dots, s_{n})

$S=diag(s_1,s_1,\dots,s_n)$

s_{i}

$s_i$

i

$i$

X

$X$

Давайте перепишемо рівняння:

Y = (X S) (S^{- 1} β) + ε

$Y=(XS)(S^{-1}\beta)+\varepsilon$

Тепер абсолютно зрозуміло, що масштабування є властивістю лінійності вашого рівняння, а не методом OLS оцінки коефіцієнтів. Незалежно від методу оцінки з лінійним рівнянням, ви вважаєте, що коли масштаби регресорів масштабуються як ваші нові коефіцієнти слід масштабувати як $XS$ $S^{-1}\beta$

Доказ Algebra лише для OLS

Масштабування полягає в наступному: , де масштабний коефіцієнт кожної змінної (стовпчик), і зменшена версія . Назвемо матрицю діагональної шкали . Ваш OLS-оцінювач - Давайте підключимо масштабовану матрицю замість та використаємо деяку матричну алгебру : Отже, ви бачите, як новий коефіцієнт просто зменшує старий коефіцієнт, як очікувалося.

Z = X * d i a g (s_{1}, s_{2}, . . ., s_{n})

$Z=X*diag(s_1,s_2,...,s_n)$

s_{i}

$s_i$

Z

$Z$

X

$X$

S \equiv d i a g (s_{1}, s_{2}, . . ., s_{n})

$S\equiv diag(s_1,s_2,...,s_n)$

\hat{β} = (X^{T} X)^{- 1} X^{T} Y

$\hat\beta=(X^TX)^{-1}X^TY$

Z

$Z$

X

$X$

(Z^{T} Z)^{- 1} Z^{T} Y = (S^{T} X^{T} X S)^{- 1} S^{T} X^{T} Y = S^{- 1} (X^{T} X)^{- 1} S^{- 1} S X^{T} Y = S^{- 1} (X^{T} X)^{- 1} X^{T} Y = S^{- 1} \hat{β}

$(Z^TZ)^{-1}Z^TY=(S^TX^TXS)^{-1}S^TX^TY=S^{-1}(X^TX)^{-1}S^{-1}SX^TY\\ =S^{-1}(X^TX)^{-1}X^TY=S^{-1}\hat\beta$

— Аксакал
джерело

2

Мені подобаються ваші підходи, але я не переконаний у "найтривітнішому доказі будь-коли". Ви неявно припустили, і все ще потрібно довести, що переписана модель повинна відповідати тій, що й оригінальна. Якщо говорити про це більш суворо: якщо ми розглядаємо процедуру підгонки як функцію

, де

- набір усіх можливих даних (які ми могли б записати як упорядкована пара

) і

- це сукупність усіх можливих оцінок коефіцієнта, тоді вам потрібно продемонструвати, що

δ : M \to R^{p}

$\delta:M\to\mathbb{R}^p$

M

$M$

(X, Y)

$(X,Y)$

R^{p}

$\mathbb{R}^p$

для всіх оборотних

, все

, і все

. (Це не завжди вірно!)

δ (X, Y) = S^{- 1} δ (X S, Y)

$\delta(X,Y)=S^{-1}\delta(XS,Y)$

S

$S$

X

$X$

Y

$Y$

— whuber

@whuber, насправді це інший шлях: розумна процедура підгонки повинна задовольнити цю умову, інакше проста зміна одиниці виміру дасть інший прогноз / оцінку. я оновлю свою відповідь, подумаю трохи

— Аксакал

Я згоден - але я можу уявити винятки у випадках, коли

не є повноцінним. Ось що запропонувало мені ситуація не настільки банальна, як може здатися.

X

$X$

— whuber

3

імперська половинка, а не королівська ...: D (

— приємна

@ usεr11852, сьогодні я щось дізнався :)

— Аксакал

2

Самий простий спосіб , щоб отримати цей результат повинні пам'ятати , що є проекція на колонку просторі є вектором коефіцієнтів , коли виражається у вигляді лінійної комбінації стовпців . Якщо деякий стовпчик масштабується на коефіцієнт , то зрозуміло, що відповідний коефіцієнт у лінійній комбінації повинен бути масштабований на . $\hat{y}$ $y$ $X.$ $\hat{\beta}$ $\hat{y}$ $X$ $c$ $1/c$

Нехай бути значенням і бути значенням рішення МНКАА , коли один стовпець масштабується $b_i$ $\hat{\beta}$ $a_i$ $c.$

b_{1} x_{1} + . . . + b_{i} x_{i} + . . . + b_{m} x_{m} = a_{1} x_{1} + . . . a_{i} (c x_{i}) + . . . + a_{n} x_{n}

$b_1x_1 + ... + b_ix_i + ...+ b_mx_m = a_1x_1 + ... a_i(cx_i) + ... +a_nx_n$

випливає, що де і , припускаючи, що стовпці лінійно незалежні. $b_j = a_j$ $j \neq i$ $b_i = a_ic$ $X$

— Джоні Ломон
джерело

Показано, що Оцінювач OLS еквівалентний за шкалою?

З'єднання з найменшими квадратами

Найбільш тривіальне доказ коли-небудь

Доказ Algebra лише для OLS