Інтуїція позаду

Закрита форма w в лінійній регресії може бути записана як

$\hat{w}=(X^TX)^{-1}X^Ty$

Як можна інтуїтивно пояснити роль $(X^TX)^{-1}$ у цьому рівнянні?

Ці публікації я вважаю особливо корисними:

Як отримати оцінку найменшого квадрата для множинної лінійної регресії?

Зв'язок між SVD та PCA. Як використовувати SVD для виконання PCA?

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

Якщо є п × р матриця , то матриця Х ( Х Т Х ) - 1 х Т визначає проекцію на колонці простору X . Інтуїтивно ви маєте переопределену систему рівнянь, але все ж хочете використовувати її для визначення лінійної карти R p → R, яка буде відображати рядки x i з X на щось близьке до значень y i , i ∈ { 1 , … , $X$$n \times p$$X(X^TX)^{-1}X^T$$X$$\mathbb{R}^p \rightarrow \mathbb{R}$$x_i$$X$$y_i$$i\in \{1,\dots,n\}$. Тож ми вирішуємо надіслати на найближчу річ до y, яка може бути виражена як лінійна комбінація ваших особливостей (стовпці $X$$y$$X$ ).

Що стосується інтерпретації , я ще не маю дивовижної відповіді. Я знаю, що ви можете вважати ( X T X ) в основному матрицею коваріації набору даних.$(X^TX)^{-1}$$(X^TX)$

Геометрична точка огляду

Геометрична точка зору , може бути , як п-мірні вектори і X & beta ;, є точками в п-вимірному просторі V . Там , де Х β також в підпросторі W , натягнуте на вектори х 1 , х 2 , ⋯ , х м .$y$$X\beta$$V$$X\hat\beta$$W$$x_1, x_2, \cdots, x_m$

Два типи координат

Для цього підпростору ми можемо уявити два різні типи координат :$W$

• В $\boldsymbol{\beta}$ , як координати для регулярних координат простору. Вектор у просторі W є лінійною комбінацією векторів x i z = β 1 x 1 + β 2 x 1 + . . . . β m x $z$$W$$\mathbf{x_i}$ $$z = \boldsymbol{\beta_1} \mathbf{x_1} + \boldsymbol{\beta_2} \mathbf{x_1} + .... \boldsymbol{\beta_m} \mathbf{x_m}$$

• В $\boldsymbol{\alpha}$ не є координатами в регулярному сенсі, але вони визначають точку в підпросторі . Кожна α i стосується перпендикулярних проекцій на вектори x i . Якщо ми використовуємо одиничні вектори x i (для простоти), то "координати" α i для вектора z можна виразити так:$W$$\alpha_i$$x_i$$x_i$$\alpha_i$$z$

  $$\alpha_i = \mathbf{x_i^T} \mathbf{z}$$

  і безліч всіх координат як:

Складання карти між координатами і $\boldsymbol{\alpha}$$\boldsymbol{\beta}$

для вираз "координат" α стає перетворенням від координат β до "координат" $\mathbf{z} = \mathbf{X}\boldsymbol{\beta}$$\alpha$$\beta$$\alpha$

Ви можете бачити як вираження того, скільки кожен x i проектує на інший x $(\mathbf{X^T} \mathbf{X})_{ij}$$x_i$$x_j$

Тоді геометричну інтерпретацію можна розглядати як карту від векторної проекції "координат" α до лінійних координат β .$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\alpha}$$\boldsymbol{\beta}$

Вираз дає проекції "координати" y і ( X T X ) - 1 перетворює їх у β .$\mathbf{X^Ty}$$\mathbf{y}$$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\beta}$

Примітка : проекційна «координата» такий же , як «проекційних координати» від у , так як ( у - у ) ⊥ X .$\mathbf{y}$ $\mathbf{\hat{y}}$$(\mathbf{y-\hat{y}}) \perp \mathbf{X}$

Припускаючи, що ви знайомі з простою лінійною регресією: та її рішення : β = c o v [ x i , y i

Неважко зрозуміти, як відповідає чисельнику вище, а X ' X позначає знаменник. Оскільки ми маємо справу з матрицями, порядок має значення. X ' X - матриця KxK, а X ' y - вектор Kx1. Отже, порядок такий: ( X ′ X ) - 1 X ′$X'y$$X'X$$X'X$$X'y$$(X'X)^{-1}X'y$