Яке значення має матриця капелюхів, , в лінійній регресії?

Яке значення має матриця капелюхів, , в регресійному аналізі?$H=X(X^{\prime}X )^{-1}X^{\prime}$

Це тільки для більш легкого розрахунку?

При вивченні лінійної регресії основним початковим моментом є процес генерації даних де та детермінований. Після мінімізації критерію найменших квадратів знайдемо оцінювач для , тобто . Після підключення оцінки до початкової формули ви отримуєте як лінійну модель процесу генерації даних. Тепер оцінювач можна замінити на$\textbf{y= XB + u} \quad$$\textbf{u} \sim N(0,\sigma^2 \boldsymbol I)$$\textbf{X}$$\widehat {\textbf{B} }$$\textbf{B}$$\widehat {\textbf{B}}= ( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}$$\widehat {\textbf{y}}=\textbf{X}\widehat {\textbf{B}}$$\widehat {\textbf{B}}$і отримує$\widehat {\textbf{y}}=\textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}.$

Отже, - насправді матриця проекції. Уявіть, що ви приймаєте всі змінні в . Змінні - це вектори і охоплюють пробіл. Отже, якщо ви помножите на , ви запроектуєте спостережувані значення в на простір, який охоплюється змінними в . Він дає оцінку для і саме тому його називають матрицею капелюхів і чому він має таке значення. Зрештою, лінійна регресія - це не що інше, як проекція, і за допомогою матриці проекції ми не можемо лише обчислити оцінки для$\textbf{H} = \textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '$$\textbf{X}$$\textbf{H}$$\textbf{y}$$\textbf{y}$$\textbf{X}$$\textbf{y}$$\textbf{y}$але також для і, наприклад, може перевірити, чи дійсно він нормально розподілений.$\textbf{u}$

Я знайшов цю приємну картину в Інтернеті, і вона візуалізує цю проекцію. Зауважте, що використовується замість . Більше того, малюнок підкреслює, що вектор термінів помилки є ортогональним проекції і, отже, не співвідноситься з оцінками для$\beta$$\textbf{B}$$\textbf{y}$

Матриця капелюхів дуже корисна з кількох причин:

1. Замість того, щоб мати , ми отримуємо це де - матриця капелюхів. Це дає нам що є лінійним відображенням спостережуваних значень.$\widehat{y}=Z\widehat{\beta}$$\widehat{y}=Py$$P$$\widehat{y}$
2. З матриці капелюхів легко обчислити залишки . Ми бачимо, що .$P$$\widehat{\epsilon}$$\widehat{\epsilon}=y-\widehat{y}=y-Py=\left(I_n-P\right)y$

Це не що інше, як знайти «найближче» рішення для Ax = b, де b не знаходиться в просторі стовпців. Ми проектуємо b на простір стовпців і вирішуємо для Ax (hat) = p, де p - проекція b на простір стовпців.