Узагальнені найменші квадрати: від коефіцієнтів регресії до коефіцієнтів кореляції?

Щонайменше квадрати з одним предиктором:

$y = \beta x + \epsilon$

Якщо і стандартизовані до встановлення (тобто ), то:$x$$y$$\sim N(0,1)$

• $\beta$ - такий самий, як коефіцієнт кореляції Пірсона, .$r$
• $\beta$ однакова у відображеній регресії:$x = \beta y + \epsilon$

Для узагальнених найменших квадратів (GLS) застосовується те саме? Тобто, якщо я стандартизую свої дані, чи можу я отримати коефіцієнти кореляції безпосередньо з коефіцієнтів регресії?

Експериментуючи з даними, відбита GLS призводить до різних коефіцієнтів, а також я не впевнений, що вважаю, що коефіцієнти регресії відповідають моїм очікуваним значенням для кореляції. Я знаю, що люди цитують коефіцієнти кореляції GLS, тому мені цікаво, як вони до них дістаються, а отже, що вони насправді мають на увазі?$\beta$

Відповідь "так", коефіцієнти лінійної регресії - це кореляція предикторів з відповіддю, але тільки якщо ви використовуєте правильну систему координат .

Щоб побачити, що я маю на увазі, згадайте, що якщо і центрировані та стандартизовані, то кореляція між кожним та є лише крапковим продуктом . Також рішення лінійної регресії є найменшим квадратом$x_1, x_2, \ldots, x_n$$y$$x_i$$y$$x_i^t y$

$$\beta = (X^t X)^{-1} X^t y$$

Якщо так трапиться, то (матриця ідентичності), то$X^{t} X = I$

$$\beta = X^t y$$

і ми відновлюємо вектор кореляції. Часто привабливо переробити проблему регресії з точки зору предикторів які задовольняють , знаходячи відповідні лінійні комбінації вихідних предикторів, що роблять це відношення справжнім ( або рівнозначно лінійна зміна координат); ці нові прогнози називаються основними компонентами.$\tilde{x}_i$$\tilde{X}^t \tilde{X} = I$

Таким чином, відповідь на ваше запитання - так, але лише тоді, коли передбачувачі самі не мають співвідношення . Інакше вираз

$$X^t X \beta = X^t y$$

показує, що бета-версії повинні бути змішані разом із співвідношеннями між самими передбачувачами, щоб відновити кореляційні відповіді-відповідь.

Як бічне зауваження, це також пояснює, чому результат завжди вірний для однієї змінної лінійної регресії. Після того, як вектор прогноктора стандартизований, тоді:$x$

$$x_0^t x = \sum_i x_{i} = 0$$

де - вектор перехоплення всіх. Таким чином, (два стовпці) дані матриця автоматично задовольняє , і результат.$x_0$$X$$X^t X = I$