Багатоваріантний нормальний розподіл коефіцієнта регресії?

Читаючи підручник з регресії, я зіткнувся з наступним абзацом:

Оцінка найменших квадратів вектора коефіцієнтів лінійної регресії ( ) дорівнює $\beta$

$\hat{β} = (X^{t} X)^{- 1} X^{t} y$ $\hat{\beta} = (X^{t}X)^{-1}{X^t}y$
яка, розглядається як функція даних (розглядаючи предиктори як константи), є лінійною комбінацією даних. Використовуючи теорему центрального ліміту, можна показати, що розподіл буде приблизно багатоваріантним нормальним, якщо розмір вибірки великий. $y$ $X$ $\beta$

У тексті мені точно щось не вистачає, але я не розумію, як одне значення може мати розподіл? Як створюються кілька значень для отримання розподілу, про який йдеться в тексті? $\beta$ $\beta$

multiple-regression

— upabove
джерело

β

$\beta$ - вектор коефіцієнтів регресії - чи це усуває плутанину?

— Макро

Використовуючи підхід з найменшими квадратами, ви припускаєте, що виправлено, але невідомо. Однак , оскільки це функція (випадкових) даних, має розподіл. Асимптотично розподіл - це нормальний розподіл. Несимптотично індивідуальний коефіцієнт буде при розподілі.

β

$\beta$

\hat{β}

$\hat{\beta}$

— Тейлор

Це може допомогти спостерігати, що вважається постійною матрицею в налаштуваннях регресії і що - реалізація випадкової величини (оцінюється вектор). Хоча цей фрагмент щодо CLT не зовсім коректний: він покладається або на те, що має певну структуру, яка іноді насправді не виникає навіть при величезних наборах даних, або ж на самому багатовимірному нормальному (але тоді не потрібно викликати CLT).

H = (X^{t} X)^{- 1} X^{t}

$H = (X^tX)^{-1}X^t$

y

$y$

H

$H$

y

$y$

— whuber

@Taylor Але як ви знаєте розподіл B, якщо єдине, що я знаю, - це "розмір вибірки великий"?

— upabove

@Taylor Окремий компонент бета-вактора буде мати при розподілі лише у тому випадку, якщо компонент помилки в регресійній моделі є Гауссом із середнім значенням 0 та постійною дисперсією. У ненормальному випадку вам не обов'язково було б відоме його розподіл під нульовою гіпотезою, але воно все одно може бути асимптотично нормальним. Однак, як заявляє Уубер, теорема про центральну межу може не дотримуватися, оскільки вона є середньозваженою величиною, і нам потрібно знати, що ваги не узгоджуються з розміром вибірки таким чином, що дозволяє за кілька термінів домінувати над сумою.

— Майкл Р. Черник

Не має розподіл, але , як вказує Тейлор. Розподіл випливає з того, що ви отримуєте різні для різних зразків .--- Ви можете оцінити цей розподіл на основі одного отриманого від вашого єдиного зразка за умови, що у вас є деякі інформація щодо розповсюдження базових даних. $\beta$ $\hat\beta$ $\hat\beta$ $\hat\beta$ $\hat\beta$

— user3451767
джерело