72

Які звичайні припущення для лінійної регресії?

Чи включають вони:

лінійна залежність між незалежною та залежною змінною
незалежні помилки
нормальний розподіл помилок
гомоскедастичність

Чи є інші?

regression assumptions

— тоні
джерело

3

Ви можете знайти досить повний список у маленькій книзі Вільяма Беррі на тему "Розуміння припущень щодо регресії": books.google.com/books/about/…

3

Хоча респонденти перелічили деякі хороші ресурси, на це важко відповісти у такому форматі, і (багато) книг були присвячені виключно цій темі. Немає кулінарної книги, а також не слід враховувати різноманітні ситуації, які могли б охопити лінійну регресію.

— Andy W

3

Технічно, (звичайна) лінійна регресія є модель виду

,

IID. Це просте математичне твердження охоплює всі припущення. Це змушує мене думати, @Andy W, що ви можете інтерпретувати питання ширше, можливо, в сенсі мистецтва та практики регресії. Ваші подальші думки з цього приводу можуть бути корисні тут.

E [Y_{i}] = X_{i} β

$\mathbb{E}[Y_i] = \mathbf{X}_i \beta$

Y_{i}

$Y_i$

— whuber

2

@Andy WI не намагався припустити, що ваше тлумачення було невірним. Ваш коментар запропонував подумати над питанням, яке виходить за рамки технічних припущень, можливо, вказуючи на те, що може знадобитися для коректного тлумачення результатів регресії. Не потрібно було б писати трактат у відповідь, але навіть перелік деяких ширших питань може висвітлити і може розширити сферу застосування та інтерес цієї теми.

— whuber

1

@whuber, якщо

це означає, що засоби різні для різних

, отже,

не можу бути

E Y_{i} = X_{i} β

$EY_i=X_i\beta$

i

$i$

Y_{i}

$Y_i$

— ідітом

78

Відповідь сильно залежить від того, як ви визначаєте повне та звичайне. Припустимо, ми записуємо лінійну регресійну модель наступним чином: $\newcommand{\x}{\mathbf{x}} \newcommand{\bet}{\boldsymbol\beta} \DeclareMathOperator{\E}{\mathbb{E}} \DeclareMathOperator{\Var}{Var} \DeclareMathOperator{\Cov}{Cov} \DeclareMathOperator{\Tr}{Tr}$

y_{i} = x_{i}^{'} β + u_{i}

$y_i = \x_i'\bet + u_i$

де $\mathbf{x}_i$ - вектор змінних предиктора, $\beta$ - інтерес-параметр, $y_i$ - змінна відповіді, а $u_i$ - порушення. Одним з можливих оцінок $\beta$ є оцінкою найменших

\hat{β} = {argmin}_{β} \sum (y_{i} - x_{i} β)^{2} = {(\sum x_{i} x_{i}^{'})}^{- 1} \sum x_{i} y_{i} .

$\hat\bet = \textrm{argmin}_{\bet}\sum(y_i-\x_i\bet)^2 = \left(\sum \x_i \x_i'\right)^{-1} \sum \x_i y_i .$

В даний час практично всі підручників мати справу з припущеннями , коли ця оцінка має бажані властивості, такі як незсуненості, послідовність, ефективність, деякі дистрибутивні властивості і т.д. $\hat\bet$

Кожна з цих властивостей вимагає певних припущень, які не є однаковими. Отже, краще питання - запитати, які припущення потрібні для шуканих властивостей оцінки LS.

Властивості, про які я згадував вище, потребують певної моделі ймовірності для регресії. І тут ми маємо ситуацію, коли різні моделі використовуються в різних прикладних сферах.

Простий випадок - трактувати $y_i$ як незалежні випадкові величини, при цьому $\x_i$ є невипадковими. Мені не подобається слово звичайне, але можна сказати, що це звичайний випадок у більшості застосованих полів (наскільки я знаю).

Ось перелік деяких бажаних властивостей статистичних оцінок:

Оцінка існує.
$E\hat\bet=\bet$ .
$\hat\bet \to \bet$ ; в $n\to\infty$ ( $n$ тут розмір вибірки даних).
Ефективність: $\Var(\hat\bet)$ менше , ніж $\Var(\tilde\bet)$ для альтернативних оцінок $\tilde\bet$ з $\bet$ .
Здатність або приблизна або обчислити функцію розподілу . $\hat\bet$

Існування

Наявність властивості може здатися дивним, але це дуже важливо. У визначенні ми инвертировать матрицю $\hat\beta$ $\sum \x_i \x_i'.$

Не гарантується, що інверсія цієї матриці існує для всіх можливих варіантів $\x_i$ . Тож ми відразу отримуємо перше припущення:

Матриця $\sum \x_i \x_i'$ повинна мати повний ранг, тобто зворотну.

Незаангажованість

Ми маємо

E \hat{β} = {(\sum x_{i} x_{i}^{'})}^{- 1} (\sum x_{i} E y_{i}) = β,

$\E\hat\bet = \left(\sum \x_i \x_i' \right)^{-1}\left(\sum \x_i \E y_i \right) = \bet,$ якщо

E y_{i} = x_{i} β .

$\E y_i = \x_i \bet.$

Ми можемо її віднести до другого припущення, але ми, можливо, це сказали прямо, оскільки це один із природних способів визначення лінійних співвідношень.

$\E y_i = \x_i \bet$ $i$ $\x_i$

Послідовність

$\to$ $p$ $\E \hat\bet = \bet$

Pr (‖ \hat{β} - β ‖ > ε) \leq \frac{Tr (Var (\hat{β}))}{ε^{2}} .

$\Pr(\lVert \hat\bet - \bet \rVert >\varepsilon)\le \frac{\Tr(\Var(\hat\bet))}{\varepsilon^2}.$

(Цей варіант нерівності походить безпосередньо від застосування нерівності Маркова до , зазначаючи, що .) $\lVert \hat\bet - \bet\rVert^2$ $\E \lVert \hat\bet - \bet\rVert^2 = \Tr \Var(\hat\bet)$

Оскільки конвергенція у ймовірності означає, що термін лівої руки повинен зникнути для будь-якого як , нам знадобиться як . Це цілком розумно, оскільки з більшою кількістю даних слід збільшити точність, з якою ми оцінюємо . $\varepsilon>0$ $n\to\infty$ $\Var(\hat\bet)\to 0$ $n\to\infty$ $\bet$

У нас є

Var (\hat{β}) = {(\sum x_{i} x_{i}^{'})}^{- 1} (\sum_{i} \sum_{j} x_{i} x_{j}^{'} Cov (y_{i}, y_{j})) {(\sum x_{i} x_{i}^{'})}^{- 1} .

$\Var(\hat\bet) =\left( \sum \x_i \x_i' \right)^{-1} \left( \sum_i \sum_j \x_i \x_j' \Cov(y_i, y_j) \right) \left(\sum \mathbf{x}_i\mathbf{x}_i'\right)^{-1}.$

Незалежність гарантує, що , отже, вираз спрощується до $\Cov(y_i, y_j) = 0$

Var (\hat{β}) = {(\sum x_{i} x_{i}^{'})}^{- 1} (\sum_{i} x_{i} x_{i}^{'} Var (y_{i})) {(\sum x_{i} x_{i}^{'})}^{- 1} .

$\Var(\hat\bet) = \left( \sum \x_i \x_i' \right)^{-1} \left( \sum_i \x_i \x_i' \Var(y_i) \right) \left( \sum \x_i \x_i' \right)^{-1} .$

Тепер припустимо , тоді $\Var(y_i) = \text{const}$

Var (\hat{β}) = {(\sum x_{i} x_{i}^{'})}^{- 1} Var (y_{i}) .

$\Var(\hat\beta) = \left(\sum \x_i \x_i' \right)^{-1} \Var(y_i) .$

Тепер, якщо ми додатково вимагаємо, щоб було обмежено для кожного , ми негайно отримуємо $\frac{1}{n} \sum \x_i \x_i'$ $n$

Var (β) \to 0 as n \to \infty .

$\Var(\bet) \to 0 \text{ as } n \to \infty.$

Отже, щоб отримати послідовність, ми припустили, що немає автокореляції ( ), дисперсія є постійною, а не надто зростає. Перше припущення виконується, якщо походить з незалежних вибірок. $\Cov(y_i, y_j) = 0$ $\Var(y_i)$ $\x_i$ $y_i$

Ефективність

Класичний результат - теорема Гаусса-Маркова . Умови для нього - це саме перші дві умови консистенції та умова неупередженості.

Властивості розподілу

Якщо є нормальним, ми відразу отримуємо, що є нормальним, оскільки це лінійна комбінація нормальних випадкових величин. Якщо припустити попередні припущення незалежності, некорельованості та постійної дисперсії, отримаємо, що де . $y_i$ $\hat\bet$

\hat{β} \sim N (β, σ^{2} {(\sum x_{i} x_{i}^{'})}^{- 1})

$\hat\bet \sim \mathcal{N}\left(\bet, \sigma^2\left(\sum \x_i \x_i' \right)^{-1} \right)$

Var (y_{i}) = σ^{2}

$\Var(y_i)=\sigma^2$

Якщо не є нормальними, але незалежними, ми можемо отримати приблизний розподіл завдяки центральній граничній теоремі. Для цього ми повинні вважати , що для деякої матриці . Постійна дисперсія для асимптотичної нормальності не потрібна, якщо припустити, що $y_i$ $\hat\bet$

lim_{n \to \infty} \frac{1}{n} \sum x_{i} x_{i}^{'} \to A

$\lim_{n \to \infty} \frac{1}{n} \sum \x_i \x_i' \to A$

A

$A$

lim_{n \to \infty} \frac{1}{n} \sum x_{i} x_{i}^{'} Var (y_{i}) \to B .

$\lim_{n \to \infty} \frac{1}{n} \sum \x_i \x_i' \Var(y_i) \to B.$

Зверніть увагу , що при постійній дисперсії , маємо . Тоді центральна межа теореми дає нам такий результат: $y$ $B = \sigma^2 A$

\sqrt{n} (\hat{β} - β) \to N (0, A^{- 1} B A^{- 1}) .

$\sqrt{n}(\hat\bet - \bet) \to \mathcal{N}\left(0, A^{-1} B A^{-1} \right).$

Отже, з цього ми бачимо, що незалежність та постійна дисперсія для та певні припущення для дає нам багато корисних властивостей для оцінки LS . $y_i$ $\mathbf{x}_i$ $\hat\bet$

Вся справа в тому, що ці припущення можна розслабити. Наприклад, нам потрібно було, щоб не були випадковими змінними. Це припущення неможливо здійснити в економетричних програмах. Якщо дозволити випадковими, ми можемо отримати подібні результати, якщо використовувати умовні очікування та врахувати випадковість . Припущення про незалежність також може бути послабленим. Ми вже продемонстрували, що іноді потрібна лише некоректність. Навіть це може бути ще більш ослабленим, і все одно можна показати, що оцінка LS буде послідовною і асимптотичною нормальною. Дивіться, наприклад , книгу Білого для більш детальної інформації. $\x_i$ $\x_i$ $\x_i$

— mpiktas
джерело

Коментар до теореми Гаусса-Маркова. Він лише стверджує, що OLS кращий за інші оцінки, які є лінійними функціями даних. Однак багато широко використовуваних оцінювачів, зокрема, максимальна ймовірність (ML), не є лінійними функціями даних, і можуть бути набагато ефективнішими, ніж OLS в умовах теореми Гаусса-Маркова.

— Пітер Вестпад

@PeterWestfall Для нормальних помилок в гауссі, MLE - це OLS :) І ви не можете отримати ефективнішу, ніж MLE. У цій посаді я намагався бути легким з математичними деталями.

— mpiktas

1

Моя думка полягала в тому, що при нормальних розподілах існує набагато ефективніші оцінки, ніж OLS, коли дотримуються умови ГМ. GM по суті є марним, як твердження, що OLS "хороший" за ненормативності, оскільки найкращі оцінки в ненормальних випадках - це нелінійні функції даних.

— Пітер Вестпад

@mpiktas Отже, або ми беремо як не випадковий, і використовуємо оцінювач або беремо як випадковий і використовуємо оцінювач ?

x

$\mathbf x$

\hat{Y}

$\mathbf{\hat{Y}}$

x

$\mathbf x$

\hat{Y | x}

$\mathbf{\hat{Y|x}}$

— Parthiban Rajendran

16

Тут є ряд хороших відповідей. Мені здається, що є одне припущення, яке не було викладено (принаймні, не прямо). Зокрема, модель регресії передбачає, що (значення ваших пояснювальних / прогнозних змінних) є фіксованим і відомим , і що вся невизначеність у ситуації існує в межах змінноїКрім того, ця невизначеність передбачається лише помилкою вибірки . $\mathbf X$ $Y$

Ось два способи подумати над цим: Якщо ви будуєте пояснювальну модель (моделюючи експериментальні результати), ви точно знаєте, що таке рівні незалежних змінних, оскільки ви маніпулювали ними / керували ними. Більше того, ви вирішили, якими будуть ці рівні, перш ніж ви коли-небудь почали збирати дані. Отже, ви усвідомлюєте всю невизначеність у відносинах як існуючу в рамках відповіді. З іншого боку, якщо ви будуєте модель прогнозування, це правда, що ситуація відрізняється, але ви все одно ставитесь до прогнозів, як ніби вони були виправлені та відомі, адже в майбутньому, коли ви використовуєте модель для прогнозування про ймовірне значення , у вас буде вектор $y$ $\mathbf x$ , і модель розроблена для того, щоб вважати ці значення такими, що вони є правильними. Тобто ви будете мислити невизначеність як невідому цінність . $y$

Ці припущення можна побачити в рівнянні для прототипічної регресійної моделі: Модель з невизначеністю (можливо, через похибку вимірювання) в також може мати той самий процес генерування даних, але модель оціночне значення виглядатиме так: де являє собою випадкову помилку вимірювання. (Такі ситуації, як останні, призвели до помилок у моделях змінних ; основним результатом є те, що якщо в є помилка вимірювання , наївний

y_{i} = β_{0} + β_{1} x_{i} + ε_{i}

$y_i = \beta_0 + \beta_1x_i + \varepsilon_i$

x

$x$

y_{i} = {\hat{β}}_{0} + {\hat{β}}_{1} (x_{i} + η_{i}) + {\hat{ε}}_{i},

$y_i = \hat\beta_0 + \hat\beta_1(x_i + \eta_i) + \hat\varepsilon_i,$

η

$\eta$

x

$x$

{\hat{β}}_{1}

$\hat\beta_1$ буде ослаблено - ближче до 0, ніж його справжнє значення, і що якщо у є похибка вимірювання , статистичні тести 's будуть недостатніми, але в іншому випадку неупередженими.)

y

$y$

\hat{β}

$\hat\beta$

Одним з практичних наслідків властивості асиметрії в типовому припущенні є те, що регресування на відрізняється від регресування на . (Дивіться мою відповідь тут: у чому різниця між лінійною регресією на y з x проти x з у? Для більш детального обговорення цього факту.) $y$ $x$ $x$ $y$

— gung
джерело

Що означає "фіксований" | «Випадковий» простою мовою? І як розрізнити фіксований та випадковий вплив (= фактори)? Я думаю, що в моєму дизайні є 1 фіксований відомий фактор з 5 рівнями. Правильно?

— stan

1

@stan, я визнаю вашу плутанину. Термінологія в статистиці часто плутає і не допомагає. В цьому випадку, «фіксований» не зовсім такий же , як фіксовані в «фіксованих ефектів і випадкових ефектів» (хоча вони пов'язані між собою ). Тут ми не говоримо про ефекти - ми говоримо про дані , тобто ваші прогнозні / пояснювальні змінні. Найпростіший спосіб зрозуміти ідею фіксування даних - це продумати запланований експеримент. Перш ніж ви щось зробите, розробляючи експеримент, ви вирішуєте, якими будуть рівні ваших пояснень, ви не виявите їх по дорозі.

X

$X$

X

$X$

— гунг

Моделювання з прогнозуванням, це не зовсім вірно, але ми будемо так ставитись до наших даних у майбутньому, коли будемо використовувати модель для прогнозування.

X

$X$

— гунг

Чому βs та ε мають капелюх у нижньому рівнянні, а не у верхньому?

— user1205901

2

@ user1205901, верхня модель - це процес генерування даних, нижній - ваша оцінка цього.

— gung

8

Припущення класичної лінійної регресійної моделі включають:

Лінійний параметр і правильна специфікація моделі
Повний ранг X Матриці
Пояснювальні змінні повинні бути екзогенними
Незалежні та ідентично розподілені умови помилок
Нормальні умови розподілених помилок у населенні

Хоча відповіді тут дають вже хороший огляд класичного припущення OLS, ви можете знайти більш повний опис припущення про класичну лінійну регресійну модель тут:

https://economictheoryblog.com/2015/04/01/ols_assumptions/

Крім того, у статті описані наслідки у випадку порушення певних припущень.

— Трістіан Онарі
джерело

6

Для обгрунтування OLS можуть бути використані різні припущення

У деяких ситуаціях автор випробовує залишки на нормальність.
- Але в інших ситуаціях залишки не є нормальними, і автор все одно використовує OLS!
Ви побачите тексти, що говорять про те, що гомоскедастичність - це припущення.
- Але ви бачите дослідників, які використовують OLS, коли порушується гомоскедастичність.

Що дає ?!

Відповідь полягає в тому, що дещо різні набори припущень можуть бути використані для обгрунтування використання звичайних оцінок найменших квадратів (OLS). OLS - такий інструмент, як молоток: ви можете використовувати молоток на цвяхах, але можете також використовувати його на кілочках, щоб розбити лід тощо.

Дві широкі категорії припущень - це ті, які застосовуються до малих вибірок, і ті, які покладаються на великі вибірки, щоб можна було застосувати центральну граничну теорему .

1. Невеликі прикладні припущення

Невеликі прикладні припущення, як обговорювалося в Hayashi (2000), є:

Лінійність
Сувора екзогенність
Ніякої мультиколінеарності
Сферичні помилки (гомоскедастичність)

Згідно з (1) - (4) застосовується теорема Гаусса-Маркова , а звичайний оцінювач найменших квадратів - найкращий лінійний неупереджений оцінювач.

Нормальність помилок

Подальше припущення нормальних термінів помилки дозволяє перевірити гіпотезу . Якщо умови помилки умовно нормальні, розподіл ОЦП також є умовно нормальним.

Іншим важливим моментом є те, що за нормальності оцінка OLS також є оцінкою максимальної ймовірності .

2. Великі прикладні припущення

Ці припущення можуть бути змінені / розслаблені, якщо у нас є достатньо велика вибірка, щоб ми могли спиратися на закон великих чисел (для послідовності оцінки ОЛС) та центральну граничну теорему (щоб розподіл вибірки ОЛС-оцінювача сходився до нормальний розподіл, і ми можемо зробити тестування гіпотез, поговорити про p-значення тощо ...).

Хаяші - макроекономічний хлопець, і його великі прикладні припущення сформульовані з урахуванням контексту часового ряду:

лінійність
ергодична стаціонарність
заздалегідь визначені регресори: помилки-терміни є ортогональними щодо їх одночасних помилок.
$\operatorname{E}[\mathbf{x}\mathbf{x}']$ - повний ранг
$\mathbf{x}_i \epsilon_i$ - це послідовність різниці мартингалів з кінцевими секундами.
Кінцеві 4-і моменти регресорів

Ви можете зіткнутися з більш сильними версіями цих припущень, наприклад, що умови помилок не залежать.

Належне велике примірне припущення приводить вас до розподілу вибірки оцінювача OLS, яке є асимптотично нормальним.

Список літератури

Хаяші, Фуміо, 2000, Економетрика

— Меттью Ганн
джерело

5

Це все про те, що ви хочете зробити зі своєю моделлю. Уявіть, чи були ваші помилки позитивно перекошеними / ненормальними. Якщо ви хочете зробити інтервал передбачення, ви могли б зробити краще, ніж використовувати t-розподіл. Якщо ваша дисперсія менша при менших прогнозованих значеннях, знову ж таки, ви будете робити занадто великий інтервал прогнозування.

Краще зрозуміти, чому припущення існують.

— Адам
джерело

4

Наступні діаграми показують, які припущення потрібні для отримання наслідків для кінцевого та асимптотичного сценаріїв.

Я думаю, що важливо подумати не лише про те, які є припущення, а які наслідки мають ці припущення. Наприклад, якщо ви дбаєте лише про об'єктивні коефіцієнти, то вам не потрібна гомоскедастичність.

— DVL
джерело

2

Далі наведені припущення щодо аналізу лінійної регресії.

Правильна специфікація . Правильно вказана лінійна функціональна форма.

Сувора екзогенність . Помилки в регресії повинні мати середнє умовне значення.

Ніякої мультиколінеарності . Регресори в X повинні бути лінійно незалежними.

Гомоседастичність, що означає, що термін помилки має однакову дисперсію в кожному спостереженні.

Ніякої автокореляції : помилки некорельовані між спостереженнями.

Нормальність. Іноді додатково передбачається, що помилки мають звичайний розподіл, що залежить від регресорів.

Iid спостереження : не залежить від та має таке ж розподіл, що і для всіх . $(x_i, y_i)$ $(x_j, y_j)$ $i\neq j$

Для отримання додаткової інформації відвідайте цю сторінку .

— любов-статистика
джерело

4

Замість того, щоб "немає мультиколінності", я б сказав "немає лінійної залежності". Колінеарність часто використовується як безперервний, а не категоричний захід. Заборонена лише сувора або точна колінеарність.

— Пітер Флом

2

Що щодо регресії часових рядів? Що щодо узагальнених найменших квадратів? Ваш список виглядає так само, як список заповідей, коли насправді останні 4 припущення можуть бути занадто обмежуючими, якщо ми дбаємо лише про послідовність та асимптотичну нормальність оцінок найменших квадратів.

— mpiktas

1

Мультиколінеарність викликає проблеми інтерпретації (пов'язані з ідентифікацією деяких параметрів), але це, безумовно, не є стандартним припущенням лінійних регресійних моделей. Близько мультиколінеарність - це насамперед обчислювальна проблема, але також викликає подібні питання тлумачення.

— whuber

@whuber & Peter Flom: Як я читав у книзі Гуджараті на сторінці № 65-75. tiny.cc/cwb2g Це "відсутність мультиколінеарності" вважається припущенням регресійного аналізу.

— love-stats

@mpiktas: Якщо ви відвідаєте вказану URL-адресу у відповіді, ви знайдете припущення про регресію часових рядів.

— любов-статистика

2

Немає такого поняття, як єдиний перелік припущень, їх буде як мінімум 2: одне для фіксованого та одне для випадкової матриці проектування. Крім того, ви можете переглянути припущення щодо регресії часових рядів (див. Стор. 13)

Випадок , коли матриця є фіксованим може бути найбільш поширеною, і його припущення часто виражається у вигляді теореми Гаусса-Марков . Фіксована конструкція означає, що ви справді керуєте регресорами. Наприклад, ви проводите експеримент і можете встановити такі параметри, як температура, тиск тощо. Дивіться також с. 13 тут . $X$

На жаль, в таких соціальних науках, як економіка, ви рідко можете контролювати параметри експерименту. Зазвичай ви спостерігаєте, що відбувається в економіці, записуєте показники навколишнього середовища, а потім регресуєте на них. Виявляється, це зовсім інша і більш складна ситуація, яка називається випадковою конструкцією. У цьому випадку теорема Гаусса-Маркова модифікована, також дивіться с.12 тут . Ви можете бачити, як умови виражаються зараз в умовних вірогідностях, що не є нешкідливою зміною.

У економетриці припущення мають назви:

лінійність
сувора екзогенність
відсутність мультиколінеарності
дисперсія сферичної помилки (включає гомоскедастичність і відсутність кореляції)

Зауважте, що я ніколи не згадував про нормальність. Це не стандартне припущення. Його часто використовують на курсах інтрорегресії, оскільки вони полегшують деякі похідні, але для того, щоб регресія працювала і мала приємні властивості, її не потрібно.

— Аксакал
джерело

1

Припущення про лінійність полягає в тому, що модель у параметрах лінійна. Добре мати регресійну модель з квадратичними або вищими порядками, доки функція потужності незалежної змінної є частиною лінійної моделі адитивів. Якщо модель не містить термінів вищого порядку, коли це слід, то відсутність придатності буде очевидною в графіку залишків. Однак стандартні регресійні моделі не містять моделей, в яких незалежна змінна піднімається на потужність параметра (хоча є й інші підходи, які можна використовувати для оцінки таких моделей). Такі моделі містять нелінійні параметри.

— StatisticsDoc Consulting
джерело

1

Коефіцієнт регресії найменших квадратів забезпечує спосіб узагальнення тенденції першого порядку в будь-яких видах даних. Відповідь @mpiktas - це ретельна обробка умов, за яких найменші квадрати стають все більш оптимальними. Я хотів би піти іншим шляхом і показати найзагальніший випадок, коли працює найменше квадратів. Давайте подивимось найбільш загальну формулу рівняння найменших квадратів:

E [Y | X] = α + β X

$E[Y|X] = \alpha + \beta X$

Це просто лінійна модель для умовного середнього рівня відповіді.

Зауважте, що я виправдав термін помилки. Якщо ви хочете узагальнити невизначеність , то вам слід звернутися до центральної граничної теореми. Найбільш загальний клас оцінювачів найменших квадратів збігається до нормального, коли виконується умова Ліндеберга : кип'ятившись, умова Ліндеберга для найменших квадратів вимагає, щоб частка найбільшого залишкового квадрата до суми суми залишків у квадраті повинна дорівнювати 0, як . Якщо ваша конструкція дозволить тримати вибірку все більших і більших залишків, то експеримент "мертвий у воді". $\beta$ $n \rightarrow \infty$

Коли виконується умова Ліндеберга, параметр регресії добре визначений, а оцінювач - це неупереджений оцінювач, який має відомий апроксимуючий розподіл. Можливі ефективніші оцінки. В інших випадках гетероскедастичності або корельованих даних зазвичай зважений оцінювач є більш ефективним . Ось чому я б ніколи не виступав за використання наївних методів, коли є кращі. Але їх часто немає! $\beta$ $\hat{\beta}$

— АдамО
джерело

1

Для економістів: Варто зазначити, що ця умова передбачає сувору екзогенність, тому сувору екзогенність не потрібно зазначати як припущення в умовно-середній моделі. Це автоматично вірно, математично. (Тут говорять теорії, а не оцінки.)

— Пітер Вестфаль

Який повний перелік звичайних припущень для лінійної регресії?

Для обгрунтування OLS можуть бути використані різні припущення

1. Невеликі прикладні припущення

2. Великі прикладні припущення

Список літератури