Припущення для отримання оцінки OLS

Чи може хтось коротко пояснити для мене, чому кожне з шести припущень потрібне для обчислення оцінки ОЛС? Я дізнався лише про мультиколінеарність - що якщо вона існує, ми не можемо інвертувати (X'X) матрицю і, в свою чергу, оцінити загальний оцінювач. А як щодо інших (наприклад, лінійність, нульові середні помилки тощо)?

least-squares assumptions

— Ієва
джерело

Пов'язане: Що таке повний перелік звичайних припущень для лінійної регресії?

— gung - Відновіть Моніку

Ви шукаєте концептуальне пояснення, чи вам потрібна математична демонстрація?

— gung - Відновіть Моніку

Звичайні найменші квадрати - це числова процедура, для її обчислення не потрібно багато припущень (окрім незворотності). Припущення необхідні для обгрунтування висновку на основі цього, дивіться мою відповідь вчора: stats.stackexchange.com/questions/148803/…

— kjetil b halvorsen

Точно про які «шість припущень» ви посилаєтесь? Ви згадуєте лише три.

— whuber

Я маю на увазі 1) лінійність 2) відсутність мультиколінеарності 3) нульові середні помилки 4) сферичні помилки (гомоскедастичність та не автокореляція) 5) нестахастичні регресори та 6) нормальний розподіл. Отже, як я зрозумів з відповіді нижче, для отримання результату оцінки потрібні лише перші три, а інші потрібні лише для того, щоб переконатися, що Оцінювач є СВІТИМ?

— Ієва

Відповіді:

Ви завжди можете обчислити оцінювач OLS, окрім випадків, коли у вас ідеальна мультиколінеарність. У цьому випадку у вас є ідеальна багатолінійна залежність у вашій матриці X. Отже, припущення про повний ранг не виконується, і ви не можете обчислити оцінювач OLS через проблеми з незворотністю.

Технічно вам не потрібні інші припущення OLS для обчислення оцінки OLS. Однак, згідно з теоремою Гаусса – Маркова, вам потрібно виконати припущення OLS (припущення щодо клімату), щоб ваш оцінювач був СУМИМ.

Ви можете знайти широке обговорення теореми Гаусса-Маркова та її математичного виведення тут:

http://economictheoryblog.com/2015/02/26/markov_theorem/

Крім того, якщо ви шукаєте огляд припущення про OLS, тобто скільки їх існує, що вони вимагають і що станеться, якщо ви порушите єдине припущення OLS, тут можна знайти розгорнуту дискусію:

http://economictheoryblog.com/2015/04/01/ols_assumptions/

Я сподіваюся, що це допомагає, ура!

— Саймон Дегонда
джерело

Далі базується на простих перерізах, для часових рядів та панелей дещо відрізняється.

У сукупності, а отже, у вибірці модель можна записати так: Це припущення про лінійність, яке іноді неправильно розуміється. Модель повинна бути лінійною в параметрах, а саме. Ви можете робити все, що завгодно, зсамими. Журнали, квадрати тощо. Якщо це не так, то модель OLS не може бути оцінена - вам потрібен інший нелінійний оцінювач. $\begin{aligned} Y & = β_{0} + β_{1} x_{1} + \dots + β_{k} x_{k} + u \\ = X β + u \end{aligned}$ $\begin{align} \newcommand{\Var}{\rm Var} \newcommand{\Cov}{\rm Cov} Y &= \beta_0 + \beta_1 x_1 + … + \beta_k x_k + u \\ &= X\beta + u \end{align}$ $\beta_k$ $x_i$
Випадкова вибірка (для перерізів) Це потрібно для висновку та властивостей вибірки. Це чимось не має значення для чистої механіки OLS.
Немає досконалої колінеарності Це означає, що між не може бути ідеальних відносин . Це припущення, яке гарантує, що є неоднорідним, таким, що існує. $x_i$ $(X’X)$ $(X’X)^{-1}$
Нульове умовне середнє: . Це означає, що ви правильно вказали модель таким чином: немає пропущених змінних, а функціональна форма, яку ви оцінили, є правильною щодо (невідомої) сукупності моделі. Це завжди проблематичне припущення щодо OLS, оскільки немає жодного способу дізнатися, чи дійсно воно дійсне чи ні. $E(u|X) = 0$
Різниця терміна помилок є постійною, умовною для всіх : Знову це нічого не означає для механіки OLS, але це гарантує, що звичайні стандартні помилки є дійсними. $X_i$ $\Var(u|X)=\sigma^2$
Нормальність; термін помилки u не залежить від і випливає з . Знову це не має значення для механіки OLS, але забезпечує нормальний розподіл вибірки , $X_i$ $u \sim N(0,\sigma^2)$ $\beta_k$ . $\hat{\beta_k} \sim N(\beta_k , \Var(\hat{\beta_k}))$

Тепер про наслідки.

У межах 1-6 (припущення класичної лінійної моделі) OLS є СВІТИМ (найкращий лінійний неупереджений оцінювач), найкращий у значенні найменшої дисперсії. Він також ефективний серед усіх лінійних оцінювачів, а також усіх оцінювачів, який використовує певну функцію x. Більш важливо, що під 1 - 6 OLS також є об'єктивним оцінкою мінімальної дисперсії. Це означає, що серед усіх неупереджених оцінювачів (не тільки лінійних) OLS має найменшу дисперсію. OLS також відповідає.
У межах 1 - 5 (припущення Гаусса-Маркова) OLS є СУМОЮ та ефективною (як описано вище).
У віці від 1 до 4 OLS є неупередженим та послідовним.

Насправді OLS також є послідовним, при слабшому припущенні, ніж а саме: і $(4)$ $(1)\ E(u) = 0$ . Відмінність від припущень 4 полягає в тому, що, згідно з цим припущенням, вам не потрібно ідеально розвивати функціональні відносини. $(2)\ \Cov(x_j , u) = 0$

— Репмат
джерело

Думаю, ви намалюєте занадто темну картину про стан нульової середньої величини. Якби було зміщення, то мінімізація суми відхилень у квадраті не було б відповідною справою, але, з іншого боку, ви можете захопити зміщення, змістивши рівняння регресії (поглинаючи зміщення в

), а потім ти

β_{0}

$\beta_0$ дійсно мають середню 0. іншими словами, 4 і неможливо , щоб перевірити і легко ігнорувати.

— користувач3697176

Мені шкода, але я не згоден. А може, я просто нерозумію вас? Ви можете або допрацювати, або дати посилання.

— Репмат

Я не говорю про навмисне спотворене оцінювання (наприклад, регресія хребта), яке, на мою думку, ОП не зацікавило. Я говорю про модель форми

в якій --- з якоїсь дивної причини --- залишковий

має середнє значення

. У цьому випадку легко зробити формальне перетворення у

y = β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + ϵ

$y=\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \epsilon$

ϵ

$\epsilon$

α \neq 0

$\alpha\ne0$

, де середнє значення

дорівнює нулю.

y = α + β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + η

$y=\alpha+\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \eta$

η

$\eta$

— користувач3697176

@ user3697176 Те, що ви пишете, не є правильним. Я щойно опублікував відповідь, щоб пояснити, чому.

— Алекос Пападопулос

Якщо припущення 1 не задоволено, чи не можемо ми все-таки використовувати OLS для оцінки коваріації населення (хоча ми знаємо, що немає лінійної залежності)?

— макс

Коментар до іншого питання викликав сумнів у важливості цієї умови , стверджуючи, що її можна виправити, включивши в специфікацію регресії постійний термін, і тому "його можна легко проігнорувати". $E(\mathbf u \mid \mathbf X) =0$

Це не так. Включення постійного члена в регресію поглине можливо умовне середнє значення терміна помилки, якщо припустити, що це умовне середнє значення є вже постійною, а не функцією регресорів . Це найважливіше припущення, яке потрібно зробити незалежно від того, включаємо ми постійний термін чи ні:

E (u ∣ X) = c o n s t .

$E(\mathbf u \mid \mathbf X) =const.$

Якщо це має місце, то ненульове значення стає неприємністю, яку ми можемо просто вирішити, включивши постійний термін.

Але якщо це не дотримується (тобто, якщо умовне середнє значення не є нульовим або ненульовим постійним ), включення постійного терміна не вирішує проблему: те, що воно "поглине" в цьому випадку, є величиною це залежить від конкретного зразка та реалізацій регресорів. Насправді невідомий коефіцієнт, приєднаний до ряду одиниць, насправді не є постійним, а змінним, залежно від регресорів через непостійне середнє умовне значення помилки.

Що це означає? Для спрощення припустимо найпростіший випадок, де ( індексує спостереження), але що $E(u_i \mid \mathbf X_{-i})=0$ $i$ . Тобто, термін помилки є середньо незалежним від регресорів, за винятком сучасних (у миневключаємо ряд одиниць). $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)$ $\mathbf X$

Припустимо, що ми задаємо регресію з включенням постійного члена (регресора ряду одиниць).

y = a + X β + ε

$\mathbf y = \mathbf a + \mathbf X\mathbf β + \mathbf ε$

і ущільнення позначень

y = Z γ + ε

$\mathbf y = \mathbf Z\mathbf γ + \mathbf ε$

де , , , . $\mathbf a = (a,a,a...)'$ $\mathbf Z = [\mathbf 1: \mathbf X]$ $\mathbf γ = (a, \mathbf β)'$ $\mathbf ε = \mathbf u - \mathbf a$

Тоді буде оцінювач OLS

\hat{γ} = γ + {(Z^{'} Z)}^{- 1} Z^{'} ε

$\hat {\mathbf γ} = \mathbf γ + \left(\mathbf Z'\mathbf Z\right)^{-1}\mathbf Z'\mathbf ε$

Для неупередженості нам потрібен . Але $E\left[\mathbf ε\mid \mathbf Z\right] =0$

E [ε_{i} ∣ x_{i}] = E [u_{i} - a ∣ x_{i}] = h (x_{i}) - a

$E\left[ ε_i\mid \mathbf x_i\right] = E\left[u_i-a\mid \mathbf x_i\right] = h(\mathbf x_i)-a$

which cannot be zero for all $i$ , since we examine the case where $h(\mathbf x_i)$ is not a constant function. So

E [ε ∣ Z] \neq 0 ⟹ E (\hat{γ}) \neq γ

$E\left[\mathbf ε\mid \mathbf Z\right] \neq 0 \implies E(\hat {\mathbf γ}) \neq \mathbf γ$

and

If $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$ , then even if we include a constant term in the regression, the OLS estimator will not be unbiased, meaning also that the Gauss-Markov result on efficiency, is lost.

Moreover, the error term $\mathbf ε$ has a different mean for each $i$ , and so also a different variance (i.e. it is conditionally heteroskedastic). So its distribution conditional on the regressors differs across the observations $i$ .

But this means that even if the error term $u_i$ is assumed normal, then the distribution of the sampling error $\hat {\mathbf γ} - \mathbf γ$ will be normal but not zero-mean mormal, and with unknown bias. And the variance will differ. So

If $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$ , then even if we include a constant term in the regression, Hypothesis testing is no longer valid.

In other words, "finite-sample" properties are all gone.

We are left only with the option to resort to asymptotically valid inference, for which we will have to make additional assumptions.

So simply put, Strict Exogeneity cannot be "easily ignored".

— Alecos Papadopoulos
джерело

I'm not completely sure I understand this. Isn't assuming that the mean is a not a function of the regressors equivalent to assuming homoscedasticity?

— Batman

@Batman To what part of my post are you referring to?

— Alecos Papadopoulos

When you say "The inclusion of a constant term in the regression will absorb the possibly non-zero conditional mean of the error term if we assume that this conditional mean is already a constant and not a function of the regressors. This is the crucial assumption that must be made independently of whether we include a constant term or not." Isn't assuming that the conditional mean isn't a function of the regressors exactly what we're assuming when we assume homoscedasticity?

— Batman

@Batman Homoskedasticity is an assumption about the variance. Assuming mean -independence does not imply that

E (u_{j}^{2} ∣ x)

$E(u^2_j \mid \mathbf x)$ is also a constant, which is also needed for conditional homoskedasticity. In fact, mean-independence,

E (u ∣ x) = c o n s t .

$E(u \mid x) =const.$ together with conditional heteroskedasticity,

E (u^{2} ∣ x) = g (x)

$E(u^2 \mid x) = g(x)$ is a standard model variant.

— Alecos Papadopoulos