Умовна середня незалежність передбачає неупередженість та послідовність оцінки ОЛС

Розглянемо таку модель множинної регресії:

\begin{matrix} (1) & Y = X β + Z δ + U . \end{matrix}

$Y=X\beta+Z\delta+U.\tag{1}$

Тут - вектор стовпця ; a матриця; a вектор стовпця; a матриця; a вектор стовпця; і , термін помилки, вектор стовпців . $Y$ $n\times 1$ $X$ $n\times (k+1)$ $\beta$ $(k+1)\times 1$ $Z$ $n\times l$ $\delta$ $l\times 1$ $U$ $n\times1$

ПИТАННЯ

Мій лектор, підручник « Вступ до економетрії», 3-е видання. Джеймс Х. Сток і Марк У. Уотсон, с. 281 та Економетрика: Засідання з перегляду екзамену з честю (PDF) , с. 7, висловив мені наступне.

Якщо припустити, що називається умовною середньою незалежністю , що за визначенням означає, що $\begin{matrix} (2) & E (U | X, Z) = E (U | Z), \end{matrix}$ $E(U|X,Z)=E(U|Z),\tag{2}$
і якщо припущення про найменші квадрати виконуються за винятком умовного середнього нульового припущення (тому будемо вважати, що ) (див. 1 -3 нижче), $E(U|X,Z)=0$ $E(U|X,Z)=E(U|Z) \neq 0$
тоді, OLS-оцінювач з в залишається неупередженим та послідовним за цим слабшим набором припущень. $\hat{\beta}$ $\beta$ $(1)$

Як я можу довести цю пропозицію? Тобто, що з 1 і 2 вище випливає, що оцінка OLS дає нам об'єктивний та послідовний оцінювач ? Чи є якась дослідницька стаття, яка підтверджує цю пропозицію? $\beta$ $\beta$

КОМЕНТАР

Найпростіший випадок наведено, розглядаючи модель лінійної регресії та доводить, що оцінка OLS of є неупередженим, якщо для кожного .

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}, i = 1, 2, \dots, n,

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i,\quad i=1,2,\ldots,n,$

{\hat{β}}_{1}

$\hat{\beta}_1$

β_{1}

$\beta_1$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

i

$i$

ЩО І СПІЛЬНО НОРМАЛЬНО РАЗРЕШЕНО $U_i$ $Z_i$

Визначте , тоді іТаким чином, може бути переписаний як По випливає, що Тепер, оскільки і спільно нормально розподіляються, теорія нормальних розподілів, пор. Отримуючи умовні розподіли багатоваріантного нормального розподілу , говорить, що (дійсно, нам не потрібно вважати спільну нормальність, а лише цю тотожність) для деякого на вектор $V=U-E(U|X,Z)$ $U=V+E(U|X,Z)$

\begin{matrix} (*) & E (V | X, Z) = 0 . \end{matrix}

$E(V|X,Z)=0\tag{*}.$

(1)

$(1)$

\begin{matrix} (3) & Y = X β + Z δ + E (U | X, Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|X,Z)+V.\tag{3}$

(2)

$(2)$

\begin{matrix} (4) & Y = X β + Z δ + E (U | Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|Z)+V.\tag{4}$

U_{i}

$U_i$

Z_{i}

$Z_i$

\begin{matrix} (**) & E (U | Z) = Z γ \end{matrix}

$E(U|Z)=Z\gamma\tag{**}$

l

$l$

1

$1$

γ \neq 0

$\gamma\neq\textbf{0}$ .

Тепер стає Для моделі всі припущення про найменші квадрати виконуються, оскільки термін помилки задовольняє припущення про умовне означає нуль. Це означає , що МНК оцінки з буде несмещенной, якщо ми нехай , і нехай бути від матриці, що складається з і , тоді оцінка OLS в задається, враховуючи наступне: $(4)$

\begin{matrix} (5) & Y = X β + Z (δ + γ) + V . \end{matrix}

$Y=X\beta+Z(\delta+\gamma)+V.\tag{5}$

(5)

$(5)$

V

$V$

\hat{β}

$\hat{\beta}$

β

$\beta$

ρ = δ + γ

$\rho=\delta+\gamma$

W = (X, Z)

$W=(X,Z)$

n

$n$

(k + 1) + l

$(k+1)+l$

X

$X$

Z

$Z$

β

$\beta$

(5)

$(5)$

\begin{aligned} ({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} & = (W^{T} W)^{- 1} W^{T} Y \\ = (W^{T} W)^{- 1} W^{T} (W (β^{T}, ρ^{T})^{T} + V) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} V \end{aligned}

$\begin{align}(\hat{\beta}^T,\hat{\rho}^T)^T &=(W^TW)^{-1}W^TY\\ &=(W^TW)^{-1}W^T(W(\beta^T,\rho^T)^T+V)\\ &=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^TV\end{align}$

і таким чином де другий рядок випливає з . Таким чином, є умовно неупередженою оцінкою оскільки оцінка OLS, наведена для моделі coinicides з даною для моделі . Тепер за законом сумарного очікування і, таким чином, є неупередженим оцінником для .

\begin{aligned} E (({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} | W) & = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W s^{T} E (V | W) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} 0 \\ = (β^{T}, ρ^{T})^{T}, \end{aligned}

$\begin{align}E((\hat{\beta}^T,\hat{\rho}^T)^T|W)&=(\beta^T,\rho^T)^T+(W^TW)^{-1}Ws^TE(V|W)\\&=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^T\textbf{0}\\&=(\beta^T,\rho^T)^T,\end{align}$

(*)

$(*)$

\hat{β}

$\hat{\beta}$

β

$\beta$

(1)

$(1)$

(5)

$(5)$

\begin{aligned} E (\hat{β}) & = E (E (\hat{β} | W)) \\ = E (β) \\ = β, \end{aligned}

$\begin{align}E(\hat{\beta})&=E(E(\hat{\beta}|W))\\ &=E(\beta)\\ &=\beta,\end{align}$

\hat{β}

$\hat{\beta}$

β

$\beta$

(Можна зазначити, що , так що коефіцієнт на не обов'язково є неупередженим.) $E(\hat{\rho})=\rho=\delta+\gamma\neq\delta$ $Z$

Однак, окремий випадок, викладений вище, передбачає, що та спільно нормально розподіляються, як я можу довести судження без цього припущення? $U_i$ $Z_i$

Якщо припустити, що завжди достатня, звичайно, (пор. ), але результат я повинен отримати лише з використанням та припущення про найменші квадрати, що виключає умовне середнє нульове припущення ( Дивись нижче). $E(U|Z)=Z\gamma$ $(**)$ $(2)$

ВІДПОВІДАЛО КОНСИСТЕНЦІЮ

Я думаю, можна також побачити, що оцінка відповідає , помічаючи, що в регресійній моделі всі припущення про найменші квадрати виконуються, включаючи припущення, що (новий) помилка терміна задовольняє Умовне середнє нульове припущення (пор. І див. Нижче). $\hat{\beta}$ $\beta$ $(5)$ $V$ $(*)$

Пізніше я можу додати доказ послідовності, який базується на ряді вправ « Вступ до економетрії», 3-е видання. Джеймс Х. Сток і Марк У. Уотсон, гл. 18. Однак цей доказ досить довгий. Але справа в тому, що доказ, наданий у вправах, передбачає , тому мені все ще цікаво, чи достатньо припущення . $(**)$ $(2)$

ПІДПРИЄМСТВО 1

У Введення в економетрику 3 - е изд. Джеймс Х. Сток і Марк Уотсон, як сказано, на с. 300, що припущення можна "послабити", використовуючи теорію нелінійної регресії. Що вони означають або можуть означати це? $(**)$

НАЙКРАЩІ ПІДГОТОВКИ КВАРТІВ

Тут я виключаю умовне середнє нульове припущення, що оскільки пропозиція, яку ми намагаємося довести тут, дозволяє випадки, коли . Вони є , наприклад , випадки , коли корелює з . Ср. Економетрика: Засідання з перегляду іспиту з відзнакою (PDF) , с. 7. $E(U|X,Z)=0$ $E(U|X,Z)\neq 0$ $Z$ $U$

Припущення про найменші квадрати - наступне.

Спільні розподіли , є iid, де - елемент : th у а і - вектори : th рядів у і . $(Y_i,X_i,Z_i)$ $i=1,2,\ldots,n,$ $Y_i$ $i$ $Y$ $X_i$ $Z_i$ $i$ $X$ $Z$
Великі викиди малоймовірно, тобто для кожного , і мають кінцеві четверті моменти, де це : й елемент в . $i$ $X_i, Z_i$ $U_i$ $U_i$ $i$ $U$
$(X,Z)$ має повний ранг стовпця (тобто немає ідеальної мультиколінеарності; це забезпечує оберненість ). $W^TW$
( Припущення про найменші квадрати : Хоча я не думаю, що це є необхідним (і мені було сказано, що це не так), ми можемо також припустити гомоскедастичність, тобто для кожного , і що умовний розподіл заданого є нормальним для кожного (тобто у нас є нормальні помилки.)) $\text{Var}(U_i|X_i,Z_i)=\sigma^2_U$ $i$ $U_i$ $(X_i,Z_i)$ $i$

ПРИМІТКА ПРО ТЕРМІНОЛОГІЮ

У умовне середнє нульове припущення - це припущення, що . Припущенням умовної середньої незалежності є припущення, що . $(1)$ $E(U|X,Z)=0$ $E(U|X,Z)=E(U|Z)$

Ця термінологія використовується, наприклад, у вступі до економетрії, 3-е видання. Джеймс Х. Сток і Марк У. Уотсон, с. 281; та Економетричний аналіз даних перерізів та панелей, 1-е видання. автор: Джеффрі М. Вулдрідж, с. 607. Див. Також Умовні обмеження незалежності: тестування та оцінка для подібних дискусій.

ДОДАТКОВІ МИСЛИ ТА ПІДПРИЄМСТВО 2

Я думаю, що всупереч Джеймсу Х. Стоку і Марку Уотсону, що умовна середня незалежність не забезпечує об'єктивну оцінку OLS . Це тому, що може приймати нелінійні форми, такі як де - поліном у , або де - якийсь параметр, який ще слід оцінити (тут я використовую матричну експоненцію ), і тоді, я думаю, треба застосувати нелінійну регресію , що, як правило, залишає нас з упередженими оцінками. Також оцінка OLS в (1) може навіть не збігатися з оцінкою OLS $\beta$ $E(U|Z)$ $E(U|Z)=p(Z)$ $p(Z)$ $Z$ $E(U|Z)=\exp( Z\gamma)$ $\gamma$ $\beta$ $\beta$ в якщо набуває певних нелінійних форм. (Психологічно я також вважаю, що твердження, зроблене в книзі Сток і Уотсон, занадто добре, щоб бути правдивим.) $(4)$ $E(U|Z)$

Таким чином, додаткове питання полягає в тому, чи існує якийсь контрприклад твердження, що умовна середня незалежність призводить до неупередженої оцінки OLS?

ПІДПРИЄМСТВО 3

В основному нешкідлива Економетрика Angrist & пішком стверджує , в підрозділі 3.3, стор. 68--91, що за умови умовної незалежності (CI), тобто , незалежної від заданого (це, напевно, сильніша умова, ніж припущення умовної середньої незалежності, наведене вище), існує тісний зв'язок між відповідними оцінками вплив на і коефіцієнти на в регресії на і що мотивує, що за CI оцінка OLS коефіцієнта на в $Y$ $X$ $W$ $X$ $Y$ $X$ $Y$ $X$ $W$ $X$ $(1)$ менш упереджене, ніж якщо CI не дотримується (всі інші рівні).

Тепер чи можна цю ідею якось використати для відповіді на моє головне питання тут?

— Ілля
джерело

@ Xi'an Що ти маєш на увазі? Це визначення умовної середньої незалежності, подане в моєму підручнику: Якщо ми в лінійній регресії маємо , то ми говоримо, що у нас умовна середня незалежність. Я просто думав, що мій спосіб його написання був більш загальним.

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

— Ілля

@ Xi'an Як би ви визначили "умовне незалежне $ ce" в цьому випадку? Як я вважаю, «умовна незалежність» - це поняття, відмінне від «умовно-середньої незалежності». Вони можуть бути або не бути концептуально пов'язаними.

— Ілля

@ Xi'an Ось як я розумію поняття: Умовна незалежність - це просто , але умовна середня незалежність - .

P (A \cap B | C) = P (A | C) P (B | C)

$P(A\cap B|C)=P(A|C)P(B|C)$

E (A | B, C) = E (A | C)

$E(A|B,C)=E(A|C)$

— Ілля

Де коментар Сіань?

— Майкл Р. Черник

@MichaelChernick Його коментар був першим. Я думаю, він, мабуть, видалив його. Як я його пам’ятаю, він сказав, що не передбачає умовної незалежності, і я відповів.

E (U | X, Z) = E (U | Z)

$E(U|X,Z)=E(U|Z)$

— Ілля

Відповіді:

Це помилково. Як ви зауважуєте, якщо ви уважно читаєте Stock та Watson, вони насправді не схвалюють твердження, що OLS є неупередженим до при умовно-середній незалежності. Вони схвалюють набагато слабше твердження, що OLS є неупередженим до якщо . Потім вони говорять про щось неясне про нелінійні найменші квадрати. $\beta$ $\beta$ $E(u|x,z)=z\gamma$

Ваше рівняння (4) містить те, що вам потрібно, щоб побачити, що твердження є помилковим. Оцінка рівняння (4) за OLS при пропущенні змінної призводить до зміщення зміщених опущених змінних. Як ви, напевно, пам’ятаєте, термін зміщення від опущених змінних (коли упущена змінна має коефіцієнт 1) контролюється коефіцієнтами з наступної допоміжної регресії: Зсув початкової регресії для становить від цієї регресії, а зміщення на - . Якщо корелює з , після лінійного керування для $E(u|x,z)$

\begin{aligned} E (u | z) = x α_{1} + z α_{2} + ν \end{aligned}

$\begin{align} E(u|z) = x\alpha_1 + z\alpha_2 + \nu \end{align}$

β

$\beta$

α_{1}

$\alpha_1$

γ

$\gamma$

α_{2}

$\alpha_2$

x

$x$

E (u | z)

$E(u|z)$

z

$z$ , тоді буде не нульовим, а коефіцієнт OLS буде зміщений.

α_{1}

$\alpha_1$

Ось приклад для доказу пункту:

\begin{aligned} ξ & \sim F (), ζ \sim G (), ν \sim H () all independent \\ z & = ξ \\ x & = z^{2} + ζ \\ u & = z + z^{2} - E (z + z^{2}) + ν \end{aligned}

$\begin{align} \xi &\sim F(), \; \zeta \sim G(), \; \nu \sim H()\quad \text{all independent}\\ z &=\xi\\ x &= z^2 + \zeta\\ u &= z+z^2-E(z+z^2)+\nu \end{align}$

Поглянувши на формулу для , зрозуміло, що Дивлячись на допоміжну регресію, зрозуміло що (відсутній якийсь випадковий вибір ) не буде нульовим. $u$ $E(u|x,z)=E(u|z)=z+z^2-E(z+z^2)$ $F,G,H$ $\alpha_1$

Ось дуже простий приклад, в Rякому демонструється точка:

set.seed(12344321)
z <- runif(n=100000,min=0,max=10)
x <- z^2 + runif(n=100000,min=0,max=20)
u <- z + z^2 - mean(z+z^2) + rnorm(n=100000,mean=0,sd=20)
y <- x + z + u

summary(lm(y~x+z))

# auxiliary regression
summary(lm(z+z^2~x+z))

Зауважте, що перша регресія дає вам коефіцієнт на який зміщений на 0,63, відображаючи той факт, що "має деякий в ньому", як і . Зауважте також, що допоміжна регресія дає оцінку зміщення приблизно 0,63. $x$ $x$ $z^2$ $E(u|z)$

Отже, про що говорять Сток і Уотсон (і ваш лектор)? Повернемось до вашого рівняння (4):

\begin{aligned} y = x β + z γ + E (u | z) + v \end{aligned}

$\begin{align} y = x\beta + z\gamma + E(u|z) + v \end{align}$

Важливий факт, що опущена змінна є лише функцією . Здається, якби ми могли контролювати дійсно добре, цього було б достатньо, щоб очистити зміщення від регресії, навіть якщо може бути співвіднесено з . $z$ $z$ $x$ $u$

Припустимо, ми оцінили рівняння нижче, використовуючи або непараметричний метод для оцінки функції або використовуючи правильну функціональну форму . Якби ми використовували правильну функціональну форму, ми б оцінили її за нелінійними найменшими квадратами (пояснюючи критичний коментар про NLS): Це дасть нам послідовний оцінювач для оскільки більше немає проблеми, що опускається. $f()$ $f(z)=z\gamma+E(u|z)$

\begin{aligned} y = x β + f (z) + v \end{aligned}

$\begin{align} y = x\beta + f(z) + v \end{align}$

β

$\beta$

Крім того, якби у нас було достатньо даних, ми могли б пройти `` весь шлях '' в контролі для . Ми можемо подивитися на підмножину даних, де , і просто запустити регресію: Це дало б неупереджені, послідовні оцінювачі для за винятком перехоплення, звичайно, яке було б забруднене . Очевидно, ви також можете отримати (інший) послідовний, неупереджений оцінювач, виконавши цю регресію лише в точках даних, для яких . І ще один для точок, де . І т. Д. Тоді у вас буде маса хороших оцінювачів, з яких ви могли б зробити чудового оцінювача, скажімо, якось усереднюючи їх усе разом. $z$ $z=1$

\begin{aligned} y = x β + v \end{aligned}

$\begin{align} y = x\beta + v \end{align}$

β

$\beta$

f (1)

$f(1)$

z = 2

$z=2$

z = 3

$z=3$

Ця остання думка є натхненням для відповідних оцінювачів. Оскільки у нас зазвичай не вистачає даних, щоб буквально запустити регресію лише для або навіть для пар точок, де тотожно, ми замість цього запустимо регресію для точок, де достатньо близько до тотожності. $z=1$ $z$ $z$

— Білл
джерело

Ви не можете довести цей результат, оскільки він не відповідає дійсності в загальній заяві. Почніть з моделі у вашому еквіваленті. $(4)$

Y = X β + Z δ + (E (U | Z) + V)

$Y=X\beta+Z\delta+\Big(E(U|Z)+V\Big)$

де великі дужки позначають фактичний термін помилки (поки немає припущень щодо умовного очікування). Визначте матрицю залишкового виробника чи , яка симетрична, , і ми також маємо . $M_Z = I - Z(Z'Z)^{-1}Z'$ $M_ZZ = \mathbf 0$

За результатами «розділеної регресії» ми маємо це

{\hat{β}}_{O L S} - β = (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} Z δ + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z) + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} V

$\hat \beta_{OLS} - \beta = (X'M_ZX)^{-1}X'M_ZZ\delta + (X'M_ZX)^{-1}X'M_ZE(U\mid Z) + (X'M_ZX)^{-1}X'M_ZV$

Перший термін праворуч вже дорівнює нулю. Приймаючи очікувану величину протягом усього, а потім застосовуючи властивість вежі для умовного очікування, третій додаток також буде нульовим (використовуючи умовну середню незалежність у його слабшій формі). Але це настільки, що це слабке припущення бере нас, тому що ми залишимося

E ({\hat{β}}_{O L S}) - β = E [(X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z)]

$E\Big(\hat \beta_{OLS} \Big)- \beta = E\Big[(X'M_ZX)^{-1}X'M_ZE(U\mid Z) \Big]$

Для неупередженості ми хочемо, щоб права сторона була нульовою. Це буде справедливо, якщо є лінійною функцією (як ви знайшли також), оскільки ми знову отримаємо нульовий . Але в іншому випадку абсолютно довільно прямо вважати, що все очікуване значення дорівнює нулю. Ми не повинні приймати спільну нормотивність, але ми маємо припускати лінійність цього умовного очікування (інші властивості також мають цю властивість). Отже, необхідне припущення про неупередженість є $E(U\mid Z)$ $Z$ $M_ZZ$
$\beta$

E (U ∣ X, Z) = E (U ∣ Z) = Z γ

$E(U\mid X, Z)=E(U\mid Z)=Z\gamma$

і я не можу сказати, чи вона насправді "слабша" чи ні, порівняно із суворою екзогенністю всіх регресорів (оскільки сувора екзогенність заявляється з точки зору середньої незалежності для всіх припущень розподілу, тоді як тут ми повинні обмежувати класи розподілів, що та слідувати). $U$ $Z$

Не важко показати, що за цим припущенням також буде узгодженим. $\hat \beta_{OLS}$

— Алекос Пападопулос
джерело

Гарна відповідь! Я читав це давно і думав, що подумаю про це пізніше. У мене є кілька запитань: як можна довести результати розподілу регресії? Я хотів би оцінити хоча б посилання. Крім того, яка різниця між та ?

M_{Z}

$M_Z$

M_{z}

$M_z$

— Ілля

@Monir і просто помилка друку . Для розділених результатів регресії (які є дуже старими та стандартними) див., Наприклад, підручник «Економетрика» Гріна, в главі, де він обговорює алгебраїчний аспект звичайних оцінок найменших квадратів. Він включає доказ.

Z

$Z$

z

$z$

— Алекос Пападопулос