Яким чином “модель випадкових ефектів” в економетриці стосується змішаних моделей поза економетрикою?

Раніше я думав, що "модель випадкових ефектів" в економетриці відповідає "змішаній моделі з випадковим перехопленням" поза економетрикою, але зараз я не впевнений. Робить це?

Економетрія використовує такі терміни, як "фіксовані ефекти" та "випадкові ефекти" дещо відрізняються від літератури про змішані моделі, і це викликає сумнівну плутанину. Розглянемо просту ситуацію, коли лінійно залежить від але з різним перехопленням у різних групах вимірювань:$y$$x$

$$y_{it} = \beta x_{it} + u_i + \epsilon_{it}.$$

Тут кожна одиниця / група спостерігається в різні моменти часу . Економетрики називають це "панельними даними".$i$$t$

• У термінології змішаних моделей ми можемо трактувати як фіксований ефект або як випадковий ефект (у цьому випадку це випадковий перехоплення). Трактувати його як фіксований означає пристосування та щоб мінімізувати помилки у квадраті (тобто, виконувати регресію OLS з змінними фіктивних груп). Розглядаючи це як випадковий спосіб, ми додатково припускаємо, що і використовуємо максимальну ймовірність, щоб підходити та замість того, щоб підходити кожному самостійно. Це призводить до ефекту "часткового об'єднання", коли оцінки зменшуються до середнього значення .$u_i$U я U я ~ N ( U 0 , σ 2 U ) U 0 σ 2 U U я U я U$\hat \beta$$\hat u_i$$u_i\sim\mathcal N(u_0,\sigma^2_u)$$u_0$$\sigma^2_u$$u_i$$\hat u_i$$\hat u_0$

  R formula when treating group as fixed:    y ~ x + group
  R formula when treating group as random:   y ~ x + (1|group)
  

• У термінології економетрики ми можемо розглядати всю цю модель як модель фіксованих ефектів або як модель випадкових ефектів. Перший варіант еквівалентний вище фіксованому ефекту (але економетрика має власний спосіб оцінки в цьому випадку ). Раніше я думав, що другий варіант еквівалентний випадковому впливу вище; наприклад, @JiebiaoWang у своїй високоавторизованій відповіді на те, яка різниця між випадковими ефектами, фіксованими ефектами та граничною моделлю? каже, що $\beta$"within" estimator

  В економетриці модель випадкових ефектів може стосуватися лише випадкової моделі перехоплення, як у біостатистиці

Гаразд --- перевіримо, чи правильно це розуміння. Ось деякі випадкові дані, створені @ChristophHanck у своїй відповіді на те, яка різниця між моделями фіксованого ефекту, випадкового ефекту та змішаного ефекту? (Я розміщую тут дані на пастібіні для тих, хто не використовує R):

@Christoph робить два підходи, використовуючи економетричні підходи:

fe <- plm(stackY~stackX, data = paneldata, model = "within")
re <- plm(stackY~stackX, data = paneldata, model = "random")

Перший дає оцінку бета-рівності -1.0451, другий 0.77031(так, позитивно!). Я намагався відтворити його lmі lmer:

l1 = lm(stackY ~ stackX + as.factor(unit), data = paneldata)
l2 = lmer(stackY ~ stackX + (1|as.factor(unit)), data = paneldata)

Перший дає -1.045ідеальну згоду з оцінкою вище. Класно. Але другий вихід -1.026, який за милі від оцінювача випадкових ефектів. Ага? Що відбувається? Насправді, що plmнавіть робить , коли дзвонить model = "random"?

Що б це не робило, чи можна якось зрозуміти це через перспективу змішаних моделей?

І яка інтуїція стоїть за тим, що вона робить? Я прочитав у кількох економетричних місцях, що оцінка випадкових ефектів - це середньозважене середнє значення між оцінкою фіксованих ефектів і тим, "between" estimatorщо є більш-менш нахилом регресії, якщо ми взагалі не включаємо групову ідентичність в модель (ця оцінка сильно позитивна в цьому випадок, навколо 4.) Наприклад, @Andy пише тут :

Оцінювач випадкових ефектів потім використовує матричне середньозважене середнє значення між і між варіаціями ваших даних. [...] Це робить випадкові ефекти більш ефективними [.]

Чому? Чому ми б хотіли цього середньозваженого? І зокрема, чому б ми хотіли цього замість запуску змішаної моделі?

Короткий зміст: "модель випадкових ефектів" в економетриці та "змішана модель з випадковим перехопленням" - це дійсно ті самі моделі, але вони оцінюються по-різному. Економетричний спосіб - це використання FGLS, а змішаний модельний спосіб - використання ML. Існують різні алгоритми роботи FGLS, і деякі з них (на цьому наборі даних) дають результати, дуже близькі до ML.

---

1. Відмінності методів оцінки в plm

Я відповім своїм тестуванням на plm(..., model = "random")та lmer(), використовуючи дані, створені @ChristophHanck.

Відповідно до посібника з пакету PLM , існує чотири варіанти random.method: метод оцінки компонентів дисперсії в моделі випадкових ефектів. @amoeba використовував типовий swar(Swamy and Arora, 1972).

Для моделей випадкових ефектів доступні чотири оцінки параметру перетворення, встановивши random.method на один із "swar" (Swamy і Arora (1972)) (за замовчуванням), "amemiya" (Amemiya (1971)), "walhus" ( Уоллес і Хуссейн (1969)), або "нерв" (Nerlove (1971)).

Я перевірив усі чотири варіанти, використовуючи однакові дані, отримавши помилкуamemiya та три абсолютно різні оцінки коефіцієнта для змінної stackX. Коефіцієнти використання random.method='nerlove'"amemiya" майже еквівалентні показникам lmer()-1,029 та -1,025 проти -1,026. Вони також не сильно відрізняються від отриманих у моделі "фіксованих ефектів" -1,045.

# "amemiya" only works using the most recent version:
# install.packages("plm", repos="http://R-Forge.R-project.org")

re0 <- plm(stackY~stackX, data = paneldata, model = "random") #random.method='swar'
re1 <- plm(stackY~stackX, data = paneldata, model = "random",  random.method='amemiya')
re2 <- plm(stackY~stackX, data = paneldata, model = "random",  random.method='walhus')
re3 <- plm(stackY~stackX, data = paneldata, model = "random",  random.method='nerlove')
l2  <- lmer(stackY~stackX+(1|as.factor(unit)), data = paneldata)

coef(re0)     #    (Intercept)   stackX    18.3458553   0.7703073 
coef(re1)     #    (Intercept)   stackX    30.217721   -1.025186 
coef(re2)     #    (Intercept)   stackX    -1.15584     3.71973 
coef(re3)     #    (Intercept)   stackX    30.243678   -1.029111 
fixef(l2)     #    (Intercept)   stackX    30.226295   -1.026482 

На жаль, зараз у мене немає часу, але зацікавлені читачі можуть знайти чотири посилання, щоб перевірити їх оціночні процедури. Було б дуже корисно розібратися, чому вони так змінюються. Я очікую, що в деяких випадках plmпроцедура оцінки з використанням lm()перетворених даних повинна бути еквівалентною максимальній ймовірності, використовуваній в lmer().

2. Порівняння GLS та ML

Автори plmпакету порівняли їх у розділі 7 своєї статті: Ів Круассан та Джованні Мілло, 2008 р., Панель економетрики даних R: Пакет PLM .

Економетрика має справу переважно з експериментальними даними. Великий акцент приділяється процедурам специфікації та тестуванню помилок. Типові характеристики моделі, як правило, дуже прості, тоді як велика увага приділяється питанням ендогенності регресорів, структур залежності від помилок та стійкості оцінювачів при відхиленнях від нормальності. Кращий підхід часто є напівпараметричним або непараметричним, а методи, що відповідають гетерокедастичності, стають стандартною практикою як для оцінки, так і для тестування.

З усіх цих причин оцінка [...] панельної моделі в економетриці здебільшого виконується в узагальнених рамках найменших квадратів, заснованих на теоремі Ейткена [...]. Навпаки, моделі поздовжніх даних у nlmeта lme4оцінюються за (обмеженою чи необмеженою) максимальною вірогідністю. [...]

Економетричний підхід GLS має аналітичні рішення закритої форми, які можна обчислити за допомогою стандартної лінійної алгебри, і хоча останні іноді можуть бути обчислювально важкими на машині, вирази для оцінювачів зазвичай досить прості. Оцінка ML поздовжніх моделей, навпаки, ґрунтується на чисельній оптимізації нелінійних функцій без розв’язків закритої форми і, таким чином, залежить від наближень та критеріїв конвергенції.

---

3. Оновлення на змішаних моделях

Я вдячний, що @ChristophHanck представив ґрунтовне вступ про чотири random.methodвикористовуваних plmта пояснив, чому їхні оцінки настільки різні. Як вимагає @amoeba, я додам деякі думки щодо змішаних моделей (на основі ймовірності) та її зв’язку з GLS.

Метод, заснований на ймовірності, зазвичай передбачає розподіл як для випадкового ефекту, так і для помилки. Зазвичай звичайне припущення про розподіл, але є також деякі дослідження, що припускають не нормальний розподіл. Я буду дотримуватися позначень @ ChristophHanck для випадкової моделі перехоплення, і дозволю незбалансовані дані, тобто нехай .$T=n_i$

Модель є з .

$$\begin{equation} y_{it}= \boldsymbol x_{it}^{'}\boldsymbol\beta + \eta_i + \epsilon_{it}\qquad i=1,\ldots,m,\quad t=1,\ldots,n_i \end{equation}$$ $\eta_i \sim N(0,\sigma^2_\eta), \epsilon_{it} \sim N(0,\sigma^2_\epsilon)$

Для кожного , Отже, функція вірогідності журналу -$i$

$$\boldsymbol y_i \sim N(\boldsymbol X_{i}\boldsymbol\beta, \boldsymbol\Sigma_i), \qquad\boldsymbol\Sigma_i = \sigma^2_\eta \boldsymbol 1_{n_i} \boldsymbol 1_{n_i}^{'} + \sigma^2_\epsilon \boldsymbol I_{n_i}.$$ $$const -\frac{1}{2} \sum_i\mathrm{log}|\boldsymbol\Sigma_i| - \frac{1}{2} \sum_i(\boldsymbol y_i - \boldsymbol X_{i}\boldsymbol\beta)^{'}\boldsymbol\Sigma_i^{-1}(\boldsymbol y_i - \boldsymbol X_{i}\boldsymbol\beta).$$

Коли всі варіації відомі, як показано у Laird and Ware (1982), MLE є що еквівалентно GLS походить від @ChristophHanck. Отже, ключова відмінність полягає в оцінці відхилень. Зважаючи на те, що рішення закритої форми не існує, існує кілька підходів:

$$\hat{\boldsymbol\beta} = \left(\sum_i\boldsymbol X_i^{'} \boldsymbol\Sigma_i^{-1} \boldsymbol X_i \right)^{-1} \left(\sum_i \boldsymbol X_i^{'} \boldsymbol\Sigma_i^{-1} \boldsymbol y_i \right),$$ $\hat\beta_{RE}$

• безпосередньо максимізація функції вірогідності журналу за допомогою алгоритмів оптимізації;
• Алгоритм очікування-максимізації (ЕМ): рішення закритої форми існують, але оцінювач передбачає емпіричні байєсовські оцінки випадкового перехоплення;$\boldsymbol \beta$
• комбінація вищезгаданих двох алгоритмів «Очікування / умовна максимізація» (ECME) (Schafer, 1998; R lmm). З різною параметризацією існують рішення закритої форми для (як вище) та . Рішення для можна записати як де визначається як і може бути оцінено в рамках EM.$\boldsymbol \beta$$\sigma^2_\epsilon$$\sigma^2_\epsilon$ $$\sigma^2_\epsilon = \frac{1}{\sum_i n_i}\sum_i(\boldsymbol y_i - \boldsymbol X_{i} \hat{\boldsymbol\beta})^{'}(\hat\xi \boldsymbol 1_{n_i} \boldsymbol 1_{n_i}^{'} + \boldsymbol I_{n_i})^{-1}(\boldsymbol y_i - \boldsymbol X_{i} \hat{\boldsymbol\beta}),$$ $\xi$$\sigma^2_\eta/\sigma^2_\epsilon$

Підсумовуючи, MLE має припущення щодо розповсюдження, і воно оцінюється за ітераційним алгоритмом. Ключова різниця між MLE та GLS полягає в оцінці відхилень.

Круассан та Мілло (2008) зазначили це

Хоча за нормальності, гомоскедастичність та відсутність послідовного співвідношення помилок OLS також є оцінкою максимальної ймовірності, у всіх інших випадках є важливі відмінності.

На мою думку, для припущення щодо розподілу, як і різниця між параметричним та непараметричним підходами, MLE був би більш ефективним, коли припущення виконується, тоді як GLS був би більш надійним.

Ця відповідь не коментує змішані моделі, але я можу пояснити, що робить оцінювач випадкових ефектів і чому він накручується на цьому графіку.

Підсумок: Оцінювач випадкових ефектів передбачає , що не відповідає дійсності в цьому прикладі.$E[u_i \mid x ] = 0$

---

Що робить показник випадкових ефектів?

Припустимо, у нас є модель:

$$y_{it} = \beta x_{it} + u_i + \epsilon_{it}$$

У нас є два виміри варіації: групи та час . Щоб оцінити ми могли б:$i$$t$$\beta$

1. Використовуйте лише варіації часових рядів у межах групи. Це те, що робить оцінювач з фіксованим ефектом (і тому його також часто називають всередині оцінювача.)

2. Якщо є випадковим, ми можемо використовувати лише зміни перерізу між засобами груп часових рядів. Це відомо між оцінкою.$u_i$

   Зокрема, для кожної групи візьміть середнє значення за вищенаведеною моделлю даних панелі, щоб отримати:$i$

   $$\bar{y}_{i} = \beta \bar{x}_{i} + v_i \quad \quad \text{ where } v_i = u_i + \bar{\epsilon}_i$$

   Якщо ми запустимо цю регресію, отримаємо між оцінкою. Зауважте, що це послідовний оцінювач, якщо ефекти - випадковий білий шум, некоррельований з ! Якщо це так, то повністю перекидання варіацій між групами (як це робимо з оцінкою фіксованих ефектів) є неефективним.$u_i$$x$

Оцінювач випадкових ефектів економетрики поєднує (1) в межах оцінника (тобто оцінка фіксованих ефектів) і (2) між оцінкою, щоб максимально підвищити ефективність. Це застосування узагальнених найменших квадратів, і основна ідея полягає у зворотному дисперсійному зважуванні . Щоб досягти максимальної ефективності, оцінювач випадкових ефектів обчислює як середньозважене середнє значення в межах оцінки та між оцінкою.$\hat \beta$

Що відбувається в цьому графіку ...

Тільки оглянувши цей графік, ви чітко бачите, що відбувається:

• У межах кожної групи (тобто крапок одного кольору) вищий асоціюється з нижчим$i$$x_{it}$$y_{it}$
• Група з більш високою має вищу .$i$$\bar{x}_i$$u_i$

Припущення про випадкові ефекти, що , явно не виконується. Групові ефекти не є ортогональними до (у статистичному розумінні), скоріше, групові ефекти мають чіткий позитивний зв'язок із .$E[u_i \mid x ] = 0$$u_i$$x$$x$

Між оцінником передбачається . Між оцінником сказано: "впевнений, що я можу нав'язати , зробивши позитивними!"$E[u_i \mid x ] = 0$$E[u_i \mid x ] = 0$$\hat \beta$

Тоді, в свою чергу, оцінювач випадкових ефектів вимкнено, оскільки це середньозважене значення в межах оцінки та між оцінкою.

У цій відповіді я хотів би трохи детальніше розповісти відповідь Метью +1 щодо точки зору GLS щодо того, що література економетрики називає оцінкою випадкових ефектів.

Перспектива GLS

Розглянемо лінійну модель Якби було встановлено, що ми можемо просто оцінити модель за допомогою об'єднаного OLS , що означає ігнорування структури даних панелі та просто згуртувати всі спостереження разом .

$$\begin{equation} y_{it}=\alpha + X_{it}\beta+u_{it}\qquad i=1,\ldots,m,\quad t=1,\ldots,T \end{equation}$$ $E(u_{it}\vert X_{it})=0$$n=mT$

Ми використовуючи модель компонента помилки$u_{it}$

$$\begin{equation} u_{it}=\eta_i+\epsilon_{it} \end{equation}$$

У матричному поданні модель може бути записана в вигляді , де і є вектор з типовим елементи і , а - матриця (один стовпець на одиницю) матричних фіктивних змінних. такий, що якщо рядок відповідає спостереженню, що належить до одиниці , то має один у стовпці та 0 else, .

$$\begin{equation} y=\alpha \iota_{mT}+X\beta+D\eta+\epsilon \end{equation}$$ $y$$\epsilon$$n$$y_{it}$$\epsilon_{it}$$D$$n \times m$$D$$i$$D$$i$$i=1,\ldots,m$

Крім того, ми припускаємо, що

$$E(\epsilon\epsilon^\prime)=\sigma_\epsilon^2I$$

Індивідуально-специфічні ефекти повинні бути незалежними від . Оцінювач випадкових ефектів, на відміну від фіксованих ефектів (знову ж, термінологія економетрики), однак додатково вимагає більш сильного припущення, що У цьому припущенні об'єднано OLS був би неупереджений, але ми можемо отримати оцінку GLS. Припустимо, що - IID із середнім нулем та дисперсією .$\eta$$\epsilon_{it}$

$$\begin{equation} E(\eta_i\vert X)=0 \end{equation}$$ $\eta_i$$\sigma^2_\eta$

Це припущення пояснює термін випадкові ефекти . Якщо припустити, що дві компоненти помилок є незалежними, легко помітити, що ім'я

$$\begin{align*} \operatorname{Var}(u_{it})&=\sigma^2_\eta+\sigma^2_\epsilon\\ \operatorname{Cov}(u_{it},u_{is})&=\sigma^2_\eta\\ \operatorname{Cov}(u_{it},u_{js})&=0\qquad\text{for all } i\neq j \end{align*}$$

Потім ми отримуємо наступну варіаційно-коваріаційну матрицю : Тут з -векторних одиниць. Отже, ми можемо записати для оцінки GLS нам потрібна . Для цього нехай ,$n\times n$$\Omega$

$$\Omega= \begin{pmatrix} \Sigma&O&\cdots&O\\ O&\Sigma&\cdots&O\\ \vdots&\vdots&&\vdots\\ O&O&\cdots&\Sigma \end{pmatrix}$$ $$\Sigma=\sigma^2_\eta \iota\iota^\prime+\sigma^2_\epsilon I_T$$ $\iota$$T$ $$\Omega=\sigma^2_\eta (I_m\otimes\iota\iota^\prime)+\sigma^2_\epsilon (I_m\otimes I_T)$$ $$\hat\beta_{RE}=(X'\Omega^{-1}X)^{-1}X'\Omega^{-1}y$$ $\Omega^{-1}$$J_T=\iota\iota^\prime$$\bar J_T=J_T/T$$E_T=I_T-\bar J_T$ . Тоді напишіть або , збираючи терміни з тими ж матрицями, of і дозволяє нам показати, що де . $$\Omega=T\sigma^2_\eta (I_m\otimes\bar J_T)+\sigma^2_\epsilon (I_m\otimes E_T)+\sigma^2_\epsilon (I_m\otimes \bar J_T)$$ $$\Omega=(T\sigma^2_\eta+\sigma^2_\epsilon) (I_m\otimes\bar J_T)+\sigma^2_\epsilon (I_m\otimes E_T)$$ $P=I_m\otimes\bar J_T$$Q=I_m\otimes E_T$ $$\Omega^{-1}=\frac{1}{\sigma^2_1}P+\frac{1}{\sigma^2_\epsilon}Q= -\frac{\sigma^2_\eta}{\sigma^2_1\sigma^2_\epsilon}(I_m\otimes\iota\iota^\prime) + \frac{1}{\sigma^2_\epsilon}(I_m\otimes I_T),$$ $\sigma^2_1=T\sigma^2_\eta+\sigma^2_\epsilon$

Тоді логіка Гаусса-Маркова пояснює, чому оцінювач випадкових ефектів може бути корисним, оскільки це більш ефективний оцінювач, ніж об'єднаний OLS або фіксований ефект за даними припущеннями (за умови, що дуже багато, якщо у багатьох програмах даних панелей, що дійсно не співвідносяться з регресорами). Коротше кажучи, GLS є більш ефективним, оскільки матриця коваріації помилок не є гомоскедастичною у цій моделі.$\eta_i$

Можна показати, що оцінку GLS можна отримати, запустивши OLS на частково знищені дані: де . Для виходить оцінювач фіксованого ефекту ("всередині"). Для один отримує оцінювач "між". Оцінювач GLS - це середньозважена середня величина між ними. (Для отримує об'єднаний оцінювач OLS.)

$$(y_{it}-\theta \bar y_{i\cdot}) = (X_{it} - \theta \bar X_{i\cdot})\beta + (u_{it} - \theta u_{i\cdot}),$$ $\theta = 1-\sigma_\eta/\sigma_1$$\theta=1$$\theta\to -\infty$$\theta=0$

Можливі GLS

Щоб зробити підхід FGLS практичним, нам потрібні оцінки та . Балтагі, Економетричний аналіз даних панелей, с. 16 (цитуючи з 3-го видання), обговорюються наступні варіанти того, як діяти далі.$\sigma^2_1$$\sigma^2_\epsilon$

Припустимо, спочатку ми спостерігаємо . Тоді,$u_{it}$

$$\hat\sigma^2_1=T\frac{1}{m}\sum_{i=1}^m\bar{u}_{i\cdot}^2$$ та були б хорошими оцінками їх параметрів, з середнім часом, що відповідає одержимості одиниці . $$\hat\sigma^2_\epsilon=\frac{1}{m(T-1)}\sum_{i=1}^m\sum_{t=1}^T\left(u_{it}-\frac{1}{m}\sum_{i=1}^m\bar{u}_{i\cdot}\right)^2$$ $\bar{u}_{i\cdot}$$i$

Підхід Уолласа та Хуссейна (1969) полягає у заміні залишками об'єднаної регресії OLS (яка, зрештою, дотепер є неупередженою та послідовною за сучасними припущеннями).$u$

Підхід Amemiya (1971) пропонує замість цього використовувати залишки FE (або LSDV). Як обчислювальна справа, ми накладаємо обмеження, щоб обходити фіктивних змінних, щоб мати можливість отримати з позначає великі середні значення над і для залишків LSDV .$\sum_i\eta_i=0$$\hat\alpha=\bar y_{\cdot\cdot}-\bar X_{\cdot\cdot}'\hat\beta_{FE}$$\cdot\cdot$$i$$t$$\hat u=y-\hat\alpha-X\hat\beta_{FE}$

За замовчуванням Swamy і Arora (1972) підхід оцінює і Тут, .

$$\hat\sigma^2_\epsilon=[y'Q(I-X(X'QX)^{-1}X'Q)y]/[m(T-1)-K]$$ $$\hat\sigma^2_1=[y'P(I-Z(Z'PX)^{-1}Z'P)y]/[m-K-1]$$ $Z=(\iota_{mT}\quad X)$

Підхід Nerlove (1971) оцінює з де - манекени з регресією фіксованих ефектів, і оцінюється із залишкових сум квадратів цієї регресії, з в знаменнику.$\sigma_\eta^2$$\sum_{i=1}^m(\hat\eta_i-\bar{\hat\eta})^2/(m-1)$$\hat\eta_i$$\hat\sigma^2_\epsilon$$mT$

Я також дуже здивований, що вони мають таку велику різницю, як показали розрахунки Ренделя!

Редагувати:

Щодо відмінностей, оцінки компонентів помилок можуть бути отримані в plmпакеті і дійсно повернути значно різні результати, пояснюючи різницю в оцінках балів для (відповідно до відповіді @ Рендела, видає помилку, яку я не намагався виправити):$\beta$amemiya

> ercomp(stackY~stackX, data = paneldata, method = "walhus")
                  var std.dev share
idiosyncratic 21.0726  4.5905 0.981
individual     0.4071  0.6380 0.019
theta:  0.06933  
> ercomp(stackY~stackX, data = paneldata, method = "swar")
                 var std.dev share
idiosyncratic 0.6437  0.8023 0.229
individual    2.1732  1.4742 0.771
theta:  0.811  
> ercomp(stackY~stackX, data = paneldata, method = "nerlove")
                   var  std.dev share
idiosyncratic   0.5565   0.7460 0.002
individual    342.2514  18.5000 0.998
theta:  0.9857  

Я підозрюю, що оцінки моїх компонентів помилок також не узгоджуються в моєму прикладі в сестринській нитці, де я прагну продемонструвати відмінності між FE та RE, використовуючи дані, де окремі ефекти та співвідносяться. (Насправді, вони не можуть бути, оскільки вони в кінцевому рахунку відволікають оцінку RE від оцінки FE відповідно до того, що RE є середньозваженим середнім значенням FE та між оцінкою з вагами, визначеними оцінками компонента помилки. Отже, якщо RE не є послідовне, що в кінцевому рахунку повинно бути пов'язано з цими оцінками.)$X$

Якщо ви заміните функцію "ображаючого" цього прикладу,

alpha = runif(n,seq(0,step*n,by=step),seq(step,step*n+step,by=step))

просто, скажімо,

alpha = runif(n)

тож випадкові ефекти, які не співвідносяться з , ви отримуєте оцінки точки RE для дуже близькі до справжнього значення для всіх варіантів оцінки компонентів помилки.$X$$\beta$$\beta=-1$

---

Список літератури

Амемія, Т., 1971, Оцінка дисперсій у моделі дисперсійних компонентів , Міжнародний економічний огляд 12, 1–13.

Балтаги, Б.Х., Економетричний аналіз даних панелей, Вілі.

Nerlove, M., 1971a, Далі свідчать про оцінку динамічних економічних відносин із часового ряду перерізів , Економетрика 39, 359–382.

Swamy, PAVB та SS Arora, 1972, Точні кінцеві властивості вибірки оцінювачів коефіцієнтів у моделях регресії компонентів помилок , Економетрика 40, 261–275.

Wallace, TD та A. Hussain, 1969, Використання моделей компонентів помилок при поєднанні даних перерізу та часових рядів , Econometrica 37, 55–72.

Я не дуже добре знайомий з R, щоб коментувати ваш код, але проста змішана модель з випадковим перехопленням повинна бути ідентичною оцінщику RE MLE і дуже близькою до оцінника RE GLS, за винятком випадків, коли загальна мала і дані незбалансовані. Сподіваємось, це стане в нагоді для діагностики проблеми. Звичайно, це все припускаючи, що оцінювач RE є відповідним.$N = \sum_i T_i$

Ось кілька статистичних даних, що показують еквівалентність (вимагає esttabі eststoвід SSC):

set more off
estimates clear
webuse nlswork, clear
eststo, title(mixed): mixed ln_w grade age c.age#c.age ttl_exp tenure c.tenure#c.tenure || id: // Mixed estimator
eststo, title(MLE): xtreg ln_w grade age c.age#c.age ttl_exp tenure c.tenure#c.tenure, i(id) mle // MLE RE estimator 
eststo, title(GLS): xtreg ln_w grade age c.age#c.age ttl_exp tenure c.tenure#c.tenure, i(id) re // GLS RE estimato
esttab *, b(a5) se(a5) mtitle 

Ось результат останнього рядка:

. esttab *, b(a5) se(a5) mtitle 

------------------------------------------------------------
                      (1)             (2)             (3)   
                    mixed             MLE             GLS   
------------------------------------------------------------
main                                                        
grade            0.070790***     0.070790***     0.070760***
              (0.0017957)     (0.0017957)     (0.0018336)   

age              0.031844***     0.031844***     0.031906***
              (0.0027201)     (0.0027202)     (0.0027146)   

c.age#c.age   -0.00065130***  -0.00065130***  -0.00065295***
             (0.000044965)    (0.000044971)    (0.000044880)   

ttl_exp          0.035228***     0.035228***     0.035334***
              (0.0011382)     (0.0011392)     (0.0011446)   

tenure           0.037134***     0.037134***     0.037019***
              (0.0015715)     (0.0015723)     (0.0015681)   

c.tenure#c~e   -0.0018382***   -0.0018382***   -0.0018387***
             (0.00010128)    (0.00010128)    (0.00010108)   

_cons             0.14721***      0.14721***      0.14691** 
               (0.044725)      (0.044725)      (0.044928)   
------------------------------------------------------------
lns1_1_1                                                    
_cons            -1.31847***                                
               (0.013546)                                   
------------------------------------------------------------
lnsig_e                                                     
_cons            -1.23024***                                
              (0.0046256)                                   
------------------------------------------------------------
sigma_u                                                     
_cons                             0.26754***                
                              (0.0036240)                   
------------------------------------------------------------
sigma_e                                                     
_cons                             0.29222***                
                              (0.0013517)                   
------------------------------------------------------------
N                   28099           28099           28099   
------------------------------------------------------------
Standard errors in parentheses
* p<0.05, ** p<0.01, *** p<0.001

У ваших даних припущення щодо використання оцінювача RE не задовольняються, оскільки ефект групи чітко корелює з x, тому ви отримуєте дуже різні оцінки. Оцінювач GLS RE фактично є узагальненим методом оцінки моментів (GMM), який є середньозваженим матрицею серед оцінювачів між і всередині них. Оцінювач усередині буде добре, але між ними буде глибоко загвинчено, показуючи великі позитивні ефекти X. Тож GLS буде здебільшого між оцінкою. MLE RE - це MLE, що збільшує ймовірність моделі випадкових ефектів. Від них більше не очікується однакової відповіді. Тут змішаний оцінювач дає щось дуже близьке до Оцінювача FE "У межах":

. esttab *, b(a5) se(a5) mtitle 

----------------------------------------------------------------------------
                      (1)             (2)             (3)             (4)   
                    mixed             GLS             MLE          Within   
----------------------------------------------------------------------------
main                                                                        
x                -1.02502***      0.77031**       3.37983***     -1.04507***
               (0.092425)       (0.26346)       (0.20635)      (0.093136)   

_cons             30.2166***      18.3459***      0.49507         30.3492***
                (5.12978)       (2.31566)             (.)       (0.62124)   
----------------------------------------------------------------------------
lns1_1_1                                                                    
_cons             2.87024***                                                
                (0.20498)                                                   
----------------------------------------------------------------------------
lnsig_e                                                                     
_cons            -0.22598**                                                 
               (0.077195)                                                   
----------------------------------------------------------------------------
sigma_u                                                                     
_cons                                             2.40363                   
                                                (1.28929)                   
----------------------------------------------------------------------------
sigma_e                                                                     
_cons                                             4.23472***                
                                                (0.37819)                   
----------------------------------------------------------------------------
N                      96              96              96              96   
----------------------------------------------------------------------------
Standard errors in parentheses
* p<0.05, ** p<0.01, *** p<0.001

Ось код Stata для наведеної вище таблиці:

clear
set more off
estimates clear

input int(obs id t) double(y x)
1      1           1  2.669271  0.5866982
2      1           2  1.475540  1.3500454
3      1           3  4.430008  0.6830919
4      1           4  2.162789  0.5845966
5      1           5  2.678108  1.0038879
6      1           6  3.456636  0.5863289
7      1           7  1.769204  2.3375403
8      1           8  3.413790  0.9640034
9      2           1  4.017493  1.5084121
10     2           2  4.218733  2.8982499
11     2           3  4.509530  3.2141335
12     2           4  6.106228  2.0317799
13     2           5  5.161379  2.1231733
14     2           6  2.724643  4.3369017
15     2           7  4.500306  1.9141065
16     2           8  4.119322  2.8667938
17     3           1  9.987779  2.3961969
18     3           2  7.768579  3.5509275
19     3           3  9.379788  3.3284869
20     3           4 10.035937  2.2997389
21     3           5 11.752360  2.8143474
22     3           6  9.500264  2.1825704
23     3           7  8.921687  5.0126462
24     3           8  8.269932  3.4046339
25     4           1 12.101253  3.2928033
26     4           2 11.482337  3.1645218
27     4           3 10.648010  4.8073987
28     4           4  9.687320  5.3394193
29     4           5 12.796925  3.1197431
30     4           6  9.971434  4.6512983
31     4           7 10.239717  4.7709378
32     4           8 12.245207  2.7952426
33     5           1 18.473320  5.8421967
34     5           2 19.097212  4.9425391
35     5           3 19.460495  4.9166172
36     5           4 18.642305  4.9856035
37     5           5 17.723912  5.0594425
38     5           6 16.783248  4.8615618
39     5           7 16.100984  6.2069167
40     5           8 18.851351  3.8856152
41     6           1 19.683171  7.5568816
42     6           2 21.104231  6.7441900
43     6           3 22.115529  6.4486514
44     6           4 22.061362  5.3727434
45     6           5 22.457905  5.8665798
46     6           6 21.424413  6.0578997
47     6           7 23.475946  4.4024323
48     6           8 24.884950  4.1596914
49     7           1 25.809011  7.6756255
50     7           2 25.432828  7.7910756
51     7           3 26.790387  7.3858301
52     7           4 24.640850  8.2090606
53     7           5 26.050086  7.3779219
54     7           6 25.297148  6.8098617
55     7           7 26.551229  7.6694272
56     7           8 26.669760  6.4425772
57     8           1 26.409669  8.3040894
58     8           2 26.570003  8.4686087
59     8           3 29.018818  7.2476785
60     8           4 30.342613  4.5207729
61     8           5 26.819959  8.7935557
62     8           6 27.147711  8.3141224
63     8           7 26.168568  9.0148308
64     8           8 27.653552  8.2081808
65     9           1 34.120485  7.8415520
66     9           2 31.286463  9.7234259
67     9           3 35.763403  6.9202442
68     9           4 31.974599  9.0078286
69     9           5 32.273719  9.4954288
70     9           6 29.666208 10.2525763
71     9           7 30.949857  9.4751679
72     9           8 33.485967  8.1824810
73    10           1 36.183128 10.7891587
74    10           2 37.706116  9.7119548
75    10           3 38.582725  8.6388290
76    10           4 35.876781 10.8259279
77    10           5 37.111179  9.9805046
78    10           6 40.313149  7.7487456
79    10           7 38.606329 10.2891107
80    10           8 37.041938 10.3568765
81    11           1 42.617586 12.1619185
82    11           2 41.787495 11.1420338
83    11           3 43.944968 11.1898730
84    11           4 43.446467 10.8099599
85    11           5 43.420819 11.2696770
86    11           6 42.367318 11.6183869
87    11           7 43.543785 11.1336555
88    11           8 43.750271 12.0311065
89    12           1 46.122429 12.3528733
90    12           2 47.604306 11.4522787
91    12           3 45.568748 13.6906476
92    12           4 48.331177 12.3561907
93    12           5 47.143246 11.7339915
94    12           6 44.461190 13.3898768
95    12           7 46.879044 11.4054972
96    12           8 46.314055 12.3143487
end

eststo, title(mixed): mixed y x || id:, mle // Mixed estimator
eststo, title(GLS): xtreg y x, i(id) re     // GLS RE estimato
eststo, title(MLE): xtreg y x, i(id) mle    // MLE RE estimator 
eststo, title(Within): xtreg y x, i(id) fe  // FE Within estimator 
eststo, title(Between): xtreg y x, i(id) be // Between estimator 

esttab *, b(a5) se(a5) mtitle 

Дозвольте мені ще більше сплутати речі:

ЕКОНОМЕТРИКА - ПІДХІД ДО ФІКСОВАНИХ ЕФЕКТІВ Підхід
"фіксованих ефектів" в економетрії для панельних даних - це спосіб оцінити коефіцієнти нахилу (бета), "шляхом проходження" існування змінної індивідуальних ефектів тощо, не роблячи будь-яке припущення щодо того, чи є "фіксованим" чи "випадковим". Так роблять оцінювач "Перша різниця" (використовуючи перші відмінності даних) та оцінювач "В межах" (використовуючи відхилення від середніх часових показників): їм вдається оцінити лише бета-версії.$\alpha_i$

Для більш традиційного підходу, який чітко розглядає індивідуальні ефекти ("перехоплення") як константи, ми використовуємо оцінювач "Найменших квадратів" манекенної змінної (LSDV), який дає також оцінки для примітки : у лінійній моделі три оцінювачі алгебраїчно збігаються щодо отриманих оцінок для бет, але лише у лінійній моделі.$\alpha_i$

Обговорення (частково витяг із конспектів класу)

"Основна перевага підходу з фіксованими ефектами полягає в тому, що нам не потрібно робити жодних припущень щодо природи індивідуальних ефектів. Ми повинні застосовувати його, коли ми підозрюємо, що останні співвідносяться з одним або декількома регресорами, оскільки в цьому випадку ігнорування наявності такої кореляції та наївне застосування OLS на об'єднаній моделі створює непослідовні оцінки, незважаючи на його звернення на підставі мінімальних припущень, які нам потрібно зробити щодо окремих ефектів, підхід із фіксованими ефектами має певні обмеження. По-перше, коефіцієнти часу інваріантних регресорів неможливо оцінити, оскільки ці змінні розрізняються разом із непомітними індивідуальними ефектами. По-друге,індивідуальні ефекти (якщо ми використовуємо оцінювач LSDV) не можуть бути послідовно оцінені (за винятком випадків, коли часовий вимір перейде до нескінченності). "

ЕКОНОМЕТРИКА - ПІДХІД РЕФЕМНИХ ЕФЕКТІВ
У «традиційному» економетричному підході до випадкових ефектів ми припускаємо, що окремі «перехоплення» є «постійними випадковими компонентами», тоді як «звичайні» помилки - це «минущі» компоненти помилок.$\alpha_i$

В цікавому розширенні додаткова випадковість виникає через існування випадкового ефекту часу , загального для всіх перерізів, але час міняється , поряд із фіксованим (постійним) індивідуальним ефектом та терміном помилки. Наприклад, такий "часовий ефект" може представляти сукупний шок на рівні економіки, який впливає однаково на всі домогосподарства. Такі сукупні порушення дійсно спостерігаються, тому це представляється реалістичним вибором моделювання.

Тут оцінювач "Випадкові ефекти" - це оцінка узагальнених найменших квадратів (GLS) для підвищення ефективності.

Тепер ще один задуманий оцінювач, "Між" Оцінювач, виконує OLS за спостережуваними часом спостереженнями. Що стосується алгебри, було показано, що оцінювач GLS може бути отриманий як середньозважене середнє значення оцінок "Внутрішній" та "Між ними", де ваги не є довільними, а відносяться до матриць VCV двох.

... а також є варіанти моделей "Неспіввідносні випадкові ефекти" та "Корельовані випадкові ефекти".

Сподіваюся, що вищесказане допоможе зробити контраст із моделями "змішаних ефектів".