Велика розбіжність у нахилі оцінюється, коли групи трактуються як випадкові проти фіксованих у змішаній моделі

Я розумію, що ми використовуємо моделі випадкових ефектів (або змішаних ефектів), коли вважаємо, що деякі параметри моделей випадково змінюються в залежності від коефіцієнта групування. У мене є бажання підходити до моделі, де відповідь було нормалізовано та зосереджено (не ідеально, але досить близько) через групуючий фактор, але незалежна змінна xжодним чином не коригувалася. Це призвело мене до наступного тесту (з використанням сфабрикованих даних), щоб переконатися, що я знайшов би ефект, який шукав, якби він дійсно був. Я застосував одну модель змішаних ефектів із випадковим перехопленням (у різних групах, визначених f) та другу модель з фіксованим ефектом із фактором f як передбачуваним ефектом. Я використовував пакет R lmerдля моделі змішаного ефекту та базової функціїlm()для моделі з фіксованим ефектом Далі - дані та результати.

Зауважте, що yнезалежно від групи коливається в межах 0. І це xзмінюється в залежності від yгрупи, але в різних групах значно більшеy

> data
      y   x f
1  -0.5   2 1
2   0.0   3 1
3   0.5   4 1
4  -0.6  -4 2
5   0.0  -3 2
6   0.6  -2 2
7  -0.2  13 3
8   0.1  14 3
9   0.4  15 3
10 -0.5 -15 4
11 -0.1 -14 4
12  0.4 -13 4

Якщо ви зацікавлені в роботі з даними, ось такий dput()результат:

data<-structure(list(y = c(-0.5, 0, 0.5, -0.6, 0, 0.6, -0.2, 0.1, 0.4, 
-0.5, -0.1, 0.4), x = c(2, 3, 4, -4, -3, -2, 13, 14, 15, -15, 
-14, -13), f = structure(c(1L, 1L, 1L, 2L, 2L, 2L, 3L, 3L, 3L, 
4L, 4L, 4L), .Label = c("1", "2", "3", "4"), class = "factor")), 
.Names = c("y","x","f"), row.names = c(NA, -12L), class = "data.frame")

Встановлення моделі змішаних ефектів:

> summary(lmer(y~ x + (1|f),data=data))
Linear mixed model fit by REML 
Formula: y ~ x + (1 | f) 
   Data: data 
   AIC   BIC logLik deviance REMLdev
 28.59 30.53  -10.3       11   20.59
Random effects:
 Groups   Name        Variance Std.Dev.
 f        (Intercept) 0.00000  0.00000 
 Residual             0.17567  0.41913 
Number of obs: 12, groups: f, 4

Fixed effects:
            Estimate Std. Error t value
(Intercept) 0.008333   0.120992   0.069
x           0.008643   0.011912   0.726

Correlation of Fixed Effects:
  (Intr)
x 0.000 

Зауважу, що компонент дисперсійної дисперсії оцінюється як 0, і що важливо, для мене, xне є істотним провісником y.

Далі я підходимо до моделі фіксованого ефекту fв якості предиктора замість фактору групування для випадкового перехоплення:

> summary(lm(y~ x + f,data=data))

Call:
lm(formula = y ~ x + f, data = data)

Residuals:
     Min       1Q   Median       3Q      Max 
-0.16250 -0.03438  0.00000  0.03125  0.16250 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -1.38750    0.14099  -9.841 2.38e-05 ***
x            0.46250    0.04128  11.205 1.01e-05 ***
f2           2.77500    0.26538  10.457 1.59e-05 ***
f3          -4.98750    0.46396 -10.750 1.33e-05 ***
f4           7.79583    0.70817  11.008 1.13e-05 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.1168 on 7 degrees of freedom
Multiple R-squared: 0.9484, Adjusted R-squared: 0.9189 
F-statistic: 32.16 on 4 and 7 DF,  p-value: 0.0001348 

Тепер я зауважую, що, як очікувалося, xє вагомим провісником y.

Що я шукаю - це інтуїція щодо цієї різниці. Яким чином моє мислення тут неправильне? Чому я помилково очікую знайти значущий параметр для xобох цих моделей, але лише насправді бачу його у моделі з фіксованим ефектом?

Тут відбувається кілька речей. Це цікаві питання, але для того, щоб усе це пояснити, знадобиться досить багато часу / простору.

Перш за все, це все стає набагато простіше зрозуміти, якщо ми побудуємо дані . Ось графік розкидання, де точки даних пофарбовані за групами. Крім того, ми маємо окрему регресійну лінію для кожної групи, а також просту лінію регресії (ігнорування груп) штриховим шрифтом:

plot(y ~ x, data=dat, col=f, pch=19)
abline(coef(lm(y ~ x, data=dat)), lwd=3, lty=2)
by(dat, dat$f, function(i) abline(coef(lm(y ~ x, data=i)), col=i$f))

Модель з фіксованим ефектом

$x$$x$$x$$x$$x$$x$$x$$y$$t$

$x$$x$$x$lm()

Змішана модель

$x$$x$$x$$x$

$x$

Ось коефіцієнти для простої моделі регресії (пунктирною жирною лінією на графіку):

> lm(y ~ x, data=dat)

Call:
lm(formula = y ~ x, data = dat)

Coefficients:
(Intercept)            x  
   0.008333     0.008643  

Як бачите, коефіцієнти тут ідентичні тому, що ми отримали в змішаній моделі. Це саме те, що ми очікували, що ми знайдемо, оскільки, як ви вже зазначали, у нас є оцінка варіації 0 для випадкових перехоплювачів, що робить раніше згадане співвідношення / внутрішньокласовий співвідношення 0. Тому змішані оцінки моделі в цьому випадку є лише простих лінійних регресійних оцінок, і, як ми бачимо на графіку, нахил тут набагато менш виражений, ніж у схилах всередині кластера.

Це підводить нас до одного остаточного концептуального питання ...

Чому дисперсія випадкових перехоплювачів оцінюється як 0?

Відповідь на це питання має потенціал стати трохи технічним і складним, але я постараюся зробити це максимально простим і нетехнічним (для обох наших результатів!). Але це, можливо, все ще буде трохи довготривалим.

$y$(або, правильніше, помилки моделі), викликані структурою кластеризації. Внутрішньокласне співвідношення говорить про те, наскільки схожими в середньому є дві помилки, виведені з одного кластеру, відносно середньої схожості двох помилок, виведених з будь-якого місця в наборі даних (тобто можуть бути або не бути в одному кластері). Позитивна внутрішньокласова кореляція говорить нам про те, що помилки одного кластеру мають відносно більше подібність одна до одної; якщо я намалюю одну помилку з кластеру, і вона має високе значення, то я можу очікувати вище шансу, що наступна помилка, яку я витягну з цього ж кластера, також матиме високе значення. Хоча дещо рідше, внутрішньокласні кореляції також можуть бути негативними; дві помилки, витягнуті з одного кластеру, менш схожі (тобто далі за значенням), ніж зазвичай очікували в цілому наборі даних.

Розглянута нами змішана модель не використовує метод внутрішнього класу кореляції, що представляє залежність у даних. Натомість вона описує залежність з точки зору дисперсійних компонентів . Це все добре, поки внутрішньокласова кореляція є позитивною. У цих випадках внутрішньокласне співвідношення може бути легко записане у вигляді дисперсійних компонентів, зокрема, як згадане раніше відношення дисперсії випадкового перехоплення до загальної дисперсії. (Див. Сторінку вікі про внутрішньокласову кореляціюдля отримання додаткової інформації про це.) Але, на жаль, моделям дисперсійних компонентів важко розібратися з ситуаціями, коли ми маємо негативну внутрішньокласну кореляцію. Зрештою, запис внутрішньокласової кореляції з точки зору дисперсійних компонентів передбачає запис її як пропорції дисперсії, а пропорції не можуть бути негативними.

$y$$y$$y$, тоді як помилки, отримані з різних кластерів, мають тенденцію мати більш помірну різницю.) Отже, ваша змішана модель робить те, що на практиці в цьому випадку часто роблять змішані моделі: вона дає оцінки, що відповідають рівню негативної внутрішньокласової кореляції як він може зібрати, але він зупиняється на нижній межі 0 (це обмеження зазвичай запрограмоване в алгоритм підгонки моделі). Таким чином, ми закінчуємо оціночну дисперсію випадкового перехоплення 0, що все ще не є дуже хорошою оцінкою, але це настільки ж близько, наскільки ми можемо отримати цей тип дисперсійних компонентів типу моделі.

То що ми можемо зробити?

$x$

$x$

$x$$x_b$$x$$x_w$$x$

> dat <- within(dat, x_b <- tapply(x, f, mean)[paste(f)])
> dat <- within(dat, x_w <- x - x_b)
> dat
      y   x f x_b x_w
1  -0.5   2 1   3  -1
2   0.0   3 1   3   0
3   0.5   4 1   3   1
4  -0.6  -4 2  -3  -1
5   0.0  -3 2  -3   0
6   0.6  -2 2  -3   1
7  -0.2  13 3  14  -1
8   0.1  14 3  14   0
9   0.4  15 3  14   1
10 -0.5 -15 4 -14  -1
11 -0.1 -14 4 -14   0
12  0.4 -13 4 -14   1
> 
> mod <- lmer(y ~ x_b + x_w + (1|f), data=dat)
> mod
Linear mixed model fit by REML 
Formula: y ~ x_b + x_w + (1 | f) 
   Data: dat 
   AIC   BIC logLik deviance REMLdev
 6.547 8.972  1.726   -23.63  -3.453
Random effects:
 Groups   Name        Variance Std.Dev.
 f        (Intercept) 0.000000 0.00000 
 Residual             0.010898 0.10439 
Number of obs: 12, groups: f, 4

Fixed effects:
            Estimate Std. Error t value
(Intercept) 0.008333   0.030135   0.277
x_b         0.005691   0.002977   1.912
x_w         0.462500   0.036908  12.531

Correlation of Fixed Effects:
    (Intr) x_b  
x_b 0.000       
x_w 0.000  0.000

$x_w$$x_b$$y$$x$$x$$x_b$$t$-статистичніший більший. Це також не дивно, тому що залишкова дисперсія набагато менша в цій змішаній моделі, оскільки випадкові групові ефекти з'їдають велику кількість дисперсії, з якою довелося мати справу з простою регресійною моделлю.

Нарешті, ми все ще маємо оцінку 0 для дисперсії випадкових перехоплень з причин, які я розробив у попередньому розділі. Я не дуже впевнений, що ми можемо зробити з цим принаймні, не переходячи на інше програмне забезпечення, крім того lmer(), і я також не впевнений, наскільки це все ще негативно вплине на наші оцінки в цій остаточній змішаній моделі. Можливо, інший користувач може зазвучити деякі думки з цього питання.

Список літератури

• Белл, А., І Джонс, К. (2014). Пояснення фіксованих ефектів: Моделювання випадкових ефектів поперечного перерізу та даних панелі часових рядів. Політологічні дослідження та методи. PDF
• Бафумі, Дж. Та Гельман, А.Є. (2006). Вміщення багаторівневих моделей, коли прогнози та групові ефекти співвідносяться. PDF

Після значного роздуму, я вважаю, що я виявив власну відповідь. Я вважаю, що економіст повинен визначити мою незалежну змінну як ендогенну і, таким чином, співвіднести як незалежні, так і залежні змінні. У цьому випадку ці змінні опущені або не помічені . Однак я спостерігаю групування, між якими опущена змінна повинна змінюватися.

Я вважаю, що економіст запропонував би модель фіксованого ефекту . Тобто модель, яка включає манекен для кожного рівня групування (або еквівалентну специфікацію, яка обумовлює модель такою, що багато манекенів групування не потрібно) в цьому випадку. За допомогою моделі з фіксованим ефектом, сподіваємося, що всі неспостережувані та інваріантні за часом змінні можна керувати, обумовлюючи зміни в групі (або через окремі). Дійсно, друга модель в моєму питанні - це саме модель з фіксованим ефектом, і як така дає оцінку, яку я очікую.

Я вітаю коментарі, які ще більше висвітлять цю обставину.