Простіше кажучи, як би ви пояснили (можливо, простими прикладами) різницю між моделями фіксованого ефекту, випадкового ефекту та змішаного ефекту?

Статистик Ендрю Гелман каже, що терміни "фіксований ефект" та "випадковий ефект" мають змінні значення залежно від того, хто їх використовує. Можливо, ви можете вибрати, яке з 5 визначень стосується вашої справи. Взагалі може бути краще шукати рівняння, які описують імовірнісну модель, яку використовують автори (під час читання), або виписати повну модель ймовірності, яку ви хочете використовувати (під час написання).

Тут ми окреслимо п'ять визначень, які ми бачили:

1. Фіксовані ефекти постійні для окремих людей, а випадкові ефекти різняться. Наприклад, у дослідженні зростання модель з випадковими перехопленнями та фіксованим нахилом відповідає паралельним прямим для різних індивідів , або модель . Таким чином, Крефт та Де Лів (1998) розрізняють фіксовані та випадкові коефіцієнти. b i y i t = a i + b $a_i$$b$$i$$y_{it} = a_i + b t$

2. Ефекти фіксуються, якщо вони цікаві самі по собі або випадкові, якщо є зацікавленість у основній популяції. Сірл, Казелла та МакКаллох (1992, розділ 1.4) вивчають цю різницю в глибині.

3. "Коли зразок виснажує сукупність, фіксується відповідна змінна; коли вибірка є невеликою (тобто незначною) частиною популяції, відповідна змінна є випадковою. "(Green and Tukey, 1960)

4. "Якщо ефект вважається реалізованим значенням випадкової величини, він називається випадковим ефектом". (LaMotte, 1983)

5. Фіксовані ефекти оцінюються за допомогою найменших квадратів (або, загалом, максимальної ймовірності), а випадкові ефекти оцінюються за допомогою усадки («лінійне неупереджене прогнозування» в термінології Робінсона, 1991). Це визначення є стандартним у літературі про багаторівневе моделювання (див., Наприклад, Snijders and Bosker, 1999, розділ 4.2) та в економетриці.

[ Гельман, 2004, Аналіз дисперсії - чому це важливіше, ніж будь-коли. Аннали статистики. ]

Про це є хороші книги, такі як Гельман і Хілл . Далі, по суті, є підсумком їхньої точки зору.

Перш за все, ви не повинні занадто захоплюватися термінологією. У статистиці жаргон ніколи не повинен використовуватися як заміна математичного розуміння самих моделей. Це особливо стосується випадкових та змішаних ефектів. "Змішана" просто означає, що модель має як фіксовані, так і випадкові ефекти, тому давайте зосередимось на різниці між фіксованим та випадковим.

Випадкові та фіксовані ефекти

Скажімо, у вас є модель з категоричним предиктором, який розділяє ваші спостереження на групи відповідно до значень категорії. * Коефіцієнти моделі, або "ефекти", пов'язані з цим прогноктором, можуть бути як фіксованими, так і випадковими. Найважливіша практична відмінність між ними:

Випадкові ефекти оцінюються за допомогою часткового об'єднання, тоді як фіксованих ефектів немає.

Часткове об'єднання означає, що якщо у вас мало точок даних у групі, оцінка ефективності групи буде частково заснована на більш рясних даних інших груп. Це може бути приємним компромісом між оцінкою ефекту шляхом повного об'єднання всіх груп, що маскує зміни на рівні групи, та оцінки ефекту для всіх груп повністю окремо, що може дати слабкі оцінки для груп з низькою вибіркою.

Випадкові ефекти - це просто розширення методики часткового об'єднання як статистичної моделі загального призначення. Це дозволяє принципово застосовувати ідею до найрізноманітніших ситуацій, включаючи безліч предикторів, змішані безперервні та категоричні змінні та складні кореляційні структури. (Але з великою силою виникає велика відповідальність: складність моделювання та умовиводу істотно збільшується, і це може спричинити тонкі упередження, які потребують значної витонченості, щоб уникнути.)

Щоб мотивувати модель випадкових ефектів, запитайте себе: чому б ви частково об'єдналися? Можливо, тому, що ви вважаєте, що маленькі підгрупи є частиною більшої групи із загальним середнім ефектом. Засоби підгрупи можуть дещо відхилятися від середньої величини групи, але не на довільну суму. Для формалізації цієї ідеї ми вважаємо, що відхилення слідують за розподілом, як правило, гауссовим. Ось звідки надходить «випадковий» у випадкових ефектах: ми припускаємо, що відхилення підгруп від батьків випливають за розподілом випадкової величини. Коли ви маєте на увазі цю ідею, рівняння моделі зі змішаними ефектами природно слідують.

На жаль, користувачі моделей зі змішаним ефектом часто мають помилкові уявлення про те, що таке випадкові ефекти та чим вони відрізняються від фіксованих ефектів. Люди чують "випадкові" і думають, що це означає щось особливе у моделюванні системи, як фіксовані ефекти мають бути використані, коли щось "фіксується", тоді як випадкові ефекти повинні використовуватися, коли щось "випадково відбирається". Але немає нічого особливо випадкового в припущенні, що коефіцієнти моделі походять від розподілу; це лише м'яке обмеження, подібне до покарання застосованого до модельних коефіцієнтів при регресії хребта. Існує багато ситуацій, коли ви можете або не хочете використовувати випадкові ефекти, і вони не обов'язково мають багато спільного з різницею між "фіксованим" і "$\ell_2$

На жаль, заплутаність понять, викликана цими термінами, призвела до наростання суперечливих визначень . З п'яти визначень за цим посиланням, лише №4 є абсолютно правильним у загальному випадку, але це також зовсім неінформативно. Ви повинні прочитати цілі папери та книги (або, якщо цього не зробити, це повідомлення), щоб зрозуміти, що це визначення означає в практичній роботі.

Приклад

Давайте розглянемо випадок, коли моделювання випадкових ефектів може бути корисним. Припустимо, ви хочете оцінити середній дохід домогосподарств у США за поштовим індексом. У вас є великий набір даних, що містить спостереження за доходами домогосподарств та поштові індекси. Деякі поштові індекси добре представлені в наборі даних, але інші мають лише пару домогосподарств.

Для вашої початкової моделі ви, швидше за все, брати середній дохід у кожному ZIP. Це буде добре, коли у вас буде багато даних для ZIP, але оцінки ваших погано відібраних ZIP-файлів зазнають великої дисперсії. Ви можете пом'якшити це за допомогою оцінювача усадки (він же часткового об'єднання), який підштовхне крайні значення до середнього доходу для всіх поштових індексів.

Але скільки усадки / об'єднання потрібно зробити для певного ZIP? Інтуїтивно це повинно залежати від наступного:

1. Скільки спостережень у вас у цьому ZIP
2. Скільки спостережень у вас в цілому
3. На індивідуальний рівень , середнє значення і дисперсія доходів домогосподарств у всіх поштових індексах
4. Різниця на рівні групи середнього доходу домогосподарств у всіх поштових індексах

Якщо ви будете моделювати поштовий індекс як випадковий ефект, середня оцінка доходу у всіх поштових індексах буде піддана статистично обґрунтованій усадці з урахуванням усіх вищевказаних факторів.

Найкраща частина полягає в тому, що моделі випадкових та змішаних ефектів автоматично обробляють (4) оцінку варіабельності для всіх випадкових ефектів в моделі. Це складніше, ніж здається на перший погляд: ви можете спробувати дисперсію середнього значення вибірки для кожного ZIP, але це буде упереджено високим, оскільки частина дисперсії між оцінками для різних ZIP-файлів є лише варіацією вибірки. У моделі випадкових ефектів процес висновку враховує вибірковість дисперсії і відповідно зменшує оцінку дисперсії.

Враховуючи (1) - (4), модель випадкових / змішаних ефектів здатна визначити відповідну усадку для груп з низькою вибіркою. Він також може обробляти набагато складніші моделі з безліччю різних прогнозів.

Відносини до ієрархічного байєсівського моделювання

Якщо вам це здається ієрархічним байєсівським моделюванням, ви маєте рацію - це близький родич, але не тотожний. Моделі змішаних ефектів є ієрархічними, оскільки вони розміщують розподіли за прихованими, непоміченими параметрами, але вони, як правило, не є повністю байєсівськими, оскільки гіперпараметри верхнього рівня не будуть надані належними пріорами. Наприклад, у наведеному вище прикладі ми, швидше за все, розглянемо середній дохід у даному ZIP як зразок від звичайного розподілу, з невідомими середніми значеннями та сигмами, що оцінюються методом змішаних ефектів. Однак модель (не-баєсівські) змішаних ефектів, як правило, не матиме попереднього значення невідомого середнього значення та сигми, тому це не є повністю байєсівською. Однак, при наборі даних пристойного розміру стандартна модель змішаних ефектів і повністю байєсівський варіант часто дають дуже схожі результати.

* Хоча багато звернень до цієї теми зосереджуються на вузькому визначенні "групи", концепція насправді дуже гнучка: це лише сукупність спостережень, які мають спільну властивість. Група може складатися з декількох спостережень за однією людиною, чи кількома людьми в школі, чи кількома школами в окрузі, або з кількох сортів одного виду фруктів, або з кількох видів овочів з одного врожаю, або з кількох врожаїв. одного сорту овочів тощо. Будь-яка категорична змінна може бути використана як змінна групування.

Я писав про це у розділі книги про змішані моделі (глава 13 у Фокса, Негрете-Янкелевича та Соси 2014 ); відповідні сторінки (стор. 311-315) доступні в Книгах Google . Я думаю, що питання зводиться до "які визначення фіксованих та випадкових ефектів?" ("змішана модель" - це просто модель, яка містить обидва). У моїй дискусії трохи менше йдеться про їх формальне визначення (для чого я хотів би відкластись до статті Гельмана, пов'язаної з відповіддю @ JohnSalvatier вище) та більше про їхні практичні властивості та корисність. Ось кілька витягів:

Традиційний погляд на випадкові ефекти - це спосіб зробити правильні статистичні тести, коли деякі спостереження співвідносяться.

Ми також можемо розглядати випадкові ефекти як спосіб поєднання інформації з різних рівнів в межах змінної групування.

Випадкові ефекти особливо корисні, коли ми маємо (1) безліч рівнів (наприклад, багато видів або блоків), (2) відносно мало даних про кожен рівень (хоча нам потрібно кілька зразків з більшості рівнів), і (3) нерівномірність відбір проб через рівні (вікно 13.1).

Часто і баєси визначають випадкові ефекти дещо по-різному, що впливає на спосіб їх використання. Часто лікарі визначають випадкові ефекти як категоричні змінні, рівні яких обираються випадковим чином з більшої сукупності, наприклад, види, вибрані навмання зі списку ендемічних видів. Байєси визначають випадкові ефекти як набори змінних, параметри яких [усі] отримані з [того самого] розподілу. Визначення частолістів є філософсько узгодженим, і ви зіткнетесь із дослідниками (включаючи рецензентів та наглядачів), які наполягають на цьому, але це може бути практично проблематично. Наприклад, це означає, що ви не можете використовувати види як випадковий ефект, коли ви спостерігали за всіма видами на своєму польовому майданчику - оскільки список видів не є вибіркою з більшої популяції - або використовувати рік як випадковий ефект, оскільки дослідники рідко проводять експеримент у випадкові вибіркові роки - вони зазвичай використовують або серію років поспіль, або випадковий набір років, коли вони можуть потрапити у поле.

Випадкові ефекти також можна описати як змінні предиктора, де вам цікаво робити висновки про розподіл значень (тобто, дисперсія між значеннями відповіді на різних рівнях), а не перевіряти відмінності значень між окремими рівнями.

Люди іноді кажуть, що випадкові ефекти - це "фактори, які вас не цікавлять". Це не завжди так. Хоча це часто трапляється в екологічних експериментах (де варіація між ділянками зазвичай є лише неприємністю), іноді це представляє великий інтерес, наприклад, в еволюційних дослідженнях, де варіація між генотипами є сировиною для природного відбору, або в демографічних дослідженнях де серед річних варіацій знижуються довгострокові темпи зростання. У деяких випадках фіксовані ефекти також використовуються для контролю за нецікавою варіацією, наприклад, використовуючи масу як коваріат для контролю за впливом розміру тіла.

Ви також почуєте, що "ви нічого не можете сказати про (передбачуване) значення умовного режиму". Це теж неправда - формально ви не можете перевірити нульову гіпотезу, що значення дорівнює нулю, або що значення двох різних рівнів рівні, але все-таки цілком доцільно дивитися на передбачуване значення і навіть обчислювати стандартну помилку передбачуваного значення (наприклад, див. смуги помилок навколо умовних режимів на рисунку 13.1).

$\textrm{species_mean} \sim {\cal N}(\textrm{genus_mean}, \sigma^2_{\textrm{species}})$

Я говорив вище, що випадкові ефекти є найбільш корисними, коли змінна групування має багато виміряних рівнів. І навпаки, випадкові ефекти, як правило, малоефективні, коли змінна групування має занадто мало рівнів. Зазвичай ви не можете використовувати випадкові ефекти, коли змінна групування має менше п'яти рівнів, а оцінки дисперсії випадкових ефектів нестабільні з меншим вісім рівнів, тому що ви намагаєтеся оцінити дисперсію з дуже невеликої вибірки.

Фіксований ефект: Щось експериментатор безпосередньо маніпулює і часто повторюється, наприклад, прийом наркотиків - одна група отримує наркотики, одна група отримує плацебо.

Випадковий ефект: Джерело випадкових варіацій / експериментальних одиниць, наприклад, осіб, отриманих (навмання) з популяції для клінічного випробування. Випадкові ефекти оцінюють мінливість

Змішаний ефект: Включає і те, і фіксований ефект у цих випадках - це оцінювання коефіцієнтів рівня популяції, тоді як випадкові ефекти можуть враховувати індивідуальні відмінності у відповідь на ефект, наприклад, кожна людина отримує і препарат, і плацебо в різних випадках, фіксований Ефект оцінює ефект від наркотиків, умови випадкових ефектів дозволять кожній людині по-різному реагувати на препарат.

Загальні категорії змішаних ефектів - повторні заходи, поздовжні, ієрархічні, розділені схеми.

Я прийшов до цього питання звідси , можливий дублікат.

Вже є кілька відмінних відповідей, але, як зазначено у прийнятій відповіді, існує багато різних (але пов'язаних з ними) вживань цього терміна, тому може бути корисно надати перспективу як зайнятої в економетрії, яка, здається, ще не повністю вирішена тут. .

$$y_{it}=X_{it}\delta+\alpha_i+\eta_{it},$$ $\alpha_i$$\eta_{it}$

$\alpha_i$

$\alpha_i$$X_{it}$$Cov(\alpha_i,X_{it})=0$

$y$$X$$y_{it}$$X_{it}$

$\alpha_i$$X_{it}$$i$$X_{it}=0$$X_{it}$

$\delta$$t$$\alpha_i$$X_{it}$

$T$m

Ось код, який генерує дані і який дає позитивну оцінку RE та "правильну", негативну оцінку FE. (Враховуючи це, оцінки RE також часто будуть негативними щодо інших насіння, див. Вище).

library(Jmisc)
library(plm)
library(RColorBrewer)
# FE illustration
set.seed(324)
m = 8
n = 12

step = 5
alpha = runif(n,seq(0,step*n,by=step),seq(step,step*n+step,by=step))
beta = -1
y = X = matrix(NA,nrow=m,ncol=n)
for (i in 1:n) {
  X[,i] = runif(m,i,i+1)
  X[,i] = rnorm(m,i)
  y[,i] = alpha[i] + X[,i]*beta + rnorm(m,sd=.75)  
}
stackX = as.vector(X)
stackY = as.vector(y)

darkcols <- brewer.pal(12, "Paired")
plot(stackX,stackY,col=rep(darkcols,each=m),pch=19)

unit = rep(1:n,each=m)
# first two columns are for plm to understand the panel structure
paneldata = data.frame(unit,rep(1:m,n),stackY,stackX) 
fe <- plm(stackY~stackX, data = paneldata, model = "within")
re <- plm(stackY~stackX, data = paneldata, model = "random")

Вихід:

> fe

Model Formula: stackY ~ stackX

Coefficients:
 stackX 
-1.0451 


> re

Model Formula: stackY ~ stackX

Coefficients:
(Intercept)      stackX 
   18.34586     0.77031 

Відмінність має значення лише в контексті небейсівської статистики. У статистиці Баєса всі параметри моделі "випадкові".

У економетриці терміни зазвичай застосовуються в узагальнених лінійних моделях, де модель має форму

$$y_{it} = g(x_{it} \beta + \alpha_i + u_{it}).$$

$\alpha_i \perp u_{it}$

$\alpha_i \not \perp u_{it}$

У лінійних моделях наявність випадкового ефекту не призводить до невідповідності оцінки ОЛС. Однак використання випадкового оцінювача ефектів (як можливих узагальнених найменших квадратів) призведе до більш ефективного оцінки.

У нелінійних моделях , таких як probit, tobit, ..., наявність випадкового ефекту, як правило, призведе до непослідовної оцінки. Використання випадкового оцінювача ефектів відновить послідовність.

Як для лінійних, так і для нелінійних моделей фіксовані ефекти призводять до зміщення. Однак у лінійних моделях є перетворення, які можуть бути використані (наприклад, перші відмінності або приниження), де OLS на перетворених даних призведе до послідовних оцінок. Для нелінійних моделей існує декілька винятків, коли існують перетворення, приклад яких є фіксованим ефектом .

Приклад: Пробіт випадкових ефектів. Припустимо

$$y^*_{it} = x_{it} \beta + \alpha_i + u_{it}, \quad \alpha_i \sim \mathcal{N}(0,\sigma_\alpha^2), u_{it} \sim \mathcal{N}(0,1).$$

і спостережуваний результат є

$$y_{it} = \mathbb{1}(y^*_{it} > 0).$$

Об'єднана оцінка максимальної правдоподібності мінімізує середнє вибірки

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log \prod_{t=1}^T [G(x_{it}\beta)]^{y_{it}} [1 - G(x_{it}\beta)] ^{1-y_{it}}.$$

Звичайно, тут журнал і продукт спрощуються, але з педагогічних причин це робить рівняння більш порівнянним з оцінкою випадкових ефектів, що має вигляд

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log \int \prod_{t=1}^T [G(x_{it}\beta + \sigma_\alpha a)]^{y_{it}} [1 - G(x_{it}\beta + \sigma_\alpha a )] ^{1-y_{it}} \phi(a) \mathrm{d}a.$$

Ми можемо, наприклад, наблизити інтеграл шляхом рандомізації, взявши креслень випадкових нормалей і оцінивши ймовірність кожного.$R$

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log R^{-1} \sum_{r=1}^R \prod_{t=1}^T [G(x_{it}\beta + \sigma_\alpha a_r)]^{y_{it}} [1 - G(x_{it}\beta + \sigma_\alpha a )] ^{1-y_{it}},\quad a_r \sim \mathcal{N}(0,1).$$

Інтуїція така: ми не знаємо, що таке тип, , кожне спостереження. Натомість ми оцінюємо добуток ймовірності з часом за послідовністю розіграшів. Найімовірніший тип спостереження матиме найвищу ймовірність за всі періоди і тому буде домінувати над ймовірним внеском для цього наслідку спостережень. i $\alpha_i$$i$$T$

Насправді не формальне визначення, але мені подобаються такі слайди: Змішані моделі та чому соціолінгвісти повинні їх використовувати ( дзеркало ), від Daniel Ezra Johnson. Короткий підсумок 'пропонується на слайді 4. Хоча він здебільшого зосереджений на психолінгвістичних дослідженнях, він є дуже корисним як перший крок.

Інший дуже практичний погляд на моделі випадкових та фіксованих ефектів походить від економетрики при виконанні лінійних регресій на панельних даних . Якщо ви оцінюєте зв'язок між пояснювальною змінною та змінною результатів у наборі даних із декількома вибірками на кожного / групу, це рамка, яку ви хочете використовувати.

Хорошим прикладом даних панелей є щорічні вимірювання з набору осіб:

• $gender_i$ (стать ї людини)$i$
• ${\Delta}weight_{it}$ (зміна ваги протягом року для людини )$t$$i$
• $exercise_{it}$ (середня щоденна зарядка протягом року для людини )$t$$i$

Якщо ми намагаємось зрозуміти взаємозв'язок між фізичними вправами та зміною ваги, ми встановимо наступну регресію:

e x e r c i s e i t + β 1 g e n d e r i + α i + ϵ i ${\Delta}weight_{it} = \beta_0$$exercise_{it} + \beta_1gender_i + \alpha_i + \epsilon_{it}$

• $\beta_0$ - кількість відсотків
• $\beta_1$ не цікаво, ми просто контролюємо її гендер
• $\alpha_i$ - індивідуальний перехоплення
• $\epsilon_{it}$ - термін помилки

У таких умовах існує ризик ендогенності. Це може статися, коли незмірені змінні (наприклад, сімейний стан) пов'язані як з фізичними вправами, так і зі зміною ваги. Як пояснено на сторінці 16 у цій лекції про Принстоні , модель випадкових ефектів (змішаних ефектів AKA) є більш ефективною, ніж модель з фіксованими ефектами. Однак це буде неправильно приписувати деякий вплив незміреної змінної на зміну ваги фізичним вправам, створюючи неправильний і, можливо, більш високу статистичну значимість, ніж є дійсною. У цьому випадку модель випадкових ефектів не є послідовною оцінкою .β $\beta_0$$\beta_0$

Модель з фіксованими ефектами (у своїй найосновнішій формі) керує будь-якими незміреними змінними, які є постійними за часом, але різняться між окремими особами, явно включаючи в рівняння регресії окремий термін перехоплення для кожного окремого ( ). У нашому прикладі він автоматично контролюватиме заплутані наслідки від статі, а також будь-яких незмірених плутаниць (сімейний стан, соціально-економічний статус, рівень освіти тощо). Насправді, гендер не може бути включений до регресії і не може бути оцінено за допомогою моделі фіксованих ефектів, оскільки є колінеарною з 's.β 1 g e n d e r i α $\alpha_i$$\beta_1$$gender_i$$\alpha_i$

Отже, ключове питання - визначити, яка модель підходить. Відповідь - тест Хаусмана . Для його використання ми виконуємо регресію фіксованих та випадкових ефектів, а потім застосовуємо тест Хаусмана, щоб побачити, чи значно розходяться їх оцінки коефіцієнтів. Якщо вони розходяться, то ендогенність грає, і найкращим вибором є модель фіксованих ефектів. Інакше ми підемо з випадковими ефектами.