Фіксований ефект проти випадкового ефекту, коли всі можливості включені в модель змішаних ефектів

У моделі змішаних ефектів рекомендується використовувати фіксований ефект для оцінки параметра, якщо всі можливі рівні включені (наприклад, і самці, і жінки). Далі рекомендується використовувати випадковий ефект для обліку змінної, якщо включені рівні - це лише випадкова вибірка з популяції (зарахували пацієнтів із Всесвіту можливих пацієнтів) і ви хочете оцінити середнє значення та дисперсію популяції замість засобів окремих рівнів факторів.

Мені цікаво, чи ви логічно зобов'язані завжди використовувати фіксований ефект таким чином. Розглянемо дослідження про те, як змінюється розмір стопи / взуття в процесі розвитку і пов'язаний, скажімо, з ростом, вагою та віком. ${\rm Side}$Очевидно, слід якось включити в модель, щоб врахувати той факт, що вимірювання протягом років вкладаються в певну ногу і не є незалежними. Більше того, справа і зліва - це всі можливості, які можуть існувати. Крім того, може бути дуже правдою, що для даного учасника права нога більша (або менша), ніж ліва. Однак, хоча розміри стоп у різних людей дещо відрізняються між стопами, немає причин вважати, що права стопа в середньому буде більшою, ніж ліва. Якщо вони є у вашій вибірці, це, мабуть, пов’язано з чимось про генетику людей у ​​вашому зразку, а не чимось властивим правому стопі. Нарешті, ${\rm side}$ здається параметром неприємності, а не тим, що вам насправді цікаво.

Дозвольте зазначити, що я склав цей приклад. Це може бути не корисним; це просто передати ідею впоперек. Наскільки я знаю, наявність великої правої та маленької лівої стопи була необхідною для виживання в палеоліті.

У такому випадку, чи має сенс (більше / менше / будь-який) сенс включати в модель як випадковий ефект? Які плюси та мінуси використання тут фіксованого проти випадкового ефекту? ${\rm side}$

Загальна проблема з "фіксованими" та "випадковими" ефектами полягає в тому, що вони не визначені послідовно. Ендрю Гельман цитує декілька з них:

(1) Фіксовані ефекти постійні для окремих людей, а випадкові ефекти різняться. Наприклад, у дослідженні зростання, модель з випадковими перехопленнями фіксованим нахилом b відповідає паралельним прямим для різних індивідів i , або модель y i t = a i + b t . Таким чином, Крефт та Де Лів (1998) розрізняють фіксовані та випадкові коефіцієнти.$a_i$$b$$i$$y_{it} = a_i + b_t$

(2) Ефекти є фіксованими, якщо вони цікаві самі по собі або випадкові, якщо є зацікавленість у основній популяції. Сірл, Казелла та МакКаллох (1992, розділ 1.4) вивчають цю різницю в глибині.

(3) "Коли зразок виснажує сукупність, фіксується відповідна змінна; коли вибірка є невеликою (тобто незначною) частиною популяції, відповідна змінна є випадковою. "(Green and Tukey, 1960)

(4) "Якщо ефект вважається реалізованим значенням випадкової величини, він називається випадковим ефектом". (LaMotte, 1983)

(5) Фіксовані ефекти оцінюються за допомогою найменших квадратів (або, загалом, максимальної ймовірності), а випадкові ефекти оцінюються за допомогою усадки («лінійне неупереджене прогнозування» в термінології Робінсона, 1991). Це визначення є стандартним у літературі про багаторівневе моделювання (див., Наприклад, Snijders and Bosker, 1999, розділ 4.2) та в економетриці.

і помічає, що вони не є послідовними. У своїй книзі Аналіз даних за допомогою регресії та багаторівневих / ієрархічних моделей він, як правило, уникає використання цих термінів, і в своїй роботі він зосереджується на фіксованих або різниться між групами перехопленнями і нахилами, оскільки

Фіксовані ефекти можна розглядати як особливі випадки випадкових ефектів, у яких дисперсія вищого рівня (у моделі (1.1) це буде ) встановлюється на 0 або ∞ . Отже, в наших рамках усі параметри регресії є "випадковими", а термін "багаторівневий" є всеохоплюючим.$\sigma^2_\alpha$$0$$\infty$

Особливо це стосується байєсівської системи - зазвичай використовується для змішаних моделей - де всі ефекти самі по собі є випадковими. Якщо ви думаєте, що Баєсіан, ви насправді не переймаєтесь "фіксованими" ефектами та точковими оцінками і не маєте проблем з усіма наслідками ставитися як до випадкових.

Чим більше я читаю на цю тему, тим більше я переконаний, що це скоріше ідеологічна дискусія щодо того, що ми можемо (або повинні) оцінити, і що ми можемо тільки передбачити (тут я міг би посилатися також на вашу власну відповідь ). Ви використовуєте випадкові ефекти, якщо у вас є випадкова вибірка можливих результатів, тому ви не переймаєтесь індивідуальними оцінками, і ви переймаєтесь скоріше результатами популяції, а не фізичними особами. Тож відповідь на ваше запитання залежить також від того, що ви думаєте, чи хочете ви чи можете оцінити фіксований ефект, отриманий вашими даними. Якщо всі можливі рівні включені у ваші дані, ви можетеОцініть фіксовані ефекти - також, як у вашому прикладі, кількість рівнів може бути невеликою, і це, як правило, не буде добре для оцінки випадкових ефектів, і для цього є деякі мінімальні вимоги .

Аргумент найкращого випадку

Скажімо, у вас є необмежена кількість даних і необмежена обчислювальна потужність. У цьому випадку ви можете уявити оцінку кожного ефекту як фіксованого, оскільки фіксовані ефекти дають вам більше гнучкості (дозволяють нам порівнювати окремі ефекти). Однак навіть у цьому випадку більшість із нас не бажають використовувати фіксовані ефекти для всього.

Наприклад, уявіть, що ви хочете моделювати результати іспитів шкіл у певному регіоні, і у вас є дані про всі 100 шкіл у регіоні. У цьому випадку ви можете загрожувати школам як зафіксовано - оскільки у вас є дані про всі рівні - але на практиці ви, швидше за все, вважаєте їх випадковими. Чому так?

1. Однією з причин є те, що загалом у подібних випадках вас не цікавлять ефекти окремих шкіл (і їх важко порівняти), а загальна мінливість між школами.

2. Ще один аргумент тут - модельне посидючість. Як правило, вас не цікавить модель "всілякі впливи", тому у свою модель ви включите кілька фіксованих ефектів, які ви хочете перевірити та контролювати для інших можливих джерел змінності. Це змушує моделі змішаних ефектів підходити до загального способу мислення про статистичне моделювання, коли ви щось оцінюєте і контролюєте інші речі. Зі складними (багаторівневими або ієрархічними) даними у вас є багато ефектів, тому деякі загрожують "фіксованими", а деякі "випадковими", щоб контролювати їх.

3. У цьому сценарії ви також не думаєте про школи як про кожний, який має свій, унікальний, вплив на результати, а про школи, які мають певний вплив загалом. Таким аргументом було б те, що ми вважаємо, що оцінити унікальний вплив окремих шкіл неможливо, тому ми загрожуємо їм як випадкова вибірка можливих шкільних ефектів.

Моделі змішаних ефектів знаходяться десь між сценаріями "все виправлено" та "все випадково". Дані, з якими ми стикаємося, змушують знизити наші очікування щодо оцінювання всього як фіксованих ефектів, тому ми вирішуємо, які ефекти ми хочемо порівняти та які ефекти ми хочемо контролювати, або загальне відчуття щодо їх впливу. Справа не лише в тому, що це за дані, а й у тому, як ми думаємо про дані під час їх моделювання.

Резюме

Дійсно часто говорять, що якщо всі можливі рівні факторів включені в змішану модель, то цей фактор слід розглядати як фіксований ефект. Це не обов'язково вірно ДВОМИ РОЗУМИ:

(1) Якщо кількість рівнів велика, то може бути доцільним трактувати [перекреслений] фактор як випадковий.

Я погоджуюся і з @Tim, і @RobertLong тут: якщо фактор має велику кількість рівнів, які всі включені в модель (наприклад, наприклад, усі країни світу; або всі школи в країні; або, можливо, все населення країни суб'єктів обстежують тощо), то немає нічого поганого в тому, щоб трактувати це як випадковий --- це може бути більш парсимонічним, могло б забезпечити деяку усадку тощо.

lmer(size ~ age + subjectID)                     # fixed effect
lmer(size ~ age + (1|subjectID))                 # random effect

(2) Якщо фактор вкладений в інший випадковий ефект, він повинен трактуватися як випадковий, незалежно від його кількості рівнів.

У цій темі була велика плутанина (див. Коментарі), оскільки інші відповіді стосуються справи №1 вище, але приклад, який ви навели, є прикладом іншої ситуації, а саме цього випадку №2. Тут є лише два рівні (тобто зовсім не "велика кількість"!), І вони вичерпують усі можливості, але вони вкладені всередині іншого випадкового ефекту , даючи вкладений випадковий ефект.

lmer(size ~ age + (1|subject) + (1|subject:side)  # side HAS to be random

---

Детальне обговорення вашого прикладу

Сторони та предмети у вашому уявному експерименті пов'язані, як класи та школи, на прикладі стандартної ієрархічної моделі. Можливо, у кожній школі (№1, №2, №3 та ін.) Є клас А та клас В, і ці два класи повинні бути приблизно однаковими. Ви не будете моделювати класи A і B як фіксований ефект з двома рівнями; це було б помилкою. Але ви не будете моделювати класи A і B як "окремий" (тобто перехрещений) випадковий ефект з двома рівнями; це теж буде помилкою. Замість цього ви будете моделювати класи як вкладений випадковий ефект всередині шкіл.

Дивіться тут: Перехрещені проти вкладених випадкових ефектів: як вони відрізняються і як їх правильно вказати в lme4?

$i=1\ldots n$$j=1,2$

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk}+\epsilon_i + \color{red}{\epsilon_{ij}} + \epsilon_{ijk}$$ $$\epsilon_i\sim\mathcal N(0,\sigma^2_\mathrm{subjects}),\quad\quad\text{Random intercept for each subject}$$ $$\color{red}{\epsilon_{ij}}\sim\mathcal N(0,\sigma^2_\text{subject-side}),\quad\quad\text{Random int. for side nested in subject}$$ $$\epsilon_{ijk}\sim\mathcal N(0,\sigma^2_\text{noise}),\quad\quad\text{Error term}$$

Як ви самі писали, "немає підстав вважати, що права нога в середньому буде більшою, ніж ліва." Отже, взагалі не повинно бути «глобального» ефекту (ні фіксованого, ні випадкового схрещування) правої чи лівої стопи; натомість кожен предмет може подумати, що він має "одну" ногу та "іншу" стопу, і цю мінливість ми повинні включати в модель. Ці "одні" та "інші" ноги вкладені в предмети, отже, вкладені випадкові ефекти.

Більше деталей у відповідь на коментарі. [26 вересня]

Моя модель вище включає Side як вкладений випадковий ефект у Subjects. Ось альтернативна модель, запропонована @Robert, де Side є фіксованим ефектом:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk} + \color{red}{\delta\cdot\text{Side}_j}+\epsilon_i + \epsilon_{ijk}$$

$ij$

Це не може.

Те саме стосується гіпотетичної моделі @ gung із Side як перекреслений випадковий ефект:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk} +\epsilon_i + \color{red}{\epsilon_j} + \epsilon_{ijk}$$

Він також не враховує залежності.

Демонстрація за допомогою моделювання [2 жовтня]

Ось пряма демонстрація в Р.

Я генерую набір іграшок із п’ятьма предметами, виміряними на обох ногах протягом п’яти років поспіль. Ефект віку лінійний. Кожен предмет має випадковий перехоплення. І кожен предмет має одну з ніг (ліву чи праву) більше, ніж іншу.

set.seed(17)

demo = data.frame(expand.grid(age = 1:5,
                              side=c("Left", "Right"),
                              subject=c("Subject A", "Subject B", "Subject C", "Subject D", "Subject E")))
demo$size = 10 + demo$age + rnorm(nrow(demo))/3

for (s in unique(demo$subject)){
  # adding a random intercept for each subject 
  demo[demo$subject==s,]$size = demo[demo$subject==s,]$size + rnorm(1)*10

  # making the two feet of each subject different     
  for (l in unique(demo$side)){
    demo[demo$subject==s & demo$side==l,]$size = demo[demo$subject==s & demo$side==l,]$size + rnorm(1)*7
  }
}

plot(1:50, demo$size)

Вибачте за мої жахливі вміння R. Ось як виглядають дані (кожна п’ять послідовних п'яти крапок - це одна нога однієї людини, виміряна роками; кожна десять послідовних точок - це дві фути однієї людини):

Тепер ми можемо помістити купу моделей:

require(lme4)
summary(lmer(size ~ age + side + (1|subject), demo))
summary(lmer(size ~ age + (1|side) + (1|subject), demo))
summary(lmer(size ~ age + (1|subject/side), demo))

Всі моделі включають фіксований ефект ageта випадковий ефект subject, але трактуються по- sideрізному.

1. sideage$t=1.8$

2. sideage$t=1.4$

3. sideage$t=37$

Це чітко показує, що sideслід трактувати як вкладений випадковий ефект.

Нарешті, у коментарях @Robert запропонував включити глобальний ефект sideяк контрольну змінну. Ми можемо це зробити, зберігаючи вкладений випадковий ефект:

summary(lmer(size ~ age + side + (1|subject/side), demo))
summary(lmer(size ~ age + (1|side) + (1|subject/side), demo))

side$t=0.5$side

Щоб додати до інших відповідей:

Я не думаю, що ви логічно зобов'язані завжди використовувати фіксований ефект у спосіб, описаний в ОП. Навіть коли звичні визначення / вказівки щодо того, коли слід ставитися до фактора як до випадкового, не дотримані, я, можливо, схильний би все-таки моделювати його як випадковий, коли існує велика кількість рівнів, так що трактування фактору як фіксованого вимагало б багатьох ступенів свободу та результат у громіздкій та менш парсимонізованій моделі.

Якщо ви говорите про ситуацію, коли ви знаєте всі можливі рівні фактору, що цікавить, а також маєте дані для оцінки ефектів, то, безумовно, вам не потрібно представляти рівні з випадковими ефектами.

Причина того, що ви хочете встановити випадковий ефект на фактор, полягає в тому, що ви хочете зробити висновок про вплив усіх рівнів цього фактору, які, як правило, невідомі. Щоб зробити такий висновок, ви накладаєте припущення, що ефекти всіх рівнів утворюють нормальний розподіл загалом. Але, враховуючи встановлення проблеми, ви можете оцінити ефекти всіх рівнів. Тоді, звичайно, немає необхідності встановлювати випадкові ефекти і нав'язувати додаткові припущення.

Це як ситуація, коли ви можете отримати всі цінності сукупності (таким чином, ви знаєте справжню середню), але ви намагаєтесь взяти великий вибірки з сукупності і використовувати центральну граничну теорему для наближення розподілу вибірки, а потім зробити висновок про справжню середню.