Інтуїція щодо оцінки параметрів у змішаних моделях (параметри дисперсії та умовні режими)

Я багато разів читав, що випадкові ефекти (BLUPs / умовні режими для, скажімо, предметів) не є параметрами лінійної моделі змішаних ефектів, а натомість можуть бути отримані з розрахункових параметрів дисперсії / коваріації. Наприклад, Рейнгольд Клієль та ін. (2011) стан:

Випадкові ефекти - це відхилення суб'єктів від великої середньої RT та відхилення суб'єктів від параметрів фіксованого ефекту. Вони вважаються незалежними та нормально розподіленими із середнім значенням 0. Важливо визнати, що ці випадкові ефекти не є параметрами ЛММ - лише їх відхилення та коваріації. [...] Параметри LMM у поєднанні з даними суб'єктів можуть використовуватися для генерування "прогнозів" (умовних режимів) випадкових ефектів для кожного суб'єкта.

Чи може хтось дати інтуїтивне пояснення, як можна оцінити параметри дисперсії випадкових ефектів, не використовуючи / оцінюючи випадкові ефекти?

mixed-model intuition blup

— статмеркур
джерело

Відповіді:

Розглянемо просту лінійну змішану модель, наприклад, випадкову модель перехоплення, де ми оцінюємо залежність від у різних предметів і припускаємо, що у кожного суб'єкта є свій випадковий перехоплення: Тут перехоплення моделюються як такі, що надходять з гауссового розподілу а випадковий шум також є гауссовим $y$ $x$

у = а + б х + c_{i} + ϵ .

$y = a + bx + c_i + \epsilon.$

c_{i}

$c_i$

c_{i} \sim N (0, τ^{2})

$c_i\sim \mathcal N(0, \tau^2)$

Усинтаксисі ця модель буде записана як.

ϵ \sim N (0, σ^{2}) .

$\epsilon \sim \mathcal N(0, \sigma^2).$ lme4y ~ x + (1|subject)

Доцільно переписати вищезазначене так:

\begin{matrix} у ∣ c \sim N (а + б х + c, σ^{2}) \\ c \sim N (0, τ^{2}) \end{matrix}

$\begin{gather} y \mid c \sim \mathcal N(a + bx + c, \sigma^2) \\ c \sim \mathcal N(0, \tau^2) \end{gather}$

Це більш формальний спосіб вказати ту саму ймовірнісну модель. З цієї постановки ми можемо прямо бачити, що випадкові ефекти не є "параметрами": це незауважені випадкові величини. Тож як можна оцінити параметри дисперсії, не знаючи значень ? $c_i$ $c$

$y$ $c$ $c$ $y\mid c$ $y$ $c$

$\mathcal N(a + bx, \sigma^2+\tau^2)$ $n$ $\mathbf y$

у \sim N (а + б х, Σ)

$\mathbf y \sim \mathcal N(a+b\mathbf x, \boldsymbol\Sigma)$

Σ = σ^{2} I_{n} + τ^{2} I_{N} \otimes 1_{M}

$\boldsymbol\Sigma=\sigma^2 \mathbf I_n + \tau^2 \mathbf I_N \otimes \mathbf 1_M$

σ^{2}

$\sigma^2$

τ^{2}

$\tau^2$

c

$c$

c_{i}

$c_i$

$a$ $b$ $\tau^2$ $\sigma^2$ $c_i$ $i$

— Амеба каже Відновити Моніку
джерело

у \sim N (а + б х, σ^{2} Я)

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \sigma^2 I)$

у \sim N (а + б х, Σ)

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \Sigma)$

— Секст Емпірік

c

$c$

c

$c$

c

$c$

Я думаю, що я просто не отримую кроку інтеграції. Як @Martijn Weterings зазначив невеликий (R код) приклад чи посилання, можна знайти, що це було б чудово!

— statmerkur

Дякую за те, що ви прийняли мою відповідь та нагородили мене щедротою @statmerkur, але це дуже погано, що вона залишається незрозумілою. Спробую придумати приклад. Я підкажу вам, коли оновлю відповідь.

— Амеба каже: Поновіть Моніку

@statmerkur У відповідь на це питання я демонструю ручний розрахунок моделі змішаних ефектів (вручну в сенсі написання функції ймовірності, оптимізація все ще проводиться стандартною функцією оптимізації в R) stats.stackexchange.com/a/ 337348/164061

— Секст

Ви можете легко оцінити параметри дисперсії та коваріації, не покладаючись на випадкові ефекти, використовуючи фіксовані ефекти (див. Тут для обговорення фіксованих ефектів проти випадкових ефектів; пам’ятайте про те, що існують різні визначення цих термінів).

Фіксовані ефекти можна легко отримати, додавши (бінарну) змінну індикатора для кожної групи (або кожного періоду часу або того, що ви думаєте використовувати як випадкові ефекти; це еквівалентно перетворенню в межах). Це дозволяє легко оцінити фіксовані ефекти (які можна розглядати як параметр).

Припущення з фіксованими ефектами не вимагає від вас припущення щодо розподілу фіксованих ефектів, ви можете легко оцінити дисперсію фіксованих ефектів (хоча це надзвичайно шумно, якщо кількість спостережень у кожній групі невелика; вони мінімізуються зміщення за рахунок набагато більшої дисперсії порівняно з випадковими ефектами, оскільки ви втрачаєте один ступінь свободи для кожної групи, додаючи ці змінні показники). Ви також можете оцінити коваріації між різними наборами фіксованих ефектів або між фіксованими ефектами та іншими коваріатами. Ми це зробили, наприклад, у статті під назвою « Конкурентний баланс та асортіальне поєднання в німецькій Бундеслізі, щоб оцінити, чи краще футболісти все більше грають за кращі команди.

Випадкові ефекти потребують попереднього припущення про коваріацію. У класичних моделях випадкових ефектів ви припускаєте, що випадкові ефекти є як помилка, і вони не залежать від інших коваріатів (так що ви можете їх ігнорувати та використовувати OLS та отримувати ще послідовні, хоча й неефективні оцінки для іншого параметра, якщо припущення моделі випадкових ефектів справедливо).

Більш детальна технічна інформація доступна тут . Ендрю Гелман також має багато інтуїтивніших робіт з цього приводу в своїй чудовій книзі Аналіз даних за допомогою регресії та багаторівневих / ієрархічних моделей

— Arne Jonas Warnke
джерело

Я маю на увазі параметри дисперсії (спів) випадкових ефектів (див. Мою редакцію).

— statmerkur

Я не думаю, що це відповідає на питання.

— Амеба каже: Відновити Моніку