На практиці як обчислюється матриця коваріації випадкових ефектів у моделі змішаних ефектів?

В основному, мені цікаво, як застосовуються різні структури коваріації та як обчислюються значення всередині цих матриць. Такі функції, як lme (), дозволяють нам вибрати, яку структуру ми б хотіли, але я хотів би знати, як вони оцінюються.

Розглянемо модель лінійних змішаних ефектів .$Y=X\beta+Zu+\epsilon$

Де і . Крім того:ϵ d ∼ N ( 0 , R $u \stackrel{d}{\sim} N(0,D)$$\epsilon \stackrel{d}{\sim} N(0,R)$

$Var(Y|X,Z,\beta,u)=R$

$Var(Y|X,\beta)=Z'DZ+R=V$

Для простоти будемо вважати .$R=\sigma^2I_n$

В основному моє запитання: як саме оцінюється з даних для різних параметрів? Скажімо, якщо припустити, що є діагональним (випадкові ефекти незалежні) або повністю параметризований (випадок, який мене на даний момент більше цікавить) або будь-який з інших параметрів? Чи є для них прості оцінки / рівняння? (Це, без сумніву, буде ітеративно оцінено.)D $D$$D$$D$

EDIT: Із книги «Компоненти варіації» (Searle, Casella, McCulloch 2006) мені вдалося просвітити наступне:

Якщо то компоненти дисперсії оновлюються та обчислюються наступним чином:$D=\sigma^2_uI_q$

$\sigma_u^{2(k+1)} = \frac{\hat{\textbf{u}}^T\hat{\textbf{u}}} {\sigma_u^{2(k)}\text{trace}(\textbf{V}^{-1}\textbf{Z}^T\textbf{Z})}$

$\sigma_e^{2(k+1)} = Y'(Y-X{\hat{\beta}}^{(k)}-{Z}\hat{{u}}^{(k)})/n$

Де і є -ми оновленнями відповідно. у (до)$\hat{\beta}^{(k)}$$\hat{{u}}^{(k)}$$k$

Чи існують загальні формули, коли - діагональна або повністю параметризована? Я здогадуюсь у повністю параметризованому випадку розклад Холеського використовується для забезпечення позитивної визначеності та симетрії.$D$

Пов'язаний Goldstein .pdf @probabilityislogic - це чудовий документ. Ось список деяких посилань, які обговорюють ваше конкретне питання:

Харвілл, 1976: Розширення теореми Гаусса-Маркова на включення оцінки випадкових ефектів .

Harville, 1977: Максимальна ймовірність підходів до оцінки компонентів дисперсії та пов'язаних з цим проблем .

Laird and Ware, 1982: Моделі випадкових ефектів для поздовжніх даних .

McCulloch, 1997: Максимальні алгоритми ймовірності для узагальнених лінійних змішаних моделей .

Керівництво SAS користувача Уривок для змішаної процедури має багато інформації про оцінці коваріації і багатьох джерелах більш (починаючи зі стор 3968).

Існує численні підручники з якості аналізу даних по поздовжніх / повторних заходах, але ось дещо детальніше про впровадження в R (від авторів lme4та nlme):

Pinheiro and Bates, 2000: Моделі змішаних ефектів у S та S-PLUS .

EDIT : Ще один релевантний документ: Lindstrom and Bates, 1988: Алгоритми Ньютона-Рафсона та Е. М. для лінійних моделей змішаних ефектів для даних повторних заходів .

EDIT 2 : І ще: Jennrich and Schluchter, 1986: Неврівноважені моделі повторних заходів зі структурованими матрицями коваріації .

Гарві Голдштейн - непогане місце для початку.

Як і у більшості складних методів оцінки, вона залежить від програмного пакету. Однак часто те, що робиться, відбувається в наступних кроках:

1. Виберіть початкове значення для (скажімо ) та (скажімо, ). ВстановітьD 0 R R 0 i = $D$$D_0$$R$$R_0$$i=1$
2. Умовно і , оцініть і та . Виклик оцінки і і . R = R i - 1 β u ϵ β i u i ϵ $D=D_{i-1}$$R=R_{i-1}$$\beta$$u$$\epsilon$$\beta_i$$u_i$$\epsilon_i$
3. При умови, і і , оцінка і . Назвіть оцінки та u = u i ϵ = ϵ i D R D i R $\beta=\beta_i$$u=u_i$$\epsilon=\epsilon_i$$D$$R$$D_i$$R_i$
4. Перевірка на конвергенцію. Якщо не конвергується, встановіть і поверніться до кроку 2$i=i+1$

Одним простим і швидким методом є IGLS, який заснований на ітерації між двома процедурами найменших квадратів, і детально описаний у другій главі. Недоліком є ​​те, що він не працює добре для дисперсійних компонентів, близьких до нуля.

У наступній статті дано рішення закритої форми для D:

• J. Shao, Mari Palta & Roger Qu, (1998), "Оцінка найменших квадратів параметрів регресії в моделях змішаних ефектів з немірними коваріатами ", " Комунікації в статистиці - теорія та методи" , 27: 6, 1487-1501, DOI: 10.1080 / 03610929808832172

ще два посилання, які можуть бути корисними компонентами варіації, виконаними Серлем Ет та Лінеком та Уолшевим генетикою та аналізом кількісних ознак . Книга Лінча та Уолша дає покроковий алгоритм, якщо я пам'ятаю правильно