Чому моделі змішаних ефектів вирішують залежність?

Скажіть, нас цікавить, як на оцінку студентських іспитів впливає кількість годин, які вивчають ці студенти. Щоб дослідити цей взаємозв'язок, ми могли б запустити таку лінійну регресію:

$$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + e_i$$

Але якщо ми відіб’ємо учнів з кількох різних шкіл, ми можемо очікувати, що учні в одній школі будуть більш схожими один на одного, ніж учні з різних шкіл. Щоб вирішити цю проблему залежності, порада в багатьох підручниках / в Інтернеті полягає в тому, щоб запустити змішані ефекти і вступити до школи як випадковий ефект. Тож модель стала б:

$$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + \text{school}_j + e_i$$ Але чому це вирішує задачу залежності, яка була присутня в лінійній регресії?

Будь ласка, відповідайте так, ніби ви розмовляєте з 12-річним

Включення випадкових термінів у модель - це спосіб індукувати деяку структуру коваріації між класами. Випадковий коефіцієнт для школи викликає ненульову коваріацію між різними учнями однієї школи, тоді як це коли школа відрізняється.$0$

Запишемо вашу модель як де s індексує школу, а i індексує учнів (у кожній школі). Терміни школа s - незалежні випадкові величини, намальовані в N ( 0 , τ ) . В е з , я незалежні випадкові величини , зроблені в N ( 0 ,

$$Y_{s,i} = \alpha + \text{hours}_{s,i} \beta + \text{school}_s + e_{s, i}$$ $s$$i$$\text{school}_s$$\mathcal N(0, \tau)$$e_{s, i}$ .$\mathcal N(0, \sigma^2)$

Цей вектор очікував значення

$$\left[ \alpha + \text{hours}_{s,i} \beta \right]_{s,i}$$ визначається кількістю відпрацьованих годин.

Коваріація між та Y s ′ , i ′ дорівнює 0, коли s ≠ s $Y_{s,i}$$Y_{s',i'}$$0$$s \ne s'$ , що означає, що відхилення оцінок від очікуваних значень не залежить, коли учні не в одній школі.

Коваріація між і Y з , я ' є τ , коли я ≠ I ' , а дисперсія Y s , я це τ + σ $Y_{s,i}$$Y_{s,i'}$$\tau$$i \ne i'$$Y_{s,i}$$\tau + \sigma^2$ : ранги студентів з тих же шкіл будуть корелювати відхилення від очікуваних значень .

Приклад та змодельовані дані

Ось коротке моделювання R для п’ятдесяти учнів п’яти шкіл (тут я беру ); імена змінної є самодокументуванням: $\sigma^2 = \tau = 1$

set.seed(1)
school        <- rep(1:5, each=10)
school_effect <- rnorm(5)

school_effect_by_ind <- rep(school_effect, each=10)
individual_effect    <- rnorm(50)

$\text{school}_s + e_{s, i}$

plot(individual_effect + school_effect_by_ind, col=school, pch=19, 
     xlab="student", ylab="grades departure from expected value")
segments(seq(1,length=5,by=10), school_effect, seq(10,length=5,by=10), col=1:5, lty=3)

$\text{school}_s$$\alpha + \text{hours} \beta$ , оцінка визначається часом, витраченим на роботу. Як результат, учні однієї школи схожі між собою, ніж учні різних шкіл, як ви заявили у своєму запитанні.

Матриця дисперсії для цього прикладу

$\text{school}_s$$e_{s,i}$

$$\left[\begin{matrix} A & 0 & 0 & 0 & 0 \\ 0 & A & 0 & 0 & 0 \\ 0 & 0 & A & 0 & 0 \\ 0 & 0 & 0 & A & 0 \\ 0 & 0 & 0 & 0 & A \end{matrix}\right]$$ $10\times 10$$A$ $$A = \left[\begin{matrix} 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 \end{matrix}\right].$$