Чому для вибору серед вкладених моделей var-covar потрібно використовувати REML (замість ML)?

Різні описи вибору моделі щодо випадкових ефектів лінійних змішаних моделей дають інструкцію використовувати REML. Я знаю різницю між REML та ML на якомусь рівні, але я не розумію, чому REML слід використовувати, оскільки ML є упередженою. Наприклад, чи неправильно проводити LRT за параметром дисперсії звичайної моделі розподілу за допомогою ML (див. Код нижче)? Я не розумію, чому важливіше бути неупередженим, ніж бути ML, у виборі моделі. Я думаю, що остаточна відповідь повинна бути "тому, що вибір моделі працює краще з REML, ніж з ML", але я хотів би знати трохи більше, ніж це. Я не читав похідні LRT та AIC (я недостатньо хороший, щоб їх ґрунтовно зрозуміти), але якщо REML явно використовується у похідних, просто знаю, що насправді буде достатньо (наприклад,

n <- 100
a <- 10
b <- 1
alpha <- 5
beta <- 1
x <- runif(n,0,10)
y <- rnorm(n,a+b*x,alpha+beta*x)

loglik1 <- function(p,x,y){
   a <- p[1]
   b <- p[2]
   alpha <- p[3]
  -sum(dnorm(y,a+b*x,alpha,log=T))
}

loglik2 <- function(p,x,y){
   a <- p[1]
   b <- p[2]
   alpha <- p[3]
   beta <- p[4]
  -sum(dnorm(y,a+b*x,alpha+beta*x,log=T))
}

m1 <- optim(c(a,b,alpha),loglik1,x=x,y=y)$value
m2 <- optim(c(a,b,alpha,beta),loglik2,x=x,y=y)$value
D <- 2*(m1-m2)
1-pchisq(D,df=1) # p-value

— каламутити
джерело

Щодо REML та AIC, ви повинні ознайомитися з цим питанням .

— Елвіс

Відповіді:

Дуже коротка відповідь: REML - це ML, тому тест на основі REML все одно правильний. Оскільки оцінка параметрів дисперсії за допомогою REML краща, її природно використовувати.

Чому REML є ML? Розглянемо , наприклад , модель з , , і є вектор фіксованих ефектів, - вектор випадкових ефектів, а . Обмежена ймовірність може бути отримана, розглядаючи контрасти для "зняття" фіксованих ефектів. Точніше, нехай , таким чином, що і (тобто стовпці

Y = X β + Z u + e

$Y = X\beta + Zu + e \def\R{\mathbb{R}}$

X \in R^{n \times p}

$X\in\R^{n\times p}$

Z \in R^{n \times q}

$Z\in\R^{n\times q}$

β \in R^{p}

$\beta \in \R^p$

u \sim N (0, τ I_{q})

$u \sim \mathcal N(0, \tau I_q)$

e \sim N (0, σ^{2} I_{n})

$e \sim \mathcal N(0, \sigma^2 I_n)$

n - p

$n-p$

C \in R^{(n - p) \times n}

$C \in \R^{(n-p)\times n}$

C X = 0

$CX = 0$

C C^{'} = I_{n - p}

$CC' = I_{n-p}$

C^{'}

$C'$ є ортонормальною основою векторного простору, ортогнального простору, породженому стовпцями ); то з , і ймовірність для заданого є обмеженою ймовірністю.

X

$X$

C Y = C Z u + ϵ

$CY = CZ u + \epsilon$

ϵ \sim N (0, σ^{2} I_{n - p})

$\epsilon \sim \mathcal N(0, \sigma^2 I_{n-p})$

τ, σ^{2}

$\tau, \sigma^2$

C Y

$CY$

— Елвіс
джерело

Приємна відповідь (+1), чи правильно я стверджую, що матриця в середньому залежить від моделі? Тож ви можете лише порівняти оцінки REML для тієї ж матриці ?

C

$C$

C

$C$

Так, залежить від (відповідь я відредагую за хвилину, щоб вона стала зрозумілою), тому ваші вкладені моделі повинні мати однакові змінні з фіксованими ефектами.

C

$C$

X

$X$

— Елвіс

REML це НЕ ML! ML однозначно визначається для даної ймовірнісної моделі , але REML залежить від параметрів фіксованих ефектів. Дивіться, наприклад, цей коментар Дуга Бейтса (а також багато історичних на R-SIG-змішаних моделях).

— Лівій

@Livius Я думаю, що моя відповідь досить чітко визначає, як будується обмежена ймовірність. Це є ймовірністю того , що це просто не ймовірність того, враховуючи спостережуване в моделі , написаної в першому відображається рівнянні, але , з огляду на прогнозоване вектор в моделі написаної в другому відображається рівняння. REML - це ML, отриманий з цієї ймовірності.

Y

$Y$

C Y

$CY$

— Елвіс

Я думаю, що це суть сенсу протестів DBates з цього питання: це інша модель, і це модель, для якої порівняння важкі, оскільки модель і параметризація переплітаються. Таким чином , ви не обчислення в ML для вашої оригінальної моделі , але в ML для іншої моделі , яка витікає з конкретної параметризації вихідної моделі. Отже, вбудовані в REML моделі з вкладеними структурами з фіксованими ефектами більше не є вкладеними моделями (як ви згадували вище). Але ML-пристосовані моделі все ще вкладені, оскільки ви максимально збільшуєте ймовірність вказаної моделі.

— Лівій

Тести коефіцієнта ймовірності - це тести статистичної гіпотези, які базуються на співвідношенні двох ймовірностей. Їх властивості пов'язані з максимальною оцінкою ймовірності (MLE). (див., наприклад, Оцінка максимальної ймовірності (MLE)) у простому плані ).

У вашому випадку (див. Питання) ви хочете "вибрати" серед двох вкладених моделей var-covar, скажімо, ви хочете вибрати між моделлю, де var-covar і моделлю, де var-covar де друга (проста модель) - це окремий випадок першого (загального). $\Sigma_g$ $\Sigma_s$

Тест заснований на коефіцієнті ймовірності Де та є максимальними оцінками ймовірності. $LR=-2 (log(\mathcal{L}_s(\hat{\Sigma}_s)) - log(\mathcal{L}_g(\hat{\Sigma}_g) )$ $\hat{\Sigma}_s$ $\hat{\Sigma}_g$

Статистичний є, асимптотично (!) . $LR$ $\chi^2$

Відомо, що оцінки максимальної вірогідності є послідовними, однак у багатьох випадках вони є упередженими. Це стосується оцінок MLE для дисперсії, та , це може показати, що вони упереджені. Це пояснюється тим, що вони обчислюються за допомогою середнього значення, отриманого з даних, таким чином, що розкид навколо цього 'оціночного середнього' є меншим, ніж розкид навколо справжнього середнього (див., Наприклад, інтуїтивне пояснення ділення на при обчисленні стандартного відхилення ? ) $\hat{\Sigma}_s$ $\hat{\Sigma}_g$ $n-1$

Статистичний вище - у великих зразках, це лише тому, що у великих зразках та сходяться до своїх справжніх значень (MLE послідовний ). (Примітка: у вищенаведеному посиланні для дуже великих зразків, що ділиться на n або на (n-1), це не має значення) $LR$ $\chi^2$ $\hat{\Sigma}_s$ $\hat{\Sigma}_g$

Для менших зразків оцінки MLE для та будуть упередженими, тому розподіл буде відхилятися від , тоді як оцінки REML даватимуть неупереджені оцінки для та , тому, якщо ви використовуєте для вибору моделі var-covar, REML оцінює, то для менших зразків буде краще наближена до . $\hat{\Sigma}_s$ $\hat{\Sigma}_g$ $LR$ $\chi^2$ $\Sigma_s$ $\Sigma_g$ $LR$ $\chi^2$

Зауважте, що REML слід використовувати лише для вибору серед вкладених вар-коварних структур моделей з однаковим середнім рівнем, для моделей з різними засобами REML не підходить, для моделей з різними засобами слід використовувати ML.

Заява "Статистичний LR, асимптотично (!) Χ2", в цьому випадку не відповідає дійсності. Це тому, що якщо вкладено в , то знаходиться на межі . У цьому випадку розподіл не виконується. Наприклад, дивіться тут

Σ_{s}

$\Sigma_s$

Σ_{g}

$\Sigma_g$

Σ_{s}

$\Sigma_s$

Σ_{g}

$\Sigma_g$

χ^{2}

$\chi^2$

— Cliff AB

@Cliff AB, це пояснюється нижче цього твердження, і це є причиною, коли ви повинні використовувати REML.

-4

У мене є відповідь, яка має більше стосунку здорового глузду, ніж зі статистикою. Якщо ви подивитесь на PROC MIXED в SAS, оцінку можна виконати за допомогою шести методів:

http://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_mixed_sect008.htm

але REML є типовим. Чому? Мабуть, практичний досвід показав, що він має найкращі результати (наприклад, найменший шанс виникнення проблем конвергенції). Тому, якщо ваша мета досяжна за допомогою REML, то має сенс використовувати REML на відміну від інших п'яти методів.

— Джеймс
джерело

Це стосується "великої теорії вибірки" та необ'єктивності оцінок MLE, дивіться мою відповідь.

"Це за замовчуванням в SAS" - це не прийнятна відповідь на питання "чому" на цьому веб-сайті.

— Павло

p-значення для змішаних моделей, що надаються SAS за замовчуванням, не доступні для проектування в бібліотеці lme4 для R, оскільки вони не є надійними ( stat.ethz.ch/pipermail/r-help/2006-May/094765.html ). Тож "SAS за замовчуванням" може бути навіть неправильним.

— Тім