Що таке "обмежена максимальна ймовірність" і коли її слід використовувати?

73

У рефераті цієї статті я прочитав :

"Процедура максимальної ймовірності (ML) Хартлі ауд Рао модифікується шляхом адаптації трансформації від Паттерсона і Томпсона, яка розділяє ймовірність, що забезпечує нормальність на дві частини, причому одна не має фіксованих ефектів. Максимізація цієї частини дає результат, що називається обмеженою максимальною ймовірністю. (REML) оцінки. "

Я також прочитав у рефераті цього документу, що REML:

"враховує втрати в ступенях свободи в результаті оцінки фіксованих ефектів."

На жаль, я не маю доступу до повного тексту цих робіт (і, мабуть, не зрозумів би, чи так).

Також, які переваги REML проти ML? За яких обставин можна віддати перевагу REML перед ML (або навпаки) при встановленні моделі змішаних ефектів? Будь ласка, дайте пояснення, яке підходить для тих, хто має середню школу (або трохи далі) з математики!

mixed-model maximum-likelihood reml

— Джо Кінг
джерело

дивіться stats.stackexchange.com/questions/99895/…

62

Відповідно до відповіді ocram, ML є упередженою для оцінки компонентів дисперсії. Але зауважте, що зміщення стає меншим для більших розмірів вибірки. Отже, відповідаючи на ваші запитання " ... які переваги REML проти ML? За яких обставин REML може віддавати перевагу МЛ (або навпаки) при встановленні моделі змішаних ефектів? ", Для невеликих розмірів вибірки кращим є REML. Однак тести на коефіцієнт імовірності для REML вимагають точно однакових специфікацій фіксованих ефектів в обох моделях. Отже, для порівняння моделей з різними фіксованими ефектами (загальний сценарій) з тестом LR, слід використовувати ML.

REML враховує оцінену кількість (фіксованих ефектів) параметрів, втрачаючи 1 ступінь свободи для кожного. Це досягається шляхом застосування МЛ до залишків найменших квадратів, які не залежать від фіксованих ефектів.

— Роберт Лонг
джерело

8

Дійсно, оцінювач REML дисперсійної складової зазвичай (приблизно) неупереджений, тоді як оцінювач ML негативно зміщений. Однак Оцінювач ML, як правило, має нижчу середньоквадратичну помилку (MSE), ніж оцінювач REML. Отже, якщо ви хочете бути в середньому правильними, йдіть з REML, але ви платите за це з більшою варіативністю в оцінках. Якщо ви хочете в середньому наблизитися до справжнього значення, перейдіть з ML, але ви платите за це з негативним ухилом.

— Вольфганг

3

n

$n$

(n - 1)

$(n-1)$

"ML є упередженою для оцінки дисперсійних компонентів". Чи означає це дисперсію випадкових ефектів або також стандартні похибки коефіцієнтів фіксованого ефекту?

— скан

54

Ось швидка відповідь ...

Стандартний ілюстративний приклад

$y = (y_1, \dotsc, y_n)$ $\mathrm{N}(\mu, \sigma^2$ $\mu$ $\sigma^2$ $\sigma^2$ $\sigma^2$

{\hat{σ}}_{ML}^{2} = \frac{1}{н} \sum_{i = 1}^{н} (у_{i} - \bar{у})^{2}

$\hat{\sigma}^2_{\textrm{ML}} = \frac{1}{n} \sum_{i=1}^n (y_i -\bar{y})^2$

\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}

$\bar{y} = \frac{1}{n} \sum_{i=1}^n y_i$

μ

$\mu$

Е ({\hat{σ}}_{ML}^{2}) = \frac{н - 1}{н} σ^{2} .

$\mathrm{E}(\hat{\sigma}^2_{\textrm{ML}}) = \frac{n-1}{n} \sigma^2.$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

\frac{1}{n} \sum_{i = 1}^{n} {((y_{i} - μ) + (μ - \bar{y}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left((y_i - \mu) + (\mu - \bar{y})\right)^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

μ

$\mu$

σ^{2}

$\sigma^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ $\bar{x}$

σ^{2}

$\sigma^2$

μ

$\mu$

$y$ $Ky$ $K$ $\mathrm{E}[Ky] = 0$

Оцінка REML часто використовується в більш складних умовах змішаних моделей. Кожна книга на змішаних моделях має розділ, що пояснює оцінку REML більш детально.

Редагувати

@Joe King: Ось одна з моїх улюблених книг про змішані моделі, яка повністю доступна в Інтернеті. Розділ 2.4.2 стосується оцінки складових дисперсії. Приємного читання :-)

— окрам
джерело

Дякую - це корисно, хоча я не маю легкого доступу до книг на змішаних моделях. Скажіть, будь ласка, свою відповідь на 2 цитати в моєму дописі?

— Джо Кінг

Цікаво, як багатоваріантний Гаусс змінює історію? stats.stackexchange.com/questions/167494/…

— Сіббс Азартні ігри

9

Метод ML недооцінює параметри дисперсії, оскільки передбачає, що фіксовані параметри відомі без визначеності при оцінці параметрів дисперсії.

Метод REML використовує математичний трюк, щоб зробити оцінки параметрів дисперсії незалежними від оцінок для фіксованих ефектів. REML працює, спочатку отримуючи залишки регресії для спостережень, змодельованих частиною фіксованих ефектів моделі, ігноруючи в цей момент будь-які компоненти дисперсії.

Оцінки ML є неупередженими щодо фіксованих ефектів, але упередженими для випадкових ефектів, тоді як оцінки REML є упередженими для фіксованих ефектів і неупередженими щодо випадкових ефектів.

— скан
джерело