Чому важко включити невизначеність у випадкові ефекти, роблячи прогнози зі змішаних моделей?

На R-sig-ME є кілька ниток про отримання довірчих інтервалів для прогнозування з використанням lme4та nlmeв Р. Наприклад, тут і тут у 2010 році, включаючи деякі коментарі Дугласа Бейтса, одного з авторів обох пакетів. Я вагаюся, щоб його цитувати дослівно, боюсь, щоб їх не вивели з контексту, але все одно, один коментар він робить:

"Ви поєднуєте параметри та випадкові змінні у своїх прогнозах, і я не впевнений, що це означало б оцінити мінливість цих прогнозів. Байєсівський, можливо, зможе зрозуміти це, але я не можу обернути його головою. " https://stat.ethz.ch/pipermail/r-sig-mixed-models/2010q1/003447.html

Я знаю, що пакет Bayesian glmm MCMCglmmможе створювати достовірні інтервали для прогнозів.

Останнім часом розроблена версія для lme4github отримала predictметод, але він супроводжується наступним коментарем:

"@note Немає можливості для обчислення стандартних помилок прогнозування, оскільки важко визначити ефективний метод, який включає в себе невизначеність параметрів дисперсії; для цього завдання рекомендуємо \ code {\ link {bootMer}}." https://github.com/lme4/lme4/blob/master/R/predict.R

Отже, чому важко включити невизначеність у випадкові ефекти, роблячи передбачення зі змішаних моделей у частофілістській обстановці?

mixed-model

— П Селлаз
джерело

Відповіді:

Я не впевнений у коментарі методу прогнозування, але головна проблема пов’язана із створенням легко інтерпретованих дисперсійних заходів, а не самих варіативних варіантів. Бейтс не коментує в першій цитаті питання про те, чи можете ви це зробити, а саме те, що це означає.

Візьміть просту багаторівневу модель дворівневої конструкції повторних заходів. Скажімо, у вас є такі дані, де кожен рядок є предметом:

введіть тут опис зображення

У lmerмоделі можна виразити так:

y ~ x + (1|subject)

Ви прогнозуєте значення у від х як фіксований ефект (різниця між А і В); і перехоплення випадковим ефектом **. Подивіться уважно на графік і зауважте, що, хоча існує ефект змінності ефекту x для кожного предмета (нахил кожного рядка), він порівняно невеликий порівняно зі змінністю між предметами (висота кожного рядка).

Модель аналізує ці два набори мінливості, і кожен з них є змістовним. Ви можете використовувати випадкові ефекти для прогнозування висот ліній, а ви можете використовувати фіксовані ефекти х для прогнозування схилів. Ви навіть можете використати ці два комбіновані для роботи з нашими індивідуальними значеннями у. Але те, що ви не можете зробити, - це справді сказати щось значиме стосовно вашої моделі, коли ви поєднуєте мінливість нахилів та висот ліній разом. Вам потрібно говорити про мінливість ваших схилів та висот ліній окремо. Це особливість моделі, а не відповідальність.

У вас буде мінливість ефекту x, що оцінюється відносно легко. Ви можете сказати щось про інтервал довіри навколо цього. Але зауважте, що цей довірчий інтервал матиме невелике відношення до прогнозування будь-якого конкретного значення y, оскільки на значення y впливає поєднання ефекту та відхилення предмета, що відрізняється від змінності лише ефекту.

Коли Бейтс пише такі речі, як ви цитували, я думаю, що він часто думає про набагато складніші багаторівневі конструкції, до яких навіть не підходить. Але навіть якщо ви просто розглядаєте цей простий приклад, ви стикаєтесь з питанням, який реальний сенс можна отримати, якщо поєднати всі варіанти дисперсії разом.

** Я ігнорував фіксований ефект перехоплення для простоти і просто трактував це як випадковий ефект. Ви можете отримати подібні висновки з ще більш спрощеної моделі з випадковим і фіксованим перехопленням, але я думаю, що це було б важче передати. У цьому випадку знову ж таки фіксований ефект і випадковий ефект аналізуються з причини та означають різні речі, а об'єднання їх змінності для передбачуваних значень призводить до того, що змінність має мало сенсу стосовно моделі.

— Джон
джерело

Отже, я чую, що ви говорите, що це зводиться до тієї самої старої бачення про те, щоб не бути впевненими, чи хочемо ми розглядати відмінність теми як помилку чи розділити її окремо і робити вигляд, що її немає? Це так?

— russellpierce

Я ніколи не чув цієї старої пилки. Я ніколи не чув, щоб ви робили вигляд, що варіації теми не існує. Але я вважаю, що це стосується саме цього прикладу. Модель аналізує дисперсію. Ця особливість процесу моделювання полягає в тому, як можна зрозуміти модель. Якщо ви повторно комбінуєте дисперсію, ви в першу чергу перемагаєте ціль моделі. Я не кажу, що ігноруйте дисперсію теми, лише те, що випадковий ефект суб'єкта є окремим. Ви можете прочитати Blouin & Riopelle (2005) і побачити, як змінюється зміст SE при поєднанні дисперсії.

— Іоанн

Можливо, мені чогось не вистачає, але це, здається, дуже схоже на те, що люди ззаду і вперед мають про те, який розмір ефекту найкраще використовувати в межах предметів / повторних заходів ANOVA і як найкраще побудувати ці інтервали довіри ... але я вважаю, що після прочитати те, на що ти мені вказав, я більше не пропущу те, що мені більше не вистачає. :) Дякую.

— russellpierce

Як я вже сказав, вони пов'язані. Я не знав, що є туди-сюди, хотів би побачити посилання. Справа в тому, що два КІ та ефекти, про які ви говорите, означають різні речі. Отже, ви використовуєте той, який передає те, що ви хочете мати на увазі. І ви повинні зробити їх здатись розумним. [Важко сперечатися (хоча деякі з них), що введення повторного інтерфейсу, що включає зміну предмета навколо середнього значення в повторному проектуванні заходів, і використання його, щоб сказати щось про ефект повторних заходів, є розумним.]

— Іван

Я нічого не бачив у літературі, просто багато неформального розтискання рук та спроб відгадати, що думатиме рецензент.

— russellpierce

Тривалий час я замислювався над начебто поширеною думкою, що існує певна принципова різниця у фіксованих та випадкових ефектах для (як правило, нелінійних) моделей змішаних ефектів. Таку віру, наприклад, висловив Бейтс у наступній відповіді

https://stat.ethz.ch/pipermail/r-sig-mixed-models/2010q1/003447.html

$L(x,u)$ $g(x,u)$ $P_g(t)$ $g$

P_{g} (t) = max_{x, u} {L (x, u) | g (x, u) = t} \eqno (1)

$P_g(t)=\max_{x,u} \{L(x,u)\ |\ g(x,u)=t \} \eqno(1)$

Я вважаю, що з цим ніхто не сперечається. Тепер припустимо, що ми маємо попереднє розподіл ймовірностей для u. Тоді я б стверджував, що ймовірність профілю для все ж має сенс, але нам слід змінити (1), включивши попередній. $p(u)$ $g$

P_{g} (t) = max_{x, u} {L (x, u) p (u) | g (x, u) = t} \eqno (2)

$P_g(t)=\max_{x,u} \{L(x,u)p(u)\ |\ g(x,u)=t \} \eqno(2)$ Зауважимо, що оскільки - параметр з до цього він точно такий же, як і те, що називається випадковим ефектом. То чому багато людей думають, що параметри випадкових ефектів якимось різними. Я вважаю, що різниця виходить із звичної для них практики оцінки параметрів. Що робить випадкові ефекти `` різними '', це те, що їх багато в багатьох моделях. В результаті для отримання корисних оцінок за фіксованими ефектами (або іншими параметрами) необхідно трактувати випадкові ефекти по-іншому. Що ми робимо - це інтегрувати їх із моделі. У наведеній вище моделі ми формували б вірогідність де Тепер

u

$u$

F (x)

$F(x)$

F (x) = \int L (x, u) p (u) d u

$F(x) = \int L(x,u)p(u)du$

u

$u$ пішли. Отже, якщо все, що ми маємо, є здається, немає сенсу говорити про ймовірність профілю для деякої функції .

F (x)

$F(x)$

g (x, u)

$g(x,u)$

Отже, щоб отримати інформацію про функцію ми не повинні інтегруватися над параметром . Але що відбувається в тому випадку, коли є безліч випадкових параметрів ефекту. Тоді я стверджую, що нам слід інтегруватись над `` більшості '', але не всі вони в певному сенсі я стану точним. Щоб мотивувати побудову, нехай буде випадкових ефектів . Розглянемо особливий випадок, коли функція залежить лише від , а насправді є найпростішою функцією, яку можна уявити, . Інтегруйте через випадкові ефекти щоб отримати $g(x,u)$ $u$ $n$ $u=(u_1,u_2,...,u_{n-1},u_n)$ $g(x,u)$ $u_n$ $g(x,u)=u_n$ $u_1,u_2,...,u_{n-1}$

F (x, u_{n}) = \int L (x, u_{1}, . . ., u_{n}) p (u_{1}, . . ., u_{n})) d u_{1} d u_{2} . . . d u_{n - 1} \eqno (4)

$F(x,u_n) = \int L(x,u_1,...,u_n)p(u_1,...,u_n))du_1du_2...du_{n-1}\eqno(4)$ так, як раніше ми можемо сформувати ймовірність профілю Як узагальнити щоб мати сенс для довільної функції . Добре зауважте, що визначення у те саме, що Щоб побачити цю примітку, що для простого випадку , те саме, що

P_{g} (t) = max_{x, u_{n}} {F (x, u_{n}) | u_{n} = t} \eqno (3)

$P_g(t)=\max_{x,u_n} \{F(x,u_n) | u_n=t \} \eqno(3)$

(3)

$(3)$

g (x, u)

$g(x,u)$

F (x, u_{n})

$F(x,u_n)$

(4)

$(4)$

F (x, s) = lim_{ϵ \to 0} \frac{1}{ϵ} \int_{{(x, u_{n}) | s - ϵ / 2 < g (x, u_{n}) < s + ϵ / 2}} L (x, u_{1}, . . ., u_{n}) p (u_{1}, . . ., u_{n})) d u_{1} d u_{2} . . . d u_{n} \eqno (5)

$F(x,s) = \lim_{\epsilon\rightarrow 0}{1\over\epsilon} \int_{\{(x,u_n) | s-\epsilon/2<g(x,u_n)<s+\epsilon/2\}} L(x,u_1,...,u_n)p(u_1,...,u_n))du_1du_2...du_n\eqno(5)$

g (x, u) = u_{n}

$g(x,u)=u_n$

(5)

$(5)$

F (x, s) = lim_{ϵ \to 0} \frac{1}{ϵ} \int_{{(x, u_{n}) | s - ϵ / 2 < u_{n} < s + ϵ / 2}} F (x, u_{n}) d u_{n} \eqno (6)

$F(x,s)=\lim_{\epsilon\rightarrow 0}{1\over\epsilon} \int_{\{(x,u_n) | s-\epsilon/2<u_n<s+\epsilon/2\}} F(x,u_n)du_n\eqno(6)$

Для загальної функції формуємо функцію визначену і обчислюємо ймовірність профілю $g(x,u)$ $F(x,s)$ $(5)$

P_{g} (s) = max_{x, u} {F (x, s) | g (x, u) = s} \eqno (3)

$P_g(s)=\max_{x,u} \{F(x,s) | g(x,u)=s \} \eqno(3)$

Ця ймовірність профілю є чітко визначеною концепцією і стоїть на ній самостійно. Однак, щоб бути корисним на практиці, потрібно вміти обчислювати його значення, принаймні приблизно. Я вважаю, що для багатьох моделей функцію можна досить наблизити, використовуючи варіант наближення Лапласа. Визначте за допомогою Нехай H - гессіан журналу функції щодо параметрів і . $F(x,s)$ $\hat x(s),\hat u(s)$

\hat{x} (s), \hat{u} (s) = max_{x, u} {L (x, u) p (u) | g (x, u) = s}

$\hat x(s),\hat u(s)= \max_{x,u} \{L(x,u)p(u)\ |\ g(x,u)=s\}$

- L (x, u) p (u)

$-L(x,u)p(u)$

x

$x$

u

$u$

Набори рівнів являють собою мірне підмножини розмірного простору, де є фіксованих ефектів і випадкових ефектів. Нам потрібно інтегрувати форму над цим колектором, де все лінеаризовано у Це включає трохи елементарної диференціальної геометрії. Припустимо, що Репараметризацією можна припустити, що і . Потім розглянемо карту $g$ $m+n-1$ $n+m$ $m$ $n$ $n$ $du_1\wedge du_2\wedge\ldots\wedge du_n$ $\hat x(s),\hat u(s)$ $g_{x_n}(\hat x(s),\hat u(s))\ne 0$ $\hat x(s)=0$ $\hat u(s)=0$

(x_{1}, x_{2}, \dots, x_{m - 1}, u_{1}, u_{2}, \dots, u_{n}) \to (x_{1}, x_{2}, \dots, x_{m - 1}, \frac{- \sum_{i = 1}^{m - 1} g_{x_{i}} x_{i} - \sum_{i = 1}^{n} g_{u_{i}} u_{i}}{g_{x_{m}}}, u_{1}, u_{2}, \dots, u_{n})

$(x_1,x_2,\ldots,x_{m-1},u_1,u_2,\ldots,u_n) \rightarrow (x_1,x_2,\ldots,x_{m-1}, {-\sum_{i=1}^{m-1}g_{x_i}x_i-\sum_{i=1}^ng_{u_i}u_i\over g_{x_m}}, u_1,u_2,\ldots,u_n)$ , де використовується для позначають часткове похідне по відношенню до оціненому в максимальній точці. Це лінійна карта розмірного простору на дотичний простір набору рівнів . Ми можемо використовувати його для обчислення потрібного інтеграла. По-перше, відкат 1 форм це просто вони самі.

g_{x_{i}}

$g_{x_i}$

g

$g$

x_{i}

$x_i$

m + n - 1

$m+n-1$

g

$g$

d u_{i}

$du_i$

Відступ Гессі є квадратичною формою

T_{i, j} = H_{i + m, j + m} + \frac{g_{u_{i}} g_{u_{j}}}{{g_{x_{m}}}^{2}} H_{m, m} \rm for 1 <= i, j <= n

$T_{i,j} =H_{i+m,j+m}+{g_{u_i}g_{u_j}\over {g_{x_m}}^2}H_{m,m}\quad \hbox{\rm for} \ 1<=i,j<=n$

Тож інтеграл можна обчислити (або наблизити) за наближенням Лапласа, що є звичайною формулою, що включає логарифм визначника , який обчислюється за допомогою розкладання Холеського. Значення наближення Лапласа інтеграла дорівнює деє визначальним. нам ще потрібно розібратися з шириною набору рівнів як Для першого замовлення це має значення де - вектор часткових похідних $T$

L (\hat{x} (s), \hat{u} (s)) | - T |^{\frac{1}{2}}

$L(\hat x(s),\hat u(s))|-T|^{1\over2}$

| \cdot |

$|\cdot|$

g

$g$

ϵ \to 0

$\epsilon\rightarrow 0$

ϵ / ‖ \nabla g (\hat{x} (s), \hat{u} (s)) ‖

$\epsilon/\|\nabla g(\hat x(s),\hat u(s))\|$

\nabla g (\hat{x} (s), \hat{u} (s)))

$\nabla g(\hat x(s),\hat u(s)))$

g

$g$

(g_{x_{1}}, g_{x_{2}}, \dots, g_{x_{m}}, g_{u_{1}}, g_{u_{2}}, \dots, g_{u_{n}})

$( g_{x_1}, g_{x_2}, \ldots, g_{x_m}, g_{u_1}, g_{u_2}, \ldots, g_{u_n})$ , так що значення ймовірності на безлічі рівня дається від Це правильне наближення, яке слід використовувати для обчислення ймовірності профілю.

g

$g$

\frac{L (\hat{x} (s), \hat{u} (s)) | - T |^{\frac{1}{2}}}{‖ \nabla g (\hat{x} (s), \hat{u} (s)) ‖}

${L(\hat x(s),\hat u(s))|-T|^{1\over2}\over \|\nabla g(\hat x(s),\hat u(s))\|}$

— Дейв Фурньє
джерело