lme та lmer порівняння

Мені було цікаво, чи може хтось просвітити мене про нинішні відмінності між цими двома функціями. Я знайшов наступне питання: Як вибрати бібліотеку nlme або lme4 R для моделей зі змішаними ефектами? , але це датується пару років тому. Це життя в колах програмного забезпечення.

Мої конкретні запитання:

Чи є (досі) якісь кореляційні структури в lmeцьому lmerне вдається?
Чи можна / рекомендується використовувати lmerдля даних панелі?

Вибачення, якщо вони дещо основні.

Трохи детальніше: дані панелі - це місце, де ми проводимо кілька вимірювань одних і тих же людей у різні моменти часу. Я, як правило, працюю в бізнес-контексті, де у вас можуть бути дані для неодноразових / довгострокових клієнтів протягом ряду років. Ми хочемо дозволити коливання змін у часі, але чітко встановлення змінної манекена для кожного місяця чи року є неефективною. Однак мені незрозуміло, чи lmerє відповідним інструментом для подібного роду дані, чи потрібні мені структури автокореляції lme.

r mixed-model lme4-nlme

— Hong Ooi
джерело

Ця відповідь залишається актуальною. lmerвсе ще не справляється з різноманітністю кореляційних і дисперсійних структур, і lmeце, наскільки я розумію ситуацію, ймовірно, ніколи не буде.

— Аарон - Відновити Моніку

@Aaron Дякую за відповідь У другій частині, чи впливає це на lmerздатність обробляти набір даних панелі? Або я можу піти, не роблячи конкретних припущень щодо кореляції?

— Hong Ooi

@Aaron, я не знаю , про «не буде» ручка КОР / вар структур - Я зацікавлений в додаванні цих функцій і не думаю , що було б , що важко - але я б , звичайно , сказати : «не затримуйте вдих ». Я недостатньо знайомий з даними панелей, щоб знати, що потрібно для lmerїх обробки ... Гонг, чи можна додати коротке пояснення до питання, яке трохи детальніше описує необхідні статистичні властивості чи дає покажчики?

— Бен Болкер

@BenBolker Додав деякі деталі.

— Hong Ooi

Я б сказав, що це lmerбуло б добре з випадковим ефектом року та випадковим ефектом клієнта (скажімо, у вас є лише одне вимірювання на кожного клієнта на рік); якщо вам підходить загальна тенденція часу (фіксований ефект), ви також повинні врахувати випадкову взаємодію за часом із клієнтом (тобто випадкові нахили). В ідеалі ви також хочете дозволити тимчасову автокореляцію протягом часового ряду кожного клієнта, що на даний момент неможливо з lmer, але ви можете перевірити тимчасову функцію автокореляції, щоб побачити, чи це важливо ...

— Бен Болкер

Відповіді:

ОНОВЛЕННЯ ЧЕРВЕНЬ 2016:

Будь ласка, дивіться запис у блозі Бена, який описує його сучасні думки щодо досягнення цього в lme4: Braindump 01 червня 2016 року

Якщо ви віддаєте перевагу байєсівським методам, brmsпакет brmпідтримує деякі кореляційні структури: CRAN Brms page . (Особливо зверніть увагу: "Станом на версію brms 0.6.0, структура AR відноситься до авторегресивних ефектів залишків, щоб відповідати іменуванню та реалізації в інших пакетах, таких як nlme. Раніше термін AR в brms посилався на авторегресивні ефекти відповіді. Останні тепер називаються ефектами ARR і їх можна моделювати за допомогою аргументу r у функціях cor_arma та cor_arr. ")

Оригінальний відповідь липня 2013 року:

(Перетворено з коментаря.)

Я б сказав, що це lmerбуло б добре з випадковим ефектом року та випадковим ефектом клієнта (скажімо, у вас є лише одне вимірювання на кожного клієнта на рік);

lmer(y~1 + (1|year) + (1|customer), ...)

відповідатиме моделі (лише для перехоплення)

Y_{i j} \sim Normal (a + ϵ_{year, i} + ϵ_{customer, j}, σ_{0}^{2})

$Y_{ij} \sim \text{Normal}(a + \epsilon_{\text{year},i} + \epsilon_{\text{customer},j}, \sigma^2_0)$ де і - нульові середні Нормальні змінні зі своїми специфічними відхиленнями.

ϵ_{year}

$\epsilon_{\text{year}}$

ϵ_{customer}

$\epsilon_{\text{customer}}$

Це досить нудна модель, ви можете додати загальну тенденцію часу (з фіксованим ефектом), а також розглянути випадкову взаємодію споживача за часом (тобто випадкові нахили). Я думаю

lmer(y~year + (1|year) + (year|customer), ...)

має відповідати моделі

Y_{i j} \sim Normal ((a + ϵ_{customer, j}) + (b + ϵ_{year \times customer, j}) \cdot year + ϵ_{year, i}, σ_{0}^{2})

$Y_{ij} \sim \text{Normal}((a + \epsilon_{\text{customer},j}) + (b + \epsilon_{\text{year} \times \text{customer},j}) \cdot \text{year} + \epsilon_{\text{year},i}, \sigma^2_0)$

(використання yearцього способу є винятком із звичайного правила не включати в одну змінну вхідну змінну як пристосованого, так і випадкового ефекту; за умови, що це числова змінна, yearтрактується як безперервна у фіксованому ефекті та year:customer(випадкова) взаємодія і як категорична у випадковому ефекті ...)

Звичайно, ви можете додати коваріати на рівні року, на рівні клієнтів та на рівні спостереження, які б намотали деяку відповідну дисперсію (наприклад, додайте середній індекс споживчих цін, щоб пояснити, чому роки були поганими чи хорошими ...)

В ідеалі ви також хочете дозволити тимчасову автокореляцію протягом часового ряду кожного клієнта, що наразі неможливо lmer, але ви можете перевірити функцію тимчасової автокореляції, щоб побачити, чи це важливо ...

Caveat : Я не так багато знаю про стандартні підходи для обробки даних панелі; це засновано саме на моїх знаннях про змішані моделі. Коментатори (або редактори) повинні сміливо звучати, якщо це, здається, порушує стандартні / найкращі практики економетрики.

— Бен Болкер
джерело

Якщо це не дивне позначення - зазвичай означає граничний розподіл нормальний із середнім та дисперсією - я вважаю, що ваші рівняння не зовсім правильні. Те, що ви написали, - це умовні розподіли, враховуючи випадкові ефекти. Граничний розподіл у першій моделі дорівнює У другій модель граничною середньою є а дисперсія є складнішим виразом, що включає коваріацію між випадковим нахилом / перехопленням року плюс інші речі.

X \sim N (μ, σ^{2})

$X \sim N(\mu, \sigma^2)$

X

$X$

μ

$\mu$

σ^{2}

$\sigma^2$

Y_{i j}

$Y_{ij}$

N (a, σ_{0}^{2} + σ_{y e a r}^{2} + σ_{c u s t}^{2})

$N(a,\sigma^{2}_0 + \sigma^{2}_{year} + \sigma^{2}_{cust})$

a + b \cdot y e a r

$a+b \cdot {\rm year}$

— Макрос

Так, дякую Бен. На практиці також будуть фіксовані наслідки, наприклад, вік, стать та всі звичні підозрювані. @Macro: Бен має право, я вважаю.

— Hong Ooi

@Macro: Я думаю, що позначення є дивним / незвичним, але правильним (тобто еквівалентним тому, що ви пропонуєте.) Я виразив умови випадкового ефекту як частину . Можливо, було б зрозуміліше / звичніше, якби я виписав це в багаторівневій нотації ( ).

μ

$\mu$

Y \sim Normal (X β + Z u, σ^{2}); u \sim MVNormal (0, Σ); Σ = f (θ)

$Y \sim \text{Normal}(X \beta + Z u, \sigma^2); u \sim \text{MVNormal}(0,\Sigma); \Sigma=f(\theta)$

— Бен Болкер

@BenBolker: Ви помітили, що я поставив щедрості з цього питання, тому що я шукаю потенційне оновлення ?

— С. Коласа - Відновіть Моніку

Я щойно опублікував деякі речі, над якими нещодавно працював на rawgit.com/bbolker/mixedmodels-misc/master/notes/… ; Я спробую обійтись включенням відповідних бітів у свою відповідь (як альтернатива, будь-хто інший може або опублікувати власну відповідь на основі цієї інформації, або відредагувати моє запитання!)

— Бен Болкер

Відповідати на ваші запитання безпосередньо, і зверніть увагу, це через роки після оригіналу повідомлення!

Так, існують кореляційні структури, які обробляють nlme, які lme4 не оброблять. Однак до тих пір, поки nlme дозволяє користувачеві визначати загальні корстри, а lme4 - ні, це буде так. Це напрочуд мало практичного впливу. Обидва пакети легко обробляються кореляційними структурами "великої трійки": Незалежної, Обмінної та АР-1.
Це, безумовно, можливо . Ви також можете підходити до даних панелі за допомогою lmфункції! Моя рекомендація щодо використання, залежить від проблеми. lme4є набагато меншим набором інструментів, а представлення формули - це акуратний, стислий спосіб зображення деяких дуже поширених моделей змішаних ефектів. nlmeце дуже велика коробка інструментів, включаючи TIG зварник для виготовлення будь-яких потрібних вам інструментів.

Ви кажете, що хочете дозволити "варіацію з часом". По суті, змінна структура кореляції досягає цього, дозволяючи довільно перехоплювати в кожному кластері, так що внутрішньокластерна дисперсія є сумою зміни рівня кластера, а також (як ви називаєте) варіації з часом. І це аж ніяк не стримує вас від використання фіксованих ефектів для отримання більш точних прогнозів у часі.

— АдамО
джерело

Хм. Як можна використовувати кореляцію AR-1 у lme4?

— Амеба каже: Відновити Моніку