Яка різниця між випадковими ефектами, фіксованими ефектами та граничною моделлю?

Я намагаюся розширити свої знання зі статистики. Я походжу з фізичних наук із "підходом до рецептів" підходу до статистичного тестування, де ми говоримо, чи це постійно, чи нормально він розподілений - регресія OLS .

У своєму читанні я натрапив на терміни: модель випадкових ефектів, модель фіксованих ефектів, гранична модель. Мої запитання:

Дуже просто кажучи, що вони?
Які відмінності між ними?
Будь-який із них є синонімами?
Де класифікуються традиційні тести, такі як регресія OLS, ANOVA та ANCOVA?

Просто намагаюся вирішити, куди йти далі разом із самонавчанням.

random-effects-model fixed-effects-model marginal

— N26
джерело

Можливий інтерес: Чим відрізняються моделі фіксованого ефекту, випадкового ефекту та змішаного ефекту?

— chl

@gung: Відповідь, на яку ви збираєтесь присвоїти винагороду, фактично набагато перевершує всі відповіді в "головній" темі щодо відмінностей між фіксованими / випадковими ефектами (пов'язані в коментарі вище). На це запитання входить понад 40 змін і прийнята відповідь з 25 пропозицій, що, на жаль, не дуже корисно. Чи варто нам об'єднати ці нитки? Я думаю, це означало б, що OP N26 втратить оновлення питань, однак їхній рахунок все одно не працює. Не впевнений, який найкращий спосіб дії.

— Амеба каже: Відновити Моніку

Дякую @amoeba, я думаю, що це також заслуговує на більшу увагу. Мені здається, що це питання, хоча воно має титул подібним, насправді дещо інше (і, можливо, неправильно названо). Я не маю повноважень їх об'єднувати. Я просто додав туди коментар, що посилається на цю тему. Чому б не поставити питання, що робити з цими нитками на meta.CV? Ми побачимо, що думають люди?

— gung - Відновіть Моніку

Відповіді:

Це питання частково обговорювалося на цьому веб-сайті, як показано нижче, і думки здаються неоднозначними.

Усі терміни, як правило, відносяться до поздовжніх / панельних / кластеризованих / ієрархічних даних та повторних заходів (у форматі розширеної регресії та ANOVA), але мають багатозначне значення в різному контексті. Я б хотів відповісти на запитання у формулах на основі моїх знань.

Модель з фіксованими ефектами

У біостатистиці фіксовані ефекти, позначені як у рівнянні (*) нижче, зазвичай поєднуються із випадковими ефектами. Але модель з фіксованими ефектами також визначається, щоб припустити, що спостереження є незалежними, як встановлення поперечного перерізу, як у Longitudinal Analysis of Hedeker and Gibbons (2006). $\color{red}{\boldsymbol\beta}$
У економетриці модель з фіксованими ефектами може бути записана у вигляді де є фіксованим (не випадковим) перехопленням для кожного предмета ( ), або ми також можемо мати фіксований ефект як для кожного повторного вимірювання ( ); позначає коваріати. $y_{i j} = x_{i j}^{^{'}} β + u_{i} + ϵ_{i j}$ $y_{ij}=\boldsymbol x_{ij}^{'}\boldsymbol\beta+\color{red}{u_i}+\epsilon_{ij}$ $\color{red}{u_i}$ $i$ $u_j$ $j$ $\boldsymbol x_{ij}$
У мета-аналізі модель фіксованого ефекту передбачає, що базовий ефект однаковий у всіх дослідженнях (наприклад, Mantel та Haenszel, 1959).

Модель випадкових ефектів

У біостатистиці модель випадкових ефектів (Laird and Ware, 1982) може бути записана як де слідкувати за розподілом. позначає коваріати для фіксованих ефектів, а позначає коваріати для випадкових ефектів. $\begin{matrix} (*) & y_{i j} = x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i} + e_{i j} \end{matrix}$ $\tag{*} y_{ij}=\boldsymbol x_{ij}^{'}\color{red}{\boldsymbol\beta}+\boldsymbol z_{ij}^{'}\color{blue}{\boldsymbol u_i}+e_{ij}$ $\color{blue}{\boldsymbol u_i}$ $\boldsymbol x_{ij}$ $\boldsymbol z_{ij}$
В економетриці модель випадкових ефектів може посилатися лише на випадкову модель перехоплення, як у біостатистиці, тобто а - скаляр. $\boldsymbol z_{ij}^{'}=1$ $\boldsymbol u_i$
У мета-аналізі модель випадкових ефектів передбачає неоднорідні ефекти в ході досліджень (DerSimonian and Laird, 1986).

Маргінальна модель

Гранична модель, як правило, порівнюється з умовною моделлю (модель випадкових ефектів), і перша фокусується на середній сукупності (для прикладу візьмемо лінійну модель) тоді як остання стосується умовного середньогоІнтерпретація та масштаб коефіцієнтів регресії між граничною моделлю та моделлю випадкових ефектів будуть різними для нелінійних моделей (наприклад, логістична регресія). Нехай , тоді

E (y_{i j}) = x_{i j}^{^{'}} β,

$E(y_{ij})=\boldsymbol x_{ij}^{'}\boldsymbol\beta,$

E (y_{i j} | u_{i}) = x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i} .

$E(y_{ij}|\boldsymbol u_i)=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i.$

h (E (y_{i j} | u_{i})) = x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i}

$h(E(y_{ij}|\boldsymbol u_i))=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i$

E (y_{i j}) = E (E (y_{i j} | u_{i})) = E (h^{- 1} (x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i})) \neq h^{- 1} (x_{i j}^{^{'}} β),

$E(y_{ij})=E(E(y_{ij}|\boldsymbol u_i))=E(h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i))\neq h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta),$ якщо тільки тривіально функція зв'язку є ідентифікаційною ланкою (лінійна модель ), або (відсутні випадкові ефекти). Хорошими прикладами є узагальнені оціночні рівняння (GEE; Zeger, Liang and Albert, 1988) та маргіналізовані багаторівневі моделі (Heagerty і Zeger, 2000).

h

$h$

u_{i} = 0

$u_i=0$

— Рендел
джерело

Спасибі, Рендел. Ще одне запитання про термінологію "змішаної моделі". Наскільки я розумію, у біостатистиці ваше рівняння (*) буде називатися змішаною моделлю, оскільки воно містить як випадкові, так і фіксовані ефекти. Це правильно? Але чи використовується термін "змішана модель" і в економетрії? Якщо так, на що це йдеться?

— Амеба каже: Відновити Моніку

Так, рівняння (*) також називають змішаною моделлю в (біо) статистиці. Наскільки мені відомо, економетрист може називати це не "змішаною моделлю", а "моделлю випадкових ефектів" або "моделлю випадкових коефіцієнтів", якщо вони зацікавлені в неоднорідності кластера. Для мене єдиною відмінністю є припущення щодо ефекту, характерного для кластера, фіксованого або випадкового.

— Рендел

@skan позначає коваріати для випадкових ефектів. Це вектор, а - це транспонирование.

z_{i j}

$\boldsymbol z_{ij}$

z_{i j}^{^{'}}

$\boldsymbol z_{ij}^{'}$

— Рандель

Ось детальний приклад. Сподіваюся, це допомагає. @skan

— Randel

@skan Не рекомендується мати обоє, і цього достатньо. Ось ідеальний приклад.

— Рендел

Виправте мене, якщо я тут помиляюся:

Концептуально можливі чотири можливі ефекти: фіксований перехоплення, фіксований коефіцієнт, випадковий перехоплення, випадковий коефіцієнт. Більшість моделей регресії є "випадковими ефектами", тому вони мають випадкові перехоплення та випадкові коефіцієнти. Термін "випадковий ефект" став використовуватись на відміну від "фіксованого ефекту".

"Фіксований ефект" - це коли змінна впливає на деякий зразок, але не на весь. Найпростішою версією моделі з фіксованим ефектом (концептуально) була б фіктивна змінна для фіксованого ефекту з бінарним значенням. Ці моделі мають один випадковий перехоплення, коефіцієнти з фіксованим ефектом та випадкові змінні коефіцієнти.

Наступний рівень ускладнення (концептуально) - це коли фіксований ефект не бінарний, а номінальний, з багатьма значеннями. У цьому випадку генерується модель із безліччю перехоплень (по одному для кожного з номінальних значень). Тут ви отримуєте класичні «кілька рядків» моделі даних панелі , де кожна з «опцій» змінної фіксованого ефекту отримує власний ефект. Чеснота перекидання всіх різних даних, що стосуються фактора, в одну регресію (а не робити кожен фактор фіксованого ефекту як власну регресію) полягає в тому, що ви можете об'єднати дисперсію всіх різних ефектів в одному рівнянні, і так отримуйте кращі (більш певні) значення для всіх ваших коефіцієнтів.

"Третій рівень" ускладнення був би тоді, коли "фіксований ефект" сам по собі є випадковою змінною, за винятком того, що його ефекти "фіксовані" впливають лише на підмножину вибірки. У цей момент модель матиме випадковий перехоплення, кілька фіксованих перехоплювачів та безліч випадкових змінних. Я думаю, що це відома модель "змішаних ефектів"?

Моделі "змішаного ефекту" використовуються для багаторівневого моделювання (MLM), оскільки "фіксовані ефекти" можуть використовуватися для введення одного підмножини даних в інший. Це групування може мати декілька ярусів, в яких учні вкладаються в класі, вкладені в школах. Школа є фіксованим впливом на аудиторії, а класи на учнів. (Школа може чи не може мати фіксований вплив на учня, залежно від експериментальної конструкції - не впевнено)

Моделі даних на панелі - це моделі "змішаного ефекту", але використовують два виміри для групування, як правило, часу та певної категорії.

— Мокс
джерело

Не впевнений, що ви маєте на увазі під "Фіксованими ефектами", що охоплюють "набори" варіантів: A або B; ... До випадкових ефектів належать такі речі, як вага тіла ". Ви маєте на увазі фіксовані ефекти для дискретних змінних, випадкові ефекти - для безперервних змінних? Також не впевнений, чому "використання декількох фіктивних змінних для однієї і тієї ж речі є статистично недоцільним". Модель з фіксованими ефектами в економетрії має фіктивну змінну для кожної "панелі". Я не можу погодитися з "Змішаними" моделями ... Отримавши "виправлені" перехоплення шляхом групування, вони також не мають випадкового перехоплення ". Багато моделей зі змішаними ефектами мають випадковий перехоплення.

— Рандель

Моє розуміння недосконале. Я відредагую свою відповідь і спробую ще раз.

— Мокс

Чи можливо, що змінна з'являється одночасно як фіксований ефект і як випадковий ефект?

— скан

< theanalysisfactor.com/mixed-models-predictor-both-fixed-random > говорить так.

— Мокс