Яка математична різниця між випадковими та фіксованими ефектами?

Я багато чого знайшов в Інтернеті щодо тлумачення випадкових та фіксованих ефектів. Однак я не зміг отримати джерело, яке зафіксувало таке:

Яка математична різниця між випадковими та фіксованими ефектами?

Під цим я маю на увазі математичну постановку моделі та спосіб оцінювання параметрів.

Найпростіша модель з випадковими ефектами - це одностороння модель ANOVA зі випадковими ефектами, задана спостереженнями з припущеннями розподілу: ( y i j ∣ μ i ) ∼ iid N ( μ i , σ 2 w ) $y_{ij}$

Тут випадковими ефектами є . Вони є випадковими змінними, тоді як вони є фіксованими числами в моделі ANOVA з фіксованими ефектами.$\mu_i$

Наприклад, кожен з трьох техніків в лабораторії записує серію вимірювань, а - -й вимір техніка . Назвіть "справжнє середнє значення" серії, породженого техніком ; це трохи штучний параметр, ви можете бачити як середнє значення, яке отримав би технік, якби він / вона записала величезну серію вимірювань.у я J J я μ я я μ я$i=1,2,3$$y_{ij}$$j$$i$$\mu_i$$i$$\mu_i$$i$

Якщо вам цікаво оцінити , , (наприклад, для оцінки упередженості між операторами), тоді вам доведеться використовувати модель ANOVA з фіксованими ефектами.μ 2 μ $\mu_1$$\mu_2$$\mu_3$

Ви повинні використовувати модель ANOVA зі випадковими ефектами, коли вас цікавлять дисперсії та визначають модель, та загальна дисперсія (див. Нижче). Дисперсія - це дисперсія записів, згенерованих одним техніком (передбачається, що однакова для всіх техніків), а називається дисперсією між техніками. Можливо, в ідеалі техніків слід вибирати навмання. σ 2 b σ 2 b + σ 2 w σ 2 w σ 2 $\sigma^2_w$$\sigma^2_b$ $\sigma^2_b+\sigma^2_w$$\sigma^2_w$$\sigma^2_b$

Ця модель відображає формулу розкладання дисперсії для вибірки даних:

Загальна дисперсія = дисперсія засобів засоби внутрішньодисперсії$+$

що відображається моделлю ANOVA зі випадковими ефектами:

Дійсно, розподіл визначається його умовним розподілом заданим і розподілом . Якщо обчислити «безумовний» розподіл то знайдемо . ( y i j ) μ i μ i y i j y i j ∼ N ( μ , σ 2 b + σ 2 w$y_{ij}$$(y_{ij})$$\mu_i$$\mu_i$$y_{ij}$$\boxed{y_{ij} \sim {\cal N}(\mu, \sigma^2_b+\sigma^2_w)}$

Дивіться слайд 24 та слайд 25 тут для кращих зображень (для збереження накладок потрібно зберегти pdf-файл, не дивіться онлайн-версію).

В основному, я вважаю, що найрізноманітніша різниця, якщо моделювати фактор як випадковий, полягає в тому, що вважається, що ефекти будуть виведені із звичайного нормального розподілу.

Наприклад, якщо у вас є якась модель щодо оцінок і ви хочете врахувати дані своїх учнів, що надходять з різних шкіл, і ви моделюєте школу як випадковий фактор, це означає, що ви припускаєте, що середні школі зазвичай розподіляються. Це означає, що моделюють два джерела варіації: мінливість школярів у школі та мінливість між школою.

Це призводить до того, що називається частковим об'єднанням . Розглянемо дві крайності:

1. Школа не робить ніякого ефекту (між шкільною мінливістю дорівнює нулю). У цьому випадку лінійна модель, яка не враховує школу, була б оптимальною.
2. Змінність у школі більша, ніж мінливість учнів. Тоді вам в основному потрібно працювати на рівні школи замість рівня учнів (менше # зразків). Це в основному модель, коли ви обліковуєте школу за допомогою фіксованих ефектів. Це може бути проблематично, якщо у вас є кілька зразків у школі.

Оцінюючи мінливість на обох рівнях, змішана модель робить розумний компроміс між цими двома підходами. Особливо, якщо у вас не так багато # студентів у школі, це означає, що ви отримаєте зменшення ефектів для окремих шкіл, як оцінюється за моделлю 2, до загального середнього значення моделі 1.

Це тому, що в моделях сказано, що якщо у вас є одна школа з двома учнями, що краще, ніж те, що є «нормальним» для населення шкіл, то, ймовірно, частина цього ефекту пояснюється тим, що школі пощастило у виборі з двох учнів дивилися. Це не робить наосліп, це робить це залежно від оцінки мінливості школи. Це також означає, що рівні ефектів з меншою кількістю вибірок сильніше тягнуться до загальної середньої величини, ніж великі школи.

Важливим є те, що вам потрібна обмінність на рівнях випадкового фактора. Це означає, що в цьому випадку школи (за вашими знаннями) обмінні, і ви нічого не знаєте, що їх відрізняє (крім якогось посвідчення особи). Якщо у вас є додаткова інформація, ви можете включити її як додатковий фактор, достатньо, щоб школи могли обмінюватися умовами іншої інформації, що обліковується.

Наприклад, було б доцільно припустити, що дорослі особини 30 років, які проживають у Нью-Йорку, можуть бути обміненими залежно від статі. Якщо у вас є більше інформації (вік, етнічна приналежність, освіта), було б доцільно включити і цю інформацію.

ІНШЕ якщо у вас є дослідження з однією контрольною групою та трьома дико різними групами захворювань, не має сенсу моделювати групу як випадкову, оскільки конкретні захворювання не підлягають обміну. Однак багатьом людям настільки добре подобається ефект усадки, що вони все одно сперечаються за модель випадкових ефектів, але це вже інша історія.

Я зауважую, що я не надто вникав у математику, але в основному різниця полягає в тому, що модель випадкових ефектів оцінювала нормально розподілену помилку як на рівні шкіл, так і на рівні учнів, тоді як модель з фіксованим ефектом має помилку саме на рівень учнів. Особливо це означає, що кожна школа має свій рівень, який не пов'язаний з іншими рівнями загальним розподілом. Це також означає, що фіксована модель не дозволяє екстраполювати на учня школи, не включеного в вихідні дані, тоді як модель випадкових ефектів це робить, з мінливістю, що є сумою рівня школяра та мінливості шкільного рівня. Якщо вас конкретно зацікавила ймовірність, ми могли б працювати над цим.

У країні econ такі ефекти - це індивідуальні перехоплення (або константи), які не спостерігаються, але їх можна оцінити, використовуючи дані панелі (повторне спостереження за тими ж одиницями протягом часу). Метод оцінки фіксованих ефектів дозволяє співвідносити між перехопленнями, характерними для одиниці, та незалежними пояснювальними змінними. Випадкові ефекти не мають. Витрати на використання більш гнучких фіксованих ефектів полягають у тому, що ви не можете оцінити коефіцієнт для змінних, які інваріантні за часом (наприклад, стать, релігія чи раса).

Примітка. Інші поля мають свою термінологію, яка може бути досить заплутаною.

У стандартному програмному пакеті (наприклад, R lmer) основна відмінність:

• фіксовані ефекти оцінюються за максимальною вірогідністю (найменші квадрати для лінійної моделі)
• випадкові ефекти оцінюються емпіричним Байесом (найменші квадрати з деякою усадкою для лінійної моделі, де параметр усадки вибирається з максимальною вірогідністю)

Якщо ви є баєсець (напр., WinBUGS), реальної різниці немає.

@Joke Модель з фіксованими ефектами передбачає, що розмір ефекту, що генерується дослідженням (або експериментом), є фіксованим, тобто повторні вимірювання для втручання виявляються однаковими за розміром ефекту. Імовірно, зовнішні та внутрішні умови експерименту не змінюються. Якщо у вас є кілька випробувань та / або досліджень у різних умовах, у вас будуть різні розміри ефектів. Параметричні оцінки середнього та дисперсійного набору для набору розмірів ефектів можуть бути реалізовані, якщо припустити, що це фіксовані ефекти, або це випадкові ефекти (реалізовані від суперпопуляції). Я думаю, що це питання, яке можна вирішити за допомогою математичної статистики.