Чому випадкові ефекти зменшуються до 0?

10

Чи існує інтуїтивно зрозуміла причина, щоб випадкові ефекти зменшувалися до очікуваного значення у загальній лінійній змішаній моделі?

mixed-model random-effects-model

— user7064
джерело

Чи можете ви надати ще трохи контексту для цього питання?

— Макрос

Прогнозовані значення з моделей випадкових ефектів - це оцінки усадки ; буде невелика скринінга, коли статистичні одиниці різні, або коли вимірювання точні, або з великою вибіркою. Це те, за чим ти переслідуєш, чи ти справді маєш на увазі скорочення до очікуваного значення?

— chl

3

Я б запропонував старішу статтю Бредлі Ефрона та Карла Морріса, Парадокс Стейна у статистиці (1977 р.) (Онлайн- PDF тут ). Не впевнений, чи це інтуїтивно, але це досить лагідне введення (із прикладами реального світу) в концепцію усадки.

— Andy W

4

загалом кажучи, більшість «випадкових ефектів» виникають у ситуаціях, коли також існує «фіксований ефект» або якась інша частина моделі. Загальна лінійна змішана модель виглядає приблизно так:

у_{i} = х_{i}^{Т} β + z_{i}^{Т} у + ϵ_{i}

$y_i=x_i^T\beta+z_i^Tu+\epsilon_i$

Де - "фіксовані ефекти", а - "випадкові ефекти". Зрозуміло, що розрізнення може бути лише на концептуальному рівні або в методі оцінки та . Бо якщо я визначу новий "фіксований ефект" і мене є звичайна лінійна регресія: $\beta$ $u$ $u$ $\beta$ $\tilde{x}_i=(x_i^T,z_i^T)^T$ $\tilde{\beta}=(\beta^T,u^T)^T$

у_{i} = {\tilde{х}}_{i}^{Т} \tilde{β} + ϵ_{i}

$y_i=\tilde{x}_i^T\tilde{\beta}+\epsilon_i$

Це часто є реальною практичною проблемою, коли мова йде про пристосування змішаних моделей, коли основні концептуальні цілі не є чіткими. Я думаю , той факт , що випадкові ефекти є стиснулися до нуля, і що фіксовані ефекти не є забезпечують деяку допомогу тут. Це означає, що ми будемо схильні надавати перевагу моделі з лише включеною (тобто ), коли оцінки мають низьку точність у формулі OLS, і, як правило, надаємо перевагу повному формулюванню OLS, коли оцінки мають високу точність. $u$ $\beta$ $\beta$ $u=0$ $u$ $u$

— ймовірністьіслогічна
джерело

2

Чи не відповідає ваше запитання саме по собі? Якщо очікується значення, тоді найкраще буде техніка, яка наближає значення до такої.

Проста відповідь виходить із закону великих чисел. Скажімо, предмети - це ваш випадковий ефект. Якщо ви використовуєте суб'єктів від A до D у 200 випробуваннях, а суб'єкт E - у 20 випробуваннях, який із виміряних середніх показників випробуваного, на вашу думку, є більш репрезентативним для мене? Закон великої кількості передбачає, що ефективність суб'єкта Е буде більше шансів відхилитися на більшу суму від мю, ніж будь-яка з А до D. Це може, а може, і не може, і будь-який із суб'єктів може відхилитися, але ми були б набагато більше виправдано зменшення ефекту суб'єкта Е на предмет від А до Д, ніж навпаки. Тож випадкові ефекти, що мають більший розмір і мають менші N, мають тенденцію бути найбільшими.

З цього опису також випливає, чому фіксовані ефекти не скорочуються. Це тому, що вони виправлені, у моделі є лише одна. Ви не маєте посилання, щоб зменшити його. Ви можете використати нахил 0 як орієнтир, але це не те, до чого стикаються випадкові ефекти. Вони спрямовані на загальну оцінку, таку як mu. Фіксований ефект від вашої моделі - це оцінка.

— Джон
джерело

1

Я думаю, що вашій інтуїції може бути корисно думати про змішану модель як про ієрархічну або багаторівневу модель . Принаймні, для мене це має більше сенсу, коли я думаю про вкладення гнізд і про те, як модель працює в межах і поміж категоріями ієрархічно.

EDIT: Макрос, я залишив це трохи відкритим, тому що це допомагає мені зрозуміти це більш інтуїтивно, але я не впевнений, що це правильно. Але розгорнути це можливо в неправильних напрямках ...

Я розглядаю це як усереднені ефекти середніх категорій і випадкові ефекти, що розрізняють категорії. У певному сенсі випадкові ефекти - це "кластери", які поділяють деякі характеристики, а більші та компактні кластери матимуть більший вплив над середнім на вищому рівні.

Якщо OLS робить підгонку (по фазах, я вважаю), більші та компактні випадкові ефекти "кластери", таким чином, будуть сильніше тягнути пристосування до себе, тоді як менші чи більш розсіяні "кластери" будуть менше притягувати. Або, можливо, приступ починається ближче до більших і компактних "кластерів", оскільки середній рівень вищого рівня ближче до початку

Вибачте, я не можу бути зрозумілішим, і навіть можу помилитися. Це має сенс для мене інтуїтивно, але, коли я намагаюся його написати, я не впевнений, чи це річ зверху вниз чи знизу вгору чи щось інше. Це питання того, що "кластери" нижчого рівня сильніше тягнуться до себе, чи мати більший вплив на усереднення вищого рівня - і тим самим "закінчуватися" ближче до середнього рівня вищого рівня - чи ні?

У будь-якому випадку я вважаю, що це пояснює, чому менші, більш розсіяні категорії випадкових змінних будуть витягнуті далі до середнього, ніж більші, більш компактні категорії.

— Уейн
джерело

Привіт Вейне, чи можете ви розширити це, щоб описати, як можна зменшити усадка (можливо, більш інтуїтивно), думаючи про це як про ієрархічну модель?

— Макрос

@Macro: Гаразд, я спробував. Не впевнений, чи робить це відповідь кращою чи гіршою, хоча.

— Уейн