Тестування рівності коефіцієнтів від двох різних регресій

Це здається основним питанням, але я просто зрозумів, що насправді не знаю, як перевірити рівність коефіцієнтів від двох різних регресій. Чи може хтось пролити на це світло?

Більш формально, припустимо, я застосував наступні дві регресії: і де посилається на проектну матрицю регресії , а на вектор коефіцієнтів регресії . Зауважте, що і потенційно дуже різні, з різними розмірами і т. Д. Мене цікавить, наприклад, чи .

у_{1} = Х_{1} β_{1} + ϵ_{1}

$y_1 = X_1\beta_1 + \epsilon_1$

у_{2} = Х_{2} β_{2} + ϵ_{2}

$y_2 = X_2\beta_2 + \epsilon_2$

X_{i}

$X_i$

i

$i$

β_{i}

$\beta_i$

i

$i$

X_{1}

$X_1$

X_{2}

$X_2$

{\hat{β}}_{11} \neq {\hat{β}}_{21}

$\hat\beta_{11} \neq \hat\beta_{21}$

Якби вони виходили з тієї ж регресії, це було б банально. Але оскільки вони походять з різних, я не зовсім впевнений, як це зробити. Хтось має ідею чи може дати мені деякі вказівки?

Моя проблема докладно: Першою моєю інтуїцією було дивитись довірчі інтервали, і якщо вони перетинаються, то я б сказав, що вони по суті однакові. Хоча ця процедура не відповідає правильному розміру тесту (наприклад, кожен окремий довірчий інтервал має , але, дивлячись на них спільно, не буде однакової ймовірності). Моя "друга" інтуїція полягала в тому, щоб провести звичайний t-тест. Тобто візьми $\alpha=0.05$

\frac{β_{11} - β_{21}}{с г (β_{11})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11})}$

де приймається як значення моєї нульової гіпотези. Це не враховує невизначеність оцінки , і відповідь може залежати від порядку регресій (який я називаю 1 і 2). $\beta_{21}$ $\beta_{21}$

Моя третя ідея полягала в тому, щоб зробити це як у стандартному тесті на рівність двох коефіцієнтів з тієї ж регресії, тобто взяти

\frac{β_{11} - β_{21}}{с г (β_{11} - β_{21})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11}-\beta_{21})}$

Ускладнення виникає через те, що обидва походять з різних регресій. Зауважте, що

V а r (β_{11} - β_{21}) = V а r (β_{11}) + V а r (β_{21}) - 2 С о v (β_{11}, β_{21})

$Var(\beta_{11}-\beta_{21}) = Var(\beta_{11}) + Var(\beta_{21}) -2 Cov(\beta_{11},\beta_{21})$ але оскільки вони з різних регресій, як я можу отримати ?

C o v (β_{11}, β_{21})

$Cov(\beta_{11},\beta_{21})$

Це змусило мене тут задати це питання. Це має бути стандартна процедура / стандартний тест, але я не знайшов нічого, що було б досить подібне до цієї проблеми. Тож, якщо хтось може вказати мені на правильну процедуру, я був би дуже вдячний!

hypothesis-testing inference

— coffeinjunky
джерело

Це, мабуть, стосується структурного / одночасного моделювання рівнянь. Одним із способів вирішення цієї задачі є одночасне встановлення обох рівнянь, наприклад, з максимальною ймовірністю, а потім використання тесту на відношення ймовірності обмеженої (рівної моделі параметрів) проти необмеженої моделі. Практично це можна зробити за допомогою програмного забезпечення SEM (Mplus, lavaan тощо)

— tomka

Чи знаєте ви про начебто непов'язану регресію (SUR)?

— Мастеров Димитрій Вікторович

Я думаю, що питання, яке ви піднімаєте, тобто як отримати cov обох коефіцієнтів, вирішується SEM, що дасть вам матрицю var-cov всіх коефіцієнтів. Тоді ви, можливо, можете використати тест Wald таким чином, який ви запропонували замість тесту LRT. Крім того, ви також можете використати повторний відбір проб / завантажувальний інструмент, який може бути більш прямим.

— tomka

Так, ви маєте рацію з цим, @tomka. У моделі SUR (яку ви можете вільно вважати окремим випадком моделей SEM), я можу отримати відповідний тест. Дякую, що вказали мені в цьому напрямку! Я думаю, що я не замислювався над цим, тому що це здається трохи схожим на стрілянину з горобця гарматою, але я не можу думати про кращий спосіб. Якщо ви напишете відповідь, я позначу її як правильну. Інакше я незабаром це напишу, з швидким теоретичним поясненням і, можливо, з прикладом.

— coffeinjunky

SUR досить простий у виконанні. Ось один приклад із Stata . З R, ви хочете systemfit .

— Мастеров Димитрій Вікторович

Відповіді:

Хоча це не звичайний аналіз, він насправді викликає інтерес. Прийнята відповідь відповідає тому, як ви задали своє запитання, але я збираюся запропонувати інший досить добре прийнятий прийом, який може бути, а може і не бути еквівалентним (я залишаю це краще розуму, щоб прокоментувати це).

Цей підхід полягає у використанні наступного тесту Z:

$Z = \frac{\beta_1-\beta_2}{\sqrt{(SE\beta_1)^2+(SE\beta_2)^2}}$

Де - це стандартна помилка . $SE\beta$ $\beta$

Це рівняння надають Клог, К.С., Петкова, Е., Харіту, А. (1995). Статистичні методи порівняння коефіцієнтів регресії між моделями. Американський журнал соціології , 100 (5), 1261-1293. і цитується Paternoster, R., Brame, R., Mazerolle, P., & Piquero, A. (1998). Використання правильного статистичного тесту на рівність коефіцієнтів регресії. Кримінологія , 36 (4), 859-866. рівняння 4, яке доступне безкоштовно від платної стіни. Я адаптував формулу Петерностера для використання а не $\beta$ $b$ тому що можливо, що вас можуть зацікавити різні DV з якихось жахливих причин і моя пам'ять про Clogg et al. полягала в тому, що їх формула використовувала . Я також пам’ятаю перехресну перевірку цієї формули щодо Коена, Коена, Заходу та Ейкена, і корінь того ж мислення можна знайти там, де довірчий інтервал різниці між коефіцієнтами, рівняння 2.8.6, стор 46-47. $\beta$

— russellpierce
джерело

Дивіться також: stats.stackexchange.com/questions/55501/…

— russellpierce

β_{1}

$\beta_1$

β_{2}

$\beta_2$

Z = \frac{А β_{1} - Б β_{2}}{\sqrt{(SE А β_{1})^{2} + (SE Б β_{2})^{2}}}

$Z=\frac{A\beta_1-B\beta_2}{\sqrt{(\text{SE}A\beta_1)^2+(\text{SE}B\beta_2)^2}}$

Також я зауважую, що у статті обговорюється випадок, коли одна модель вкладена всередині іншої, а DV-моделі двох моделей однакові. Що робити, якщо ці дві умови не виконані? Натомість у мене дизайнерські матриці двох моделей однакові, але вони мають різні DV. Чи все ще застосовується ця формула? Дуже дякую!

— Сіббс азартні ігри

@SibbsGambling: Можливо, ви хочете зробити це питання самостійно, щоб привернути більше уваги.

— russellpierce

β_{1}

$\beta_1$

β_{2}

$\beta_2$

Для людей із подібним запитанням дозвольте навести простий контур відповіді.

$y_1$ $y_2$

$\left(\array{y_1 \\ y_2}\right) = \left(\array{X_1 \ \ 0 \\ 0 \ \ X_2}\right)\left(\array{\beta_1 \\ \beta_2 }\right) + \left(\array{e_1 \\ e_2 }\right)$

Це призведе до дисперсійно-коваріаційної матриці, яка дозволяє перевірити рівність двох коефіцієнтів.

— coffeinjunky
джерело

Я реалізував так, як ви запропонували, і порівняв його із способом, описаним вище. Я виявив, що ключова відмінність полягає в тому, чи є припущення про те, що дисперсія помилок однакова чи ні. Ваш спосіб передбачає, що відхилення помилок є однаковими, і спосіб, який описано вище, не припускає.

— KH Kim

Це добре працювало для мене. У Stata я зробив щось на кшталт: expand =2, generate(indicator); generate y = cond(indicator, y2, y1); regress y i.indicator##c.X, vce(cluster id); Використання кластеризованих стандартних рахунків помилок для того, що e1 і e2 не є незалежними для одного і того ж спостереження після складання набору даних.

— wkschwartz

$Var(\beta_1-\beta2)=Var(\beta_1)+Var(\beta_2)$
$covar(\beta_1,\beta_2) \neq 0$
(Clogg, CC, Petkova, E., & Haritou, A. (1995). Статистичні методи порівняння коефіцієнтів регресії між моделями. American Journal of Sociology, 100 (5), 1261-1293.) Дає відповідь у спеціальному випадку вкладених рівнянь (тобто, щоб отримати друге рівняння, розгляньте перше рівняння і додайте кілька пояснювальних змінних) Вони кажуть, що це легко здійснити.
Якщо я добре це розумію, в цьому спеціальному випадку також може бути реалізований тест Хауссмана. Ключова відмінність полягає в тому, що їх тест вважає істинним другим (повним) рівнянням, тоді як тест Хауссмана вважає істинним перше рівняння.
Зауважимо, що Clogg et al (1995) не підходить для даних панелей. Але їх тест узагальнено (Yan, J., Aseltine Jr, RH, & Harel, O. (2013). Порівнюючи коефіцієнти регресії між вкладеними лінійними моделями для кластеризованих даних із узагальненими оціночними рівняннями. Journal of Education and Behevioral Statistics, 38 (2), 172-189.) З пакетом, наданим на R: geepack Див.: Https://www.jstor.org/stable/pdf/41999419.pdf?refreqid=excelsior%3Aa0a3b20f2bc68223edb59e3254c234be&seq=1

І (для пакету R): https://cran.r-project.org/web/packages/geepack/index.html

— Олександр Казенаве-Лакруц
джерело