Який правильний спосіб перевірити на значні відмінності між коефіцієнтами?

18

Я сподіваюся, що хтось може допомогти виправити для мене точку плутанини. Скажіть, я хочу перевірити, чи значно відрізняються два набори коефіцієнтів регресії один від одного, встановивши наступне:

$y_i = \alpha + \beta x_i + \epsilon_i$ , з 5 незалежними змінними.
2 групи з приблизно однаковими розмірами $n_1, n_2$ (хоча це може змінюватися)
Тисячі подібних регресій будуть здійснені одночасно, тому потрібно зробити якусь корекцію множинних гіпотез.

Один із підходів, який мені запропонували, - використовувати Z-тест:

$Z = \frac{b_1 - b_2}{\sqrt(SEb_1^2 + SEb_2^2)}$

Ще одне, що я бачив, запропонувавши на цій дошці, - це ввести фіктивну змінну для групування та переписати модель як:

$y_i = \alpha + \beta x_i + \delta(x_ig_i) + \epsilon_i$ , де $g$ - змінна групування, кодована як 0, 1.

Моє запитання полягає в тому, чим відрізняються ці два підходи (наприклад, різні припущення, гнучкість)? Чи є один більш відповідний, ніж інший? Я підозрюю, що це досить просто, але будь-яке уточнення буде дуже вдячно.

regression hypothesis-testing multiple-regression

— кашо
джерело

Я вважаю, що відповіді та коментарі до подібного питання можуть дати деякі уточнення, які ви шукаєте.

— whuber

Дякую тобі Мені була знайома відповідь. Із обговорення нижче прийнятої відповіді (і ваших коментарів там) у мене залишилося враження, що порівнювати коефіцієнти двох окремих підходів не було доцільно. Чи застосовується z-тест до коефіцієнтів з окремих підходів, неправильно чи це кодування фіктивних змінних просто простіше і дає рівнозначну відповідь?

— cashoes

1

Будь ласка, дивіться останній абзац моєї відповіді ("Основне обмеження ..."). Тест Z є дійсним, якщо

є великими (в іншому випадку використовують при тесті), і розрахункові стандартні відхилення

не надто відрізняються один від одного. Жоден підхід не найкращий, коли стандартні відхилення сильно відрізняються (приблизно, більше ніж співвідношення 3: 1).

n_{i}

$n_i$

S E b_{i}

$SEb_i$

— whuber

13

Два підходи дійсно відрізняються.

Нехай розрахункові стандартні похибки двох регресій становлять та . Тоді, оскільки комбінована регресія (з усіма взаємодіями коефіцієнта-манекена) відповідає однаковим коефіцієнтам, вона має ті самі залишки, звідки може бути обчислена її стандартна помилка як $s_1$ $s_2$

s = \sqrt{\frac{(n_{1} - p) s_{1}^{2} + (n_{2} - p) s_{2}^{2})}{n_{1} + n_{2} - 2 p}} .

$s = \sqrt{\frac{(n_1-p) s_1^2 + (n_2-p) s_2^2)}{n_1 + n_2 - 2 p}}.$

Кількість параметрів дорівнює у прикладі: п’ять схилів і перехоплення в кожній регресії. $p$ $6$

Дозволяти оцінює параметр в одній регресії, оцінює той самий параметр в іншій регресії, а оцінює їхрізницюв комбінованій регресії. Тоді їхні стандартні помилки пов'язані між собою $b_1$ $b_2$ $b$

S E (b) = s \sqrt{(S E (b_{1}) / s_{1})^{2} + (S E (b_{2}) / s_{2})^{2}} .

$SE(b) = s \sqrt{(SE(b_1)/s_1)^2 + (SE(b_2)/s_2)^2}.$

Якщо ви ще не зробили комбіновану регресію, але маєте лише статистику для окремих регресій, підключіть до попереднього рівняння для . Це буде знаменником t-тесту. Очевидно, це не те саме, що знаменник, представлений у запитанні. $s$

Припущення комбінованої регресії полягає в тому, що дисперсії залишків по суті однакові в обох окремих регресіях. Якщо це не так, проте z-тест також не буде хорошим (якщо тільки розміри вибірки не є великими): ви хочете використовувати тест CABF або t-тест Welch- Satterthwaite .

— дзижчати
джерело

9

Найбільш прямий спосіб перевірити різницю коефіцієнта між двома групами - це включити термін взаємодії у свою регресію, що є майже тим, що ви описуєте у своєму запитанні. Модель, яку ви запускаєте, така:

$y_i = \alpha + \beta x_i + \gamma g_i + \delta (x_i \times g_i) + \varepsilon_i$

$t$ $H_0: \delta = 0$ $g_i = 0$

$y_i = \alpha + \beta x_i + \varepsilon_i$

$g_i = 1$

$y_i = (\alpha + \gamma) + (\beta + \delta) x_i + \varepsilon_i$

$\delta$

— Метт Блеквелл
джерело

Дякую за виправлення моделі (я вважаю, що моя версія вище просто зобов’язує, щоб перехоплення було однаковим для обох груп ...). Більше того, чи буде це тоді еквівалентно z-тесту, який я розмістив вище?

— cashoes

y_{i} = α + β x_{i} + γ g_{i} + ε_{i}

$y_i = \alpha + \beta x_i + \gamma g_i + \varepsilon_i$

y_{i} = α + β x_{i} + γ g_{i} + δ (x_{i} \times g_{i}) + ε_{i}

$y_i = \alpha + \beta x_i + \gamma g_i + \delta (x_i \times g_i) + \varepsilon_i$

@ matt-blackwell це концептуально те саме, що розшарування моделі на кожне значення g? (тобто. b був би коефіцієнт x, коли g = 0, а бета + дельта, коли g = 1). Хоча я ціную, що стратифікація не дозволяє порівняти статистику.

— bobmcpop