Як перевірити, чи нахили в лінійній моделі рівні фіксованому значенню?

9

Припустимо, у нас проста модель лінійної регресії $Z = aX + bY$ і хотів би перевірити нульову гіпотезу $H_0: a=b=\frac{1}{2}$ проти загальної альтернативи.

Я думаю, що можна використовувати оцінку $\hat{a}$ і $SE(\hat{a})$ і далі застосувати a $Z$ -тестуйте, щоб отримати інтервал довіри навколо $\frac{1}{2}$ . Чи це добре?

Інше питання сильно пов'язане з цим. Припустимо, у нас є зразок $\{(x_1,y_1,z_1),\ldots ,(x_n,y_n,z_n) \}$ і ми обчислюємо $\chi^2$ статистика

\sum_{i = 1}^{n} \frac{(z_{i} - \frac{x_{i} + y_{i}}{2})^{2}}{\frac{x_{i} + y_{i}}{2}} .

$\begin{equation} \sum_{i=1}^n \frac{(z_i-\frac{x_i+y_i}{2})^2}{\frac{x_i+y_i}{2}}. \end{equation}$ Чи можна використовувати цю статистику для перевірки тієї ж нульової гіпотези?

hypothesis-testing regression

— Лань
джерело

8

При лінійній регресії припущення таке $X$ і $Y$ не є випадковими змінними. Тому модель

Z = а Х + б Y + ϵ

$Z = a X + b Y + \epsilon$

алгебраїчно те саме, що

Z - \frac{1}{2} Х - \frac{1}{2} Y = (а - \frac{1}{2}) Х + (б - \frac{1}{2}) Y + ϵ = α Х + β Y + ϵ .

$Z - \frac{1}{2} X - \frac{1}{2} Y = (a - \frac{1}{2})X + (b - \frac{1}{2})Y + \epsilon = \alpha X + \beta Y + \epsilon.$

Ось $\alpha = a - \frac{1}{2}$ і $\beta =b - \frac{1}{2}$ . Термін помилки $\epsilon$ не впливає. Підходять до цієї моделі, оцінюючи коефіцієнти як $\hat{\alpha}$ і $\hat{\beta}$ відповідно, і перевірити гіпотезу $\alpha = \beta = 0$ звичайним способом.

Статистика, написана в кінці запитання, не є чі-квадратною статистикою, незважаючи на її формальну подібність до такої. Статистика хі-квадратів включає в себе підрахунки , а не значення даних, і повинна мати очікувані значення у своєму знаменнику, а не коваріати. Це можливо для одного або декількох знаменників $\frac{x_i+y_i}{2}$ бути нульовим (або близьким до нього), що показує, що щось серйозно не так з цією формулюванням. Якщо навіть це не є переконливим, вважайте, що одиниці вимірювання $Z$ , $X$ , і $Y$ може бути будь-що (наприклад, драми, парсекс та пеки), так що лінійна комбінація, як $z_i - (x_i+y_i)/2$ є (загалом) безглуздим. Це нічого не перевіряє.

— дзижчати
джерело

1

Дякую за вашу відповідь. Це було дуже корисно. Насправді я не був дуже точним у формулюванні другої частини питання. Уявіть, що xs і ys - додатні числа, виміряні в одних і тих же одиницях. Zs (спостережуваний результат) якимось чином вимірює "взаємодію" в тому сенсі, що якщо немає взаємодії, zs має бути (x + y) / 2 (очікуваний результат). Отже, з моєї точки зору, було те саме використовувати регресію з нульовою гіпотезою a = b = 1/2 або порівнювати корисність за допомогою статистики Пірсона chi ^ 2. Це має сенс? Дякую!

— Лан

1

@Lan Я думаю, що відповідь Вольфганга чудово ілюструє те, як зробити тест, який ви пропонуєте. Це приклад того, що означало тестування гіпотези «звичайним чином».

— whuber

9

Ви можете перевірити цю гіпотезу за допомогою повного порівняно зі зменшеним тестом на моделі. Ось як ви це робите. Спочатку підійде модель $Z = aX + bY$ і отримати залишки від цієї моделі. Закресліть залишки та підсумуйте їх. Це сума квадратної помилки для повної моделі. Давайте назвемо це $SSE_f$ . Далі, обчисліть $Z - \hat{Z}$ де $\hat{Z} = 1/2*X + 1/2*Y$ . Це ваші залишки під нульовою гіпотезою. Розкладіть їх і підсумуйте. Це сума квадратної помилки для зменшеної моделі. Давайте назвемо це $SSE_r$ .

Тепер обчисліть:

F = $((SSE_r - SSE_f)/2) / (SSE_f / (n-2))$ ,

де $n$ - розмір вибірки. Під $H_0$ , ця F-статистика слідує за F-розподілом з $2$ і $n-2$ ступенів свободи.

Ось приклад використання R:

x <- rnorm(n)
y <- rnorm(n)
z <- 1/2*x + 1/2*y + rnorm(n) ### note I am simulating under H0 here

res <- lm(z ~ x + y - 1)
summary(res)
SSE.f <- sum(resid(res)^2)

zhat  <- 1/2*x + 1/2*y
SSE.r <- sum((z-zhat)^2)

F <- ((SSE.r - SSE.f) / 2) / (SSE.f / (n-2))
pf(F, 2, n-2, lower.tail=FALSE) ### this is the p-value

Відхиліть нуль, якщо значення p нижче .05 (якщо ваше $\alpha$ справді .05).

Я припускаю, що ви дійсно мали на увазі, щоб ваша модель не містила перехоплення. Іншими словами, я припускаю, що ви справді працюєте з моделлю $Z = aX + bY$ і ні $Z = c + aX + bY$ .

— Вольфганг
джерело