Тест Вальда на логістичну регресію

Наскільки я розумію, тест Уолда в контексті логістичної регресії використовується для визначення того, чи є певна змінна прогнозова значення значною чи ні. Він відкидає нульову гіпотезу, що відповідний коефіцієнт дорівнює нулю.$X$

Тест складається з ділення значення коефіцієнта на стандартну похибку .$\sigma$

Мене бентежить те, що також відомий як Z-оцінка і вказує, наскільки ймовірно, що дане спостереження відбувається з нормального розподілу (із середнім нулем).$X/\sigma$

Оцінки коефіцієнтів та перехоплення в логістичній регресії (і будь-якій ГЛМ) знаходять за допомогою оцінки максимальної ймовірності (MLE). Ці оцінки позначені з капелюхом над параметрами, що - щось на зразок & thetas . Наш цікавий параметр позначається θ 0, і це зазвичай 0, оскільки ми хочемо перевірити, чи відрізняється коефіцієнт від 0 чи ні. З асимптотичної теорії ОМПА, ми знаємо , що різниця між θ і & thetas 0 буде приблизно нормально розподілені із середнім значенням 0 (подробиці можна знайти в будь-якому математичної статистики книги , такі як Ларрі Вассерман Всіх статистиків ). Нагадаємо, що стандартні помилки - це не що інше, як$\hat{\theta}$$\theta_{0}$$\hat{\theta}$$\theta_{0}$стандартні відхилення статистики (Сокал і Рольф пишуть у своїй книзі " Біометрія" : " статистика - це будь-яка з багатьох обчислених або оцінених статистичних величин", наприклад, середнє значення, медіана, стандартне відхилення, коефіцієнт кореляції, коефіцієнт регресії, ...). Розділення нормального розподілу на середнє значення 0 та стандартне відхилення на його стандартне відхилення дасть стандартне нормальне розподіл із середнім значенням 0 та стандартним відхиленням 1. Статистику Уолда визначають як (наприклад, Wasserman (2006): Вся статистика , стор. 153, 214 -215): W = ( β - β 0$\sigma$ або W2=(β-β0)

$$W=\frac{(\hat{\beta}-\beta_{0})}{\widehat{\operatorname{se}}(\hat{\beta})}\sim \mathcal{N}(0,1)$$ Друга форма випливає з того фактущо квадрат стандартного нормального розподілу єχ21-розподіл з 1 ступенем свободи (сума двох квадратів стандартних нормальні розподілу будеχ22-розподіл з 2 ступенями свободи тощо. $$W^{2}=\frac{(\hat{\beta}-\beta_{0})^2}{\widehat{\operatorname{Var}}(\hat{\beta})}\sim \chi^{2}_{1}$$ $\chi^{2}_{1}$$\chi^{2}_{2}$

$\beta_{0}=0$

$$W=\frac{\hat{\beta}}{\widehat{\operatorname{se}}(\hat{\beta})}\sim \mathcal{N}(0,1)$$

---

$z$$t$

$z$$t$$z$$p$$t$$z$$\operatorname{Var}[\hat{\beta}|X]=\sigma^2(X'X)^{-1}$$\sigma^2$$X$$\sigma^2$$\hat{\sigma}^{2}=s^2$$\widehat{\operatorname{se}}(\hat{\beta_{j}})=\sqrt{s^2(X'X)_{jj}^{-1}}$$t$$t$

$Y\sim Bin(n, p)$$E(Y)=np$$\operatorname{Var}(Y)=np(1-p)$$\phi$$\phi=1$$\phi<1$$\phi>1$$z$$t$$p$-цінки. В R, подивіться на цих двох прикладах:

Логістична регресія

mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv")

mydata$rank <- factor(mydata$rank)

my.mod <- glm(admit ~ gre + gpa + rank, data = mydata, family = "binomial")

summary(my.mod)

Coefficients:
             Estimate Std. Error z value Pr(>|z|)    
(Intercept) -3.989979   1.139951  -3.500 0.000465 ***
gre          0.002264   0.001094   2.070 0.038465 *  
gpa          0.804038   0.331819   2.423 0.015388 *  
rank2       -0.675443   0.316490  -2.134 0.032829 *  
rank3       -1.340204   0.345306  -3.881 0.000104 ***
rank4       -1.551464   0.417832  -3.713 0.000205 ***
   ---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

(Dispersion parameter for binomial family taken to be 1)

$z$

---

Нормальна лінійна регресія (OLS)

summary(lm(Fertility~., data=swiss))

Coefficients:
                 Estimate Std. Error t value Pr(>|t|)    
(Intercept)      66.91518   10.70604   6.250 1.91e-07 ***
Agriculture      -0.17211    0.07030  -2.448  0.01873 *  
Examination      -0.25801    0.25388  -1.016  0.31546    
Education        -0.87094    0.18303  -4.758 2.43e-05 ***
Catholic          0.10412    0.03526   2.953  0.00519 ** 
Infant.Mortality  1.07705    0.38172   2.822  0.00734 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 7.165 on 41 degrees of freedom

$t$$z$$t$

Ще один пов’язаний пост можна знайти тут .