Коли різняться коефіцієнти, оцінені за допомогою логістичної та лінійно-лінійної регресії?

При моделюванні безперервних пропорцій (наприклад, пропорційне рослинне покриття на квадратах обстеження або частка часу, що займається діяльністю) логістичний регрес вважається недоцільним (наприклад, Warton & Hui (2011 ). Швидше, регресія OLS після перетворення пропорцій logit, або, можливо, бета-регресія, є більш підходящими.

За яких умов оцінки коефіцієнтів логічно-лінійної регресії та логістичної регресії різняться при використанні R lmта glm?

Візьмемо наступний модельований набір даних, де можна припустити, що pце наші необроблені дані (тобто безперервні пропорції, а не представлення ${n_{successes}\over n_{trials}}$ ):

set.seed(1)
x <- rnorm(1000)
a <- runif(1)
b <- runif(1)
logit.p <- a + b*x + rnorm(1000, 0, 0.2)
p <- plogis(logit.p)

plot(p ~ x, ylim=c(0, 1))

Встановлюючи лінійно-лінійну модель, отримуємо:

summary(lm(logit.p ~ x))
## 
## Call:
## lm(formula = logit.p ~ x)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -0.64702 -0.13747 -0.00345  0.15077  0.73148 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept) 0.868148   0.006579   131.9   <2e-16 ***
## x           0.967129   0.006360   152.1   <2e-16 ***
## ---
## Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
## 
## Residual standard error: 0.208 on 998 degrees of freedom
## Multiple R-squared:  0.9586, Adjusted R-squared:  0.9586 
## F-statistic: 2.312e+04 on 1 and 998 DF,  p-value: < 2.2e-16

Логістична регресія дає:

summary(glm(p ~ x, family=binomial))
## 
## Call:
## glm(formula = p ~ x, family = binomial)
## 
## Deviance Residuals: 
##      Min        1Q    Median        3Q       Max  
## -0.32099  -0.05475   0.00066   0.05948   0.36307  
## 
## Coefficients:
##             Estimate Std. Error z value Pr(>|z|)    
## (Intercept)  0.86242    0.07684   11.22   <2e-16 ***
## x            0.96128    0.08395   11.45   <2e-16 ***
## ---
## Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
## 
## (Dispersion parameter for binomial family taken to be 1)
## 
##     Null deviance: 176.1082  on 999  degrees of freedom
## Residual deviance:   7.9899  on 998  degrees of freedom
## AIC: 701.71
## 
## Number of Fisher Scoring iterations: 5
## 
## Warning message:
## In eval(expr, envir, enclos) : non-integer #successes in a binomial glm!

Чи завжди оцінки коефіцієнта логістичної регресії будуть неупередженими щодо оцінок логічно-лінійної моделі?

Можливо, на це можна відповісти «зворотним» способом - тобто коли вони однакові?

Тепер алгоритм IRLS, який використовується в логістичній регресії, дає деяке розуміння тут. При збіжності ви можете виразити модельні коефіцієнти у вигляді:

$W$$W_{ii}=n_ip_i (1-p_i)$$z$$z_i=x_i^T\hat {\beta}_{logistic} +\frac {y_i -n_ip_i}{n_ip_i (1-p_i)}$$var (z_i -x_i^T\hat {\beta})=W_{ii}^{-1}$$z$$\beta$$z$

$\log (y)-\log (n-y)$$y (1-y/n)$$y$$n$lm ()

Будь ласка, не соромтесь зазначити це, якщо я помиляюся.

По-перше, я так кажу, по-друге, ви називаєте glmнеправильно! Щоб відповідати логістичній регресії glm, відповідь має бути (двійковою) категоріальною змінною, але ви використовуєте pчислову змінну! Я мушу сказати, що warningце занадто ніжно, щоб повідомити користувачам про свої помилки ...

І, як ви могли очікувати, ви отримуєте подібні оцінки коефіцієнтів на два підходи просто на COINCIDENCE. Якщо замінити logit.p <- a + b*x + rnorm(1000, 0, 0.2)з logit.p <- a + b*x + rnorm(1000, 0, 0.7), тобто, зміна дисперсії залишкового члена від 0.2до 0.7, то результати двох підбори будуть значно відрізнятися, хоча другий формі ( glm) НЕ має сенсу взагалі ...

Логістична регресія використовується для (бінарної) класифікації, тому ви повинні мати категоричну відповідь, як зазначено вище. Наприклад, спостереження відповіді повинні бути серією "успіх" чи "невдача", а не серією "ймовірності (частоти)", як у ваших даних. Для заданого набору категоріальних даних ви можете обчислити лише одну загальну частоту для "відповідь = успіх" або "відповідь = провал", а не серію. У даних, які ви створюєте, категоричної змінної взагалі немає, тому застосувати логістичну регресію неможливо. Тепер ви можете бачити, хоча вони мають схожий вигляд, лінійно-лінійна регресія (як ви це називаєте) - це просто звичайна лінійна проблема РЕГРЕСІЇ (тобто відповідь є числовою змінною) з використанням перетвореного відповіді (подібно до перетворення sqr або sqrt),

Зазвичай лінійна регресія встановлюється через звичайні найменші квадрати (OLS), що мінімізує квадратну втрату для проблеми регресії; логістична регресія встановлюється через максимальну оцінку ймовірності (MLE), яка мінімізує втрати журналу для проблеми класифікації. Ось посилання на функції втрат Function Loss Fun, Deva Ramanan. У першому прикладі ви розглядаєте pяк відповідь і підходите до звичайної лінійної регресійної моделі через OLS; у другому прикладі ви говорите, Rщо ви підходите до логістичної регресійної моделі family=binomial, тому Rпідходите до моделі MLE. Як бачите, у першій моделі ви отримуєте t-test та F-test, які є класичними виходами OLS, придатними для лінійної регресії. У другій моделі коефіцієнт значущості базується на zзамість, а не наt, що є класичним виходом MLE, що відповідає логістичній регресії.