Коли Пуассон та негативні біноміальні регресії відповідають однаковим коефіцієнтам?

Я помітив, що в R, Пуассоні та негативних біноміальних регресіях, здається, завжди відповідають однакові коефіцієнти для категоричних, але не безперервних предикторів.

Наприклад, ось регресія з категоричним прогноктором:

data(warpbreaks)
library(MASS)

rs1 = glm(breaks ~ tension, data=warpbreaks, family="poisson")
rs2 = glm.nb(breaks ~ tension, data=warpbreaks)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

Ось приклад з неперервним прогноктором, де Пуассон і НБ відповідають різним коефіцієнтам:

data(cars)
rs1 = glm(dist ~ speed, data=cars, family="poisson")
rs2 = glm.nb(dist ~ speed, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

(Звичайно, ці дані не рахуються, а моделі не мають сенсу ...)

Потім я перекодую прогноктор у коефіцієнт, і дві моделі знову відповідають однаковим коефіцієнтам:

library(Hmisc)
speedCat = cut2(cars$speed, g=5) 
#you can change g to get a different number of bins

rs1 = glm(cars$dist ~ speedCat, family="poisson")
rs2 = glm.nb(cars$dist ~ speedCat)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

Однак негативна біноміальна регресія Джозефа Хільбе дає приклад (6.3, стор. 118-119), де категоричний предиктор, стать, підходить з дещо різними коефіцієнтами за Пуассоном ( $b=0.883$ ) та NB ( ). Він каже: “Співвідношення частоти захворюваності між моделями Пуассона та НБ досить схожі. Це не дивно, якщо врахувати близькість [відповідає в R] до нуля. "α 1 /$b=0.881$$\alpha$$1/\theta$

Я розумію це, але у наведених вище прикладах summary(rs2)говорить нам, що оцінюється відповідно в 9,16 і 7,93.$\theta$

То чому ж коефіцієнти точно однакові? І чому лише для категоричних прогнозів?

---

Редагувати №1

Наведемо приклад з двома неортогональними провісниками. Дійсно, коефіцієнти вже не однакові:

data(cars)

#make random categorical predictor
set.seed(1); randomCats1 = sample( c("A","B","C"), length(cars$dist), replace=T)
set.seed(2); randomCats2 = sample( c("C","D","E"), length(cars$dist), replace=T)

rs1 = glm(dist ~ randomCats1 + randomCats2, data=cars, family="poisson")
rs2 = glm.nb(dist ~ randomCats1 + randomCats2, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

І, в тому числі інший предиктор, змушує моделі підходити до різних коефіцієнтів, навіть коли новий предиктор є безперервним. Отже, це чимось пов'язане з ортогональністю фіктивних змінних, які я створив у своєму оригінальному прикладі?

rs1 = glm(dist ~ randomCats1 + speed, data=cars, family="poisson")
rs2 = glm.nb(dist ~ randomCats1 + speed, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

Ви виявили інтимну, але загальну властивість GLM, що відповідають максимальній вірогідності . Результат випадає, як тільки розглядається найпростіший випадок з усіх: Встановлення одного параметра в одне спостереження!

Одне речення Відповідь : Якщо все , що ми дбаємо про доречно окремі засоби для непересічних підмножин нашого зразка, то GLMS завжди дають ц J = ··· у J для кожного підмножини J , так фактичній структурі помилки і параметризації щільності і стають неактуальними до (бальної) оцінки!$\hat\mu_j = \bar y_j$$j$

Трохи більше : Пристосування ортогональних категоріальних факторів за максимальною вірогідністю еквівалентно встановленню окремих засобів для роз'єднання підмножин нашого зразка, тому це пояснює, чому Пуассон та негативні двочленні ГЛМ дають однакові оцінки параметрів. Дійсно, те ж саме відбувається, використовуючи Пуассон, Негбін, Гаусса, зворотну гауссова чи гамма-регресію (див. Нижче). У випадку Пуассона та Небіна функцією посилання за замовчуванням є посилання на , але це червона оселедець; хоча це дає ті ж самі необроблені оцінки параметрів, нижче ми побачимо, що ця властивість взагалі не має нічого спільного з функцією зв'язку.$\log$

Коли нас цікавить параметризація з більшою структурою, або це залежить від безперервних предикторів, то припущена структура помилок стає актуальною через співвідношення середньо-дисперсійного розподілу, що стосується параметрів та нелінійної функції, що використовується для моделювання умовного засоби.

ГЛМ та експоненціальні дисперсійні сім'ї: Збіг курсу

$$\log f(y;\,\theta,\nu) = \frac{\theta y - b(\theta)}{\nu} + a(y,\nu) \>.$$

$\theta$$\nu$$\nu$

$\theta$$y = b'(\hat\theta)$$\nu$$\bar y = b'(\hat\theta)$

$\theta$

$$\frac{\partial}{\partial \theta} \mathbb E \log f(Y;\theta,\nu) = \mathbb E \frac{\partial}{\partial \theta} \log f(Y;\theta,\nu) = 0 \>.$$ $b'(\theta) = \mathbb E Y = \mu$

$\bar y = \hat\mu$

$\mu_i$$\mu_i = g^{-1}(\mathbf x_i^T \beta)$$g$$\mathbf x_i$$j$$\mu_i = g(\beta_j)$$\beta_j$

Що так відрізняється від безперервних прогнозів?

Коли предиктори є безперервними або вони категоричні, але не можуть бути зведені до ортогональної форми, ймовірність перестає розбиватися на окремі терміни з окремим значенням залежно від окремого параметра. На даний момент, структура помилок і функція посилання дійсно вступають в гру.

$$\sum_{i=1}^n \frac{(y_i - \mu_i)x_{ij}}{\sigma_i^2}\frac{\partial \mu_i}{\partial \lambda_i} = 0\>,$$ $j = 1,\ldots,p$$\lambda_i = \mathbf x_i^T \beta$$\beta$$\nu$$\mu_i = g(\lambda_i) = g(\mathbf x_i^T \beta)$$\sigma_i^2$

Таким чином, функція зв'язку та припущена модель помилок стають актуальними для оцінки.

Приклад: модель помилки (майже) не має значення

$k = 6$

$\log$

З таблиці ми бачимо, що оцінки параметрів є однаковими , хоча деякі з цих GLM призначені для дискретних даних, а інші - для безперервних, а деякі - для негативних даних, а інші - не.

      negbin  poisson gaussian invgauss    gamma
XX1 4.234107 4.234107 4.234107 4.234107 4.234107
XX2 4.790820 4.790820 4.790820 4.790820 4.790820
XX3 4.841033 4.841033 4.841033 4.841033 4.841033

$0$

Приклад: Функція посилання (майже) не має значення

$\log$$\log(\hat \beta)$$\log(\hat \beta^2)$$\hat\beta$

> coefs.po
         log       id     sqrt
XX1 4.234107 4.234107 4.234107
XX2 4.790820 4.790820 4.790820
XX3 4.841033 4.841033 4.841033

Застереження у заголовку просто посилається на той факт, що необроблені оцінки залежать від функції зв'язку, але маються на увазі середні параметри оцінки не будуть.

R код

# Warning! This code is a bit simplified for compactness.
library(MASS)
n <- 5
m <- 3
set.seed(17)
b <- exp(5+rnorm(m))
k <- 6

# Random negbin data; orthogonal factors
y <- rnbinom(m*n, size=k, mu=rep(b,each=n))
X <- factor(paste("X",rep(1:m,each=n),sep=""))

# Fit a bunch of GLMs with a log link
con <- glm.control(maxit=100)
mnb <- glm(y~X+0, family=negative.binomial(theta=2))
mpo <- glm(y~X+0, family="poisson")
mga <- glm(y~X+0, family=gaussian(link=log), start=rep(1,m), control=con)
miv <- glm(y~X+0, family=inverse.gaussian(link=log), start=rep(2,m), control=con)
mgm <- glm(y~X+0, family=Gamma(link=log), start=rep(1,m), control=con)    
coefs <- cbind(negbin=mnb$coef, poisson=mpo$coef, gaussian=mga$coef
                   invgauss=miv$coef, gamma=mgm$coef)

# Fit a bunch of Poisson GLMs with different links.
mpo.log  <- glm(y~X+0, family=poisson(link="log"))
mpo.id   <- glm(y~X+0, family=poisson(link="identity"))
mpo.sqrt <- glm(y~X+0, family=poisson(link="sqrt"))   
coefs.po <- cbind(log=mpo$coef, id=log(mpo.id$coef), sqrt=log(mpo.sqrt$coef^2))

Для того, щоб побачити, що тут відбувається, корисно спочатку зробити регресію без перехоплення, оскільки перехоплення в категоричній регресії лише з одним предиктором безглуздо:

> rs1 = glm(breaks ~ tension-1, data=warpbreaks, family="poisson")
> rs2 = glm.nb(breaks ~ tension-1, data=warpbreaks)

Оскільки Пуассон та негативні біноміальні регресії задають журнал середнього параметра, то для категоричної регресії експоненцію коефіцієнтів дасть вам фактичний середній параметр для кожної категорії:

>  exp(cbind("Poisson"=coef(rs1), "NB"=coef(rs2)))
          Poisson       NB
tensionL 36.38889 36.38889
tensionM 26.38889 26.38889
tensionH 21.66667 21.66667

Ці параметри відповідають фактичним засобам для різних значень категорії:

> with(warpbreaks,tapply(breaks,tension,mean))
       L        M        H 
36.38889 26.38889 21.66667 

$\lambda$

$\lambda$

$\lambda$$\theta$$\theta$$\lambda$

$$\begin{align} L(X,\lambda,\theta) &= \prod \left(\frac{\theta}{\lambda+\theta}\right)^\theta \frac{\Gamma(\theta + x_i)}{x_i!\Gamma(\theta)}\left(\frac{\lambda}{\lambda+\theta}\right)^{x_i}\\ \log L(X,\lambda,\theta) &= \sum\theta\left(\text{log}\theta-\text{log}(\lambda+\theta)\right) +x_i\left(\text{log}\lambda-\text{log}(\lambda+\theta)\right) +\log\left(\frac{\Gamma(\theta + x_i)}{x_i!\Gamma(\theta)}\right)\\ \frac{d}{d\lambda}\log L(X,\lambda,\theta) &= \sum \frac{x_i}{\lambda}-\frac{\theta+x_i}{\lambda+\theta} =n\left(\frac{\bar{x}}{\lambda}-\frac{\bar{x}+\theta}{\lambda+\theta}\right), \end{align}$$ $\lambda=\bar{x}$

$\text{log}(\lambda)$$\lambda$

$\lambda$$\lambda$$2$$5$$10$$5*5=25$$\lambda$$11$