Чи може модель для негативних даних із збіганням нулів (Tweedie GLM, нульовий надутий GLM тощо) передбачити точні нулі?

Розподіл Tweedie може моделювати скошені дані з точковою масою в нулі, коли параметр (показник у співвідношенні середня дисперсія) знаходиться між 1 і 2.$p$

Аналогічно, надута з нуля (будь-то безперервна чи дискретна) модель може мати велику кількість нулів.

У мене виникають проблеми з розумінням того, що це так, що коли я прогнозую або обчислюю відповідні значення за допомогою таких моделей, всі передбачені значення не дорівнюють нулю.

Чи можуть ці моделі насправді передбачити точні нулі?

Наприклад

library(tweedie)
library(statmod)
# generate data
y <- rtweedie( 100, xi=1.3, mu=1, phi=1)  # xi=p
x <- y+rnorm( length(y), 0, 0.2)
# estimate p
out <- tweedie.profile( y~1, p.vec=seq(1.1, 1.9, length=9))
# fit glm
fit <- glm( y ~ x, family=tweedie(var.power=out$p.max, link.power=0))
# predict
pred <- predict.glm(fit, newdata=data.frame(x=x), type="response")

predтепер не містить нулів. Я подумав, що корисність таких моделей, як розподіл Tweedie, походить від його здатності передбачати точні нулі та безперервну частину.

Я знаю, що в моєму прикладі змінна xне дуже прогнозована.

Зауважте, що передбачуване значення в GLM є середнім.

Для будь-якого розподілу за негативними значеннями, щоб передбачити середнє значення 0, його розподіл повинен бути цілком шипом при 0.

Тим НЕ менше, з лог-посилання, ви ніколи не буде відповідати середній рівно нулю (так як це вимагає для переходу до - ∞ ).$\eta$$-\infty$

Отже, ваша проблема - це не проблема з Твіді, а куди більш загальна; Ви б мали саме таку саму проблему, наприклад, з Poisson (нульовий або звичайний Poisson GLM).

Я подумав, що корисність розподілу Tweedie походить від його здатності передбачати точні нулі та безперервну частину.

Оскільки прогнозування точних нулів не відбудеться для будь-якого розподілу за негативними значеннями за допомогою логічного посилання, ваше мислення з цього приводу має бути помилковим.

Однією з його визначних пам'яток є те, що він може моделювати точні нулі в даних, а не те, що середні прогнози становитимуть 0. [Звичайно, придатний розподіл з ненульовим середнім рівнем може мати ймовірність бути точно нульовим, хоча середнє значення повинно перевищувати 0 . Відповідний інтервал прогнозування міг би включати, наприклад, 0.]

Зовсім не має значення, що пристосований розподіл включає будь-яку значну частку нулів - це не робить встановленого середнього нуля.

Зауважте, що якщо ви зміните свою функцію зв’язку, щоб сказати ідентифікаційне посилання, це насправді не вирішить вашу проблему - середнє значення негативної випадкової величини, яка не є всіма нулями, буде позитивною.

Прогнозування частки нулів

Я автор пакету statmod та спільний автор пакету tweedie. Все у вашому прикладі працює правильно. Код правильно веде облік будь-яких нулів, які можуть бути в даних.

Як пояснили Glen_b та Тім, передбачуване середнє значення ніколи не буде рівно нулем, якщо тільки ймовірність нуля не буде 100%. Що може бути цікавим, хоча це прогнозована частка нулів, і це може бути легко витягнуто з підходящої моделі, як я показую нижче.

Ось більш розумний робочий приклад. Спочатку змоделюйте деякі дані:

> library(statmod)
> library(tweedie)
> x <- 1:100
> mutrue <- exp(-1+x/25)
> summary(mutrue)
   Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
 0.3829  1.0306  2.7737  5.0287  7.4644 20.0855 
> y <- rtweedie(100, mu=mutrue, phi=1, power=1.3)
> summary(y)
   Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
 0.0000  0.8482  2.9249  4.7164  6.1522 24.3897 
> sum(y==0)
[1] 12

Дані містять 12 нулів.

Тепер помістіть твіді glm:

> fit <- glm(y ~ x, family=tweedie(var.power=1.3, link.power=0))
> summary(fit)

Call:
glm(formula = y ~ x, family = tweedie(var.power = 1.3, link.power = 0))

Deviance Residuals: 
     Min        1Q    Median        3Q       Max  
-2.71253  -0.94685  -0.07556   0.69089   1.84013  

Coefficients:
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.816784   0.168764   -4.84 4.84e-06 ***
x            0.036748   0.002275   16.15  < 2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for Tweedie family taken to be 0.8578628)

    Null deviance: 363.26  on 99  degrees of freedom
Residual deviance: 103.70  on 98  degrees of freedom
AIC: NA

Number of Fisher Scoring iterations: 4

$x$$\phi$

$x$

> Phi <- 0.85786
> Mu <- fitted(fit)
> Power <- 1.3
> Prob.Zero <- exp(-Mu^(2-Power) / Phi / (2-Power))
> Prob.Zero[1:5]
        1         2         3         4         5 
0.3811336 0.3716732 0.3622103 0.3527512 0.3433024 
> Prob.Zero[96:100]
          96           97           98           99          100 
1.498569e-05 1.121936e-05 8.336499e-06 6.146648e-06 4.496188e-06 

Тож прогнозована частка нулів коливається від 38,1% при найменших середніх значеннях до 4,5e-6 при найбільших середніх значеннях.

Формулу ймовірності точного нуля можна знайти в Dunn & Smyth (2001) Tweedie Family Densities: Методи оцінки або Dunn & Smyth (2005) серії оцінок щільності моделі експоненціальної дисперсії Tweedie .

Цю відповідь було об'єднано з іншої теми, яка запитує про прогнозовану регресійну модель з нульовим рівнем, але вона також стосується моделі Tweedie GLM.

Регресійні моделі прогнозують середнє значення$f$$f$

$I$$f_\text{zeroinfl}(y)$

де $g^{-1}$ побачите зайвих нулів у своїх прогнозах, оскільки нулі не є середнім значенням розподілу (в той час як вони скорочують середнє значення до нуля), те саме, що лінійна регресія не передбачає залишки.

$Y$$X$$Y$$X$$Y$$X$$E(Y|X)$