Чому залишки Пірсона від негативної біноміальної регресії менше, ніж ті, що виникають в результаті пуассонової регресії?

У мене є ці дані:

set.seed(1)
predictor  <- rnorm(20)
set.seed(1)
counts <- c(sample(1:1000, 20))
df <- data.frame(counts, predictor)

Я провів пуассонову регресію

poisson_counts <- glm(counts ~ predictor, data = df, family = "poisson")

І негативна біноміальна регресія:

require(MASS)
nb_counts <- glm.nb(counts ~ predictor, data = df)

Тоді я обчислював статистику дисперсії для пуассонової регресії:

sum(residuals(poisson_counts, type="pearson")^2)/df.residual(poisson_counts)

# [1] 145.4905

І негативна біноміальна регресія:

sum(residuals(nb_counts, type="pearson")^2)/df.residual(nb_counts)

# [1] 0.7650289

Хтось може пояснити, БЕЗ ВИКОРИСТАННЯ РІВНІВ, чому статистика дисперсії негативної біноміальної регресії значно менша, ніж статистика дисперсії для пуассонової регресії?

— лучано
джерело

Відповіді:

Це досить просто, але "без використання рівнянь" є суттєвим недоліком. Я можу пояснити це словами, але ці слова обов'язково відображають рівняння. Я сподіваюся, що це буде прийнятним / все-таки для вас якесь значення. (Відповідні рівняння не є складними.)

Існує кілька видів залишків. Сирі залишки - це просто різниця між спостережуваними значеннями відповіді (у вашому випадку counts) та прогнозованими значеннями відповіді моделі. Залишки Пірсона діляться на стандартне відхилення (квадратний корінь дисперсійної функції для конкретної версії узагальненої лінійної моделі, яку ви використовуєте).

Стандартне відхилення, пов'язане з розподілом Пуассона , менше, ніж у негативного бінома . Таким чином, коли ви ділите на більший знаменник, коефіцієнт менший.

Крім того, негативний двочлен більше відповідає вашому випадку, тому що ваш countsрозподіл буде як рівномірний у сукупності. Тобто їх дисперсія не буде дорівнює їх середній.

— gung - Відновити Моніку
джерело

Хоча ОП вимагає не математичного пояснення, все-таки було б добре бачити математичне (або якесь настільки ж жорстке і чітке) обґрунтування цієї відповіді. Прочитавши питання, моя інтуїція полягала в тому, що "Оскільки Пуассон є (обмежуючим) особливим випадком NB і NB має більше параметрів, є більше гнучкості в підгонці, так що, звичайно, будь-яка розумна міра залишків не повинна збільшуватися при заміні Poisson GLM від NB GLM. " Мені цікаво, чи справді така інтуїція була правильною.

— whuber

Якщо , . Якщо , і . Отже, дисперсія Пуассона дорівнює середній, дисперсія NegBin більша за середню ( ). Ось чому "стандартне відхилення, пов'язане з розподілом Пуассона, менше, ніж у негативного двочлена".

X \sim Poisson (λ)

$X\sim\text{Poisson}(\lambda)$

E [X] = V [X] = λ

$E[X]=V[X]=\lambda$

X \sim NegBin (r, p)

$X\sim\text{NegBin}(r,p)$

E [X] = p r / (1 - p)

$E[X]=pr/(1-p)$

V [X] = p r / (1 - p)^{2}

$V[X]=pr/(1-p)^2$

p < 1 \Rightarrow (1 - p)^{2} < (1 - p)

$p<1\Rightarrow (1-p)^2<(1-p)$

— Серхіо

@Sergio Суть справи полягає в тому, що в моделі Пуассона ми працюємо з оцінкою а не з , а в моделі NB ми аналогічно працюємо з двома оцінками і . Тому ваше порівняння не застосовується безпосередньо. Без реального запису формул для MLE в обох моделях, зовсім не очевидно, якими повинні бути зв’язки між цими наборами оцінок. Крім того, залишок Пірсона - це співвідношення, а аргумент щодо відхилень стосується лише знаменників, що становить лише половину історії.

\hat{λ}

$\hat\lambda$

λ

$\lambda$

\hat{r}

$\hat{r}$

\hat{p}

$\hat{p}$

— whuber

Оцінки MLE узгоджуються. Проблема полягає в тому, що коли, як говорить Гунг, "підрахунки будуть розподілятися як уніформа в популяції. Тобто їх дисперсія не буде дорівнює їх середній", ви ніколи не зможете отримати оцінну дисперсію Пуассона, більшу, ніж передбачувана Пуассон означає, навіть якщо ваші оцінки неупереджені та послідовні. Це проблема неправильного уточнення.

— Серхіо

Для моделі Пуассона, якщо очікування для го спостереження є його дисперсія дорівнює , а залишок Пірсона, отже, $i$ $Y_i$ $\mu_i$ $\mu_i$

\frac{y_{i} - {\hat{μ}}_{i}}{\sqrt{{\hat{μ}}_{i}}}

$\frac{y_i-\hat\mu_i}{\sqrt{\hat\mu_i}}$

де - середня оцінка. Параметризація негативної біноміальної моделі, що використовується в MASS , пояснюється тут . Якщо очікування для го спостереження дорівнює його дисперсія дорівнює , а залишок Пірсона, отже $\hat\mu$ $i$ $Y_i$ $\mu_i$ $\mu_i + \frac{\mu^2}{\theta}$

\frac{y_{i} - {\tilde{μ}}_{i}}{\sqrt{{\tilde{μ}}_{i} + \frac{{\tilde{μ}}^{' 2}}{θ}}}

$\frac{y_i-\tilde\mu_i}{\sqrt{\tilde\mu_i+\frac{\tilde\mu'^2}{\theta}}}$

де - середня оцінка. Чим менше значення - тобто чим більше екстра-пуассонівська дисперсія, тим менша залишкова порівняно із її еквівалентом Пуассона. [Але, як зазначав @whuber, оцінки засобів не однакові, , оскільки процедура оцінки зважує спостереження відповідно до їх передбачуваної дисперсії. Якби ви зробили повторні вимірювання для ї схеми прогнозів, вони наблизилися б, і загалом додавання параметра повинно краще відповідати всім спостереженням, хоча я не знаю, як це жорстко продемонструвати. І все-таки кількість населення, яку ви оцінюєте, більша, якщо модель Пуассона дотримана, тому це не повинно бути сюрпризом.] $\tilde\mu$ $\theta$ $\hat\mu\neq\tilde\mu$ $i$

— Скорчі - Відновлення Моніки
джерело

Дякуємо, що представили деякі рівняння. Але чи будуть у двох моделях однакові значення? (Я не думаю, що так.) Якщо ні, як тоді можна порівняти два залишки Пірсона?

μ_{i}

$\mu_i$

— whuber

@whuber У цьому випадку виявляється, що встановлені значення для обох моделей майже однакові. Зрештою, "справжня" модель насправді просто перехоплює і в основному моделює середнє значення, оскільки між моделюванням x та Y не існує взаємозв'язку.

— jsk

@jsk Так, я переглянув дані і запустив код. (BTW, можна змінити дані та отримати по суті однакову статистику дисперсії для двох моделей.) На жаль, ваша думка, яка є дійсною, досі не вирішує конкретного питання, а також не стосується (неявного) загального питання про порівнюючи залишки Пуассона із залишками NB, оскільки розрахункові відхилення також можуть бути майже однаковими. Один потенційно заплутаний аспект щодо цієї відповіді - використання символу " " для позначення того, що (в принципі) може бути різними оцінками у двох моделях одних і тих же даних.

μ_{i}

$\mu_i$

— whuber

@whuber Дійсно, у вас є дійсні моменти щодо використання . Цікаво, що я не можу знайти спосіб моделювання даних, який би призвів до меншої статистики дисперсії для Пуассона, ніж NB. Можливо, це неможливо? Я згоден, що це має сенс інтуїтивно. Це не просто довести, оскільки для mle не існує рішення закритої форми, коли у вас є glm з функцією зв'язку, відмінною від ідентичності. Але так, легко зробити дві статистики дисперсії дуже подібними.

μ_{i}

$\mu_i$

— jsk

@jsk - один теоретичний аргумент, щоб підозрювати, що модель NB завжди буде краще, ніж Пуассон, - це те, що ви можете записати NB як розподіл складових пуассон-гамма. Отже, у вас а потім дає негативну біноміальну модель . Тепер додавання цих параметрів дозволяє моделі зробити прогнозована середня ближче до спостережуваного значенням (при ви побачите , зменшення залишку.)

(y_{i} | λ, v_{i}, r) \sim P o i s s o n (λ v_{i})

$( y_i|\lambda, v_i, r)\sim Poisson (\lambda v_i)$

(v_{i} | λ, r) \sim G a m m a (r, r)

$(v_i|\lambda, r)\sim Gamma(r, r)$

(y_{i} | λ, r) \sim N B (r, \frac{λ}{r + λ})

$( y_i|\lambda, r)\sim NB (r,\frac {\lambda}{r+\lambda} )$

v_{i}

$v_i$

y_{i} > λ

$y_i>\lambda$

v_{i} > 1

$v_i> 1$

— probabilityislogic