Чи завжди в GLM вірогідність журналу насиченої моделі дорівнює нулю?

У рамках виведення узагальненої лінійної моделі для оцінки моделі використовують нульове та залишкове відхилення. Я часто бачу формули цих величин, виражені у вірогідності журналу насиченої моделі, наприклад: /stats//a/113022/22199 , Логістична регресія: Як отримати насичену модель

Насичена модель, наскільки я її розумію, - це модель, яка ідеально підходить до спостережуваної реакції. Таким чином, у більшості я, що я бачив, імовірність насиченої моделі завжди задається як нуль.

Однак спосіб подання формули відхилення говорить про те, що іноді ця кількість не дорівнює нулю. (Наче вона завжди дорівнює нулю, навіщо турбуватися включати її?)

У яких випадках він може бути не нульовим? Якщо він ніколи не є нульовим, навіщо його включати у формулу для відхилення?

— Олексій
джерело

Відповіді:

Якщо ви дійсно мали на увазі ймовірність журналу , то відповідь така: це не завжди дорівнює нулю.

Наприклад, розглянемо дані Пуассона: . Імовірність журналу для задається: $y_i \sim \text{Poisson}(\mu_i), i = 1, \ldots, n$ $Y = (y_1, \ldots, y_n)$

\begin{matrix} (*) & ℓ (μ; Y) = - \sum_{i = 1}^{n} μ_{i} + \sum_{i = 1}^{n} y_{i} \log μ_{i} - \sum_{i = 1}^{n} \log (y_{i}!) . \end{matrix}

$\ell(\mu; Y) = -\sum_{i = 1}^n \mu_i + \sum_{i = 1}^n y_i \log \mu_i - \sum_{i = 1}^n \log(y_i!). \tag{$*$}$

Диференціюйте у відносно та встановіть його на (саме так ми отримаємо MLE для насиченої моделі): Вирішіть це для щоб отримати , заміщення назад у для дає, що вірогідність журналу насиченої моделі становить: якщо приймати дуже особливі значення. $\ell(\mu; Y)$ $(*)$ $\mu_i$ $0$

- 1 + \frac{y_{i}}{μ_{i}} = 0.

$-1 + \frac{y_i}{\mu_i} = 0.$

μ_{i}

$\mu_i$

{\hat{μ}}_{i} = y_{i}

$\hat{\mu}_i = y_i$

{\hat{μ}}_{i}

$\hat{\mu}_i$

(*)

$(*)$

μ_{i}

$\mu_i$

ℓ (\hat{μ}; Y) = \sum_{i = 1}^{n} y_{i} (\log y_{i} - 1) - \sum_{i = 1}^{n} \log (y_{i}!) \neq 0

$\ell(\hat{\mu}; Y) = \sum_{i = 1}^n y_i(\log y_i - 1) -\sum_{i = 1}^n \log(y_i!) \neq 0$

y_{i}

$y_i$

На сторінці довідки Rфункції glmпід пунктом devianceдокумент пояснює це питання наступним чином:

deviance до постійної, мінус удвічі більше, ніж максимальна ймовірність журналу. Де розумна, константа вибирається таким чином, щоб насичена модель мала нульове відхилення.

Зауважте, що було зазначено, що відхилення замість логічності ймовірності насиченої моделі обрано рівним нулю.

Напевно, те, що ви насправді хотіли підтвердити, - це те, що " відхилення насиченої моделі завжди задається як нуль", що правда, оскільки відхилення, за визначенням (див. Розділ 4.5.1 категоричного аналізу даних (2-е видання) Алана Agresti) - це коефіцієнт ймовірності коефіцієнта ймовірності вказаного GLM до насиченої моделі. constantВище в документації R фактично двічі розгорнутий лог-правдоподібність насиченою моделі.

Що стосується вашої заяви "Тим не менш, спосіб надання формули відхилення говорить про те, що іноді ця кількість не дорівнює нулю", це, ймовірно, пов'язане з зловживанням використанням терміна " відхилення" . Так , наприклад, в R, відношення правдоподібності статистика порівняння два довільних (вкладені) моделей і також згадуються як девіації, який буде більш точно називається , як на різниці між девіацій з і девіації з , якщо уважно стежили за визначенням, викладеним у книзі Агресті. $M_1$ $M_2$ $M_1$ $M_2$

Висновок

Вірогідність журналу насиченої моделі взагалі не нульова.
Відхилення (за початковим визначенням) насиченої моделі дорівнює нулю.
Вихід відхилення від програмного забезпечення (наприклад, R) взагалі не нульовий, оскільки він насправді означає щось інше (різниця між відхиленнями).

Нижче наведено виведення для загального випадку сімейної експоненції та ще один конкретний приклад. Припустимо, дані надходять із експоненціальної родини (див. Сучасну прикладну статистику з S , глава ): де відомі попередніми вагами, а - дисперсійним / масштабним параметром (для багатьох випадків, таких як біноміальний та Пуассон, цей параметр відомий, тоді як для інших випадків, таких як нормальний та гамма, цей параметр невідомий). Тоді ймовірність журналу задається через: $7$

\begin{matrix} (1) & f (y_{i}; θ_{i}, φ) = \exp [A_{i} (y_{i} θ_{i} - γ (θ_{i})) / φ + τ (y_{i}, φ / A_{i})] . \end{matrix}

$f(y_i; \theta_i, \varphi) = \exp[A_i(y_i\theta_i - \gamma(\theta_i))/\varphi + \tau(y_i, \varphi/A_i)]. \tag{1}$

A_{i}

$A_i$

φ

$\varphi$

ℓ (θ, φ; Y) = \sum_{i = 1}^{n} A_{i} (y_{i} θ_{i} - γ (θ_{i})) / φ + \sum_{i = 1}^{n} τ (y_{i}, φ / A_{i}) .

$\ell(\theta, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \theta_i - \gamma(\theta_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i).$ Як і в прикладі Пуассона, параметри насиченої моделі можна оцінити, вирішивши таку функцію оцінки :

0 = U (θ_{i}) = \frac{\partial ℓ (θ, φ; Y)}{\partial θ_{i}} = \frac{A_{i} (y_{i} - γ^{'} (θ_{i}))}{φ}

$0 = U(\theta_i) = \frac{\partial \ell(\theta, \varphi; Y)}{\partial \theta_i} = \frac{A_i(y_i - \gamma'(\theta_i))}{\varphi}$

Позначимо рішення наведеного рівняння через , тоді загальною формою вірогідності журналу насиченої моделі (трактувати параметр шкали як постійну) є: $\hat{\theta}_i$

\begin{matrix} (* *) & ℓ (\hat{θ}, φ; Y) = \sum_{i = 1}^{n} A_{i} (y_{i} {\hat{θ}}_{i} - γ ({\hat{θ}}_{i})) / φ + \sum_{i = 1}^{n} τ (y_{i}, φ / A_{i}) . \end{matrix}

$\ell(\hat{\theta}, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \hat{\theta}_i - \gamma(\hat{\theta}_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i). \tag{$**$}$

У своїй попередній відповіді я неправильно зазначив, що перший додаток у правій частині завжди дорівнює нулю, наведений вище приклад даних Пуассона доводить, що це неправильно. Для більш складного прикладу розглянемо розподіл Gamma наведений у додатку. $(**)$ $\Gamma(\alpha, \beta)$

Доказом першого терміна ймовірності насиченої гамма-моделі є ненульовий : Дано спершу треба зробити репараметризацію, щоб мала форму експозиції сім'ї . Це можна перевірити, якщо дозволити тоді має представлення: де

f (y; α, β) = \frac{β^{α}}{Γ (α)} e^{- β y} y^{α - 1}, y > 0, α > 0, β > 0,

$f(y; \alpha, \beta) = \frac{\beta^\alpha}{\Gamma(\alpha)}e^{-\beta y}y^{\alpha - 1}, \quad y > 0, \alpha > 0, \beta > 0,$

f

$f$

(1)

$(1)$

φ = \frac{1}{α}, θ = - \frac{β}{α},

$\varphi = \frac{1}{\alpha},\, \theta = -\frac{\beta}{\alpha},$

f

$f$

f (y; θ, φ) = \exp [\frac{θ y - (- \log (- θ))}{φ} + τ (y, φ)],

$f(y; \theta, \varphi) = \exp\left[\frac{\theta y - (-\log(-\theta))}{\varphi}+ \tau(y, \varphi)\right],$

τ (y, φ) = - \frac{\log φ}{φ} + (\frac{1}{φ} - 1) \log y - \log Γ (φ^{- 1}) .

$\tau(y, \varphi) = -\frac{\log \varphi}{\varphi} + \left(\frac{1}{\varphi} - 1\right)\log y - \log\Gamma(\varphi^{-1}).$ Тому MLE насиченої моделі є . Отже, якщо приймає дуже спеціальних значень.

{\hat{θ}}_{i} = - \frac{1}{y_{i}}

$\hat{\theta}_i = -\frac{1}{y_i}$

\sum_{i = 1}^{n} \frac{1}{φ} [{\hat{θ}}_{i} y_{i} - (- \log (- {\hat{θ}}_{i}))] = \sum_{i = 1}^{n} \frac{1}{φ} [- 1 - \log (y_{i})] \neq 0,

$\sum_{i = 1}^n \frac{1}{\varphi}[\hat{\theta}_iy_i - (-\log(-\hat{\theta}_i))] = \sum_{i = 1}^n \frac{1}{\varphi}[-1 - \log(y_i)] \neq 0,$

y_{i}

$y_i$

— Чжансіонг
джерело

Чи є нульова ймовірність логічності тоді і лише тоді, коли модель може призначити 100% -ну ймовірність кожному з можливих результатів?

— Олексій

Я не зовсім розумію, що ви мали на увазі. Але з мого виведення ви можете зробити висновок, що це якщо і лише тоді, коли однаково і немає параметра дисперсії.

0

$0$

τ

$\tau$

0

$0$

— Жансіонг

Ваше виведення дуже добре, але офіційний доказ на даний момент трохи вище моєї голови. Дякую за Ваш приклад з моделлю Пуассона. Я взяв із цього прикладу те, що модель Пуассона не може присвоїти 100% -й ймовірності спостережуваному результату за будь-якого значення середнього значення Пуассона, тому ймовірність не може бути нульовою.

— Олексій

Заява "модель призначає вірогідності спостережуваному результату" для мене звучить дивно. Ви маєте на увазі, що враховуючи спостереження , і якщо - випадкова величина Пуассона, ?

100 %

$100\%$

y_{1}, \dots, y_{n}

$y_1, \ldots, y_n$

Y

$Y$

P (Y = y_{1}) + P (Y = y_{2}) + \dots + P (Y = y_{n}) < 1

$P(Y= y_1) + P(Y = y_2) + \cdots + P(Y = y_n) < 1$

— Жансіонг

Я мав на увазі те, що якщо була випадковою змінною Пуассона, то для будь-якого середнього значення Пуассона, тому неможливо знайти жоден параметр моделі, який би дав журналу вірогідність нуля для спостережуваного . Можливо, я зовсім не розумію поняття насиченої моделі.

Y

$Y$

P (Y = y_{i}) < 1

$P(Y = y_i) < 1$

i

$i$

— Олексій

Відповідь Жансіонга вже чудова (+1), але ось швидка демонстрація того, що ймовірність журналу насиченої моделі дорівнює для логістичної регресії. Я подумав, що буду публікувати, тому що я не бачив цього TeX'd на цьому сайті і тому, що я просто написав їх на лекції. $0$

Ймовірність де .

\begin{matrix} (1) & L (y; X, β) = \prod_{i = 1}^{n} f (y_{i}; x_{i}, β) = \prod_{i = 1}^{n} π_{i}^{y_{i}} (1 - π_{i})^{1 - y_{i}} = \prod_{i = 1}^{n} {(\frac{π_{i}}{1 - π_{i}})}^{y_{i}} (1 - π_{i}) \end{matrix}

$L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) = \prod_{i=1}^n f(y_i ; \mathbf{x}_i, \boldsymbol{\beta}) = \prod_{i=1}^n \pi_i^{y_i}(1-\pi_i)^{1-y_i} = \prod_{i=1}^n\left( \frac{\pi_i}{1-\pi_i}\right)^{y_i} (1 - \pi_i) \tag{1}$

π_{i} = invlogit (x_{i}^{⊺} β)

$\pi_i = \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )$

Імовірність журналу -

\begin{aligned} \log L (y; X, β) & = \sum_{i = 1}^{n} y_{i} \log (\frac{π_{i}}{1 - π_{i}}) + \log (1 - π_{i}) \\ = \sum_{i = 1}^{n} y_{i} logit (π_{i}) + \log (1 - π_{i}) \\ = \sum_{i = 1}^{n} y_{i} x_{i}^{⊺} β + \log (1 - invlogit (x_{i}^{⊺} β)) \\ = \sum_{i = 1}^{n} y_{i} x_{i}^{⊺} β + \log (invlogit (- x_{i}^{⊺} β)) \\ = \sum_{i = 1}^{n} y_{i} x_{i}^{⊺} β - \log (1 + \exp [x_{i}^{⊺} β])) \end{aligned}

$\begin{align*} \log L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) &= \sum_{i=1}^n y_i \log \left( \frac{\pi_i}{1-\pi_i}\right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \text{logit} \left( \pi_i \right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( 1 - \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( \text{invlogit}( - \mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} - \log( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] )) \end{align*}$

Якщо взяти похідні стосовно всіх коефіцієнтів, ви отримаєте

\begin{matrix} (2) & \nabla ℓ (β) = \sum_{i = 1}^{n} y_{i} x_{i} - \frac{\exp [x_{i}^{⊺} β]}{(1 + \exp [x_{i}^{⊺} β])} x_{i} . \end{matrix}

$\nabla \ell(\boldsymbol{\beta}) = \sum_{i=1}^n y_i \mathbf{x}_i - \frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }\mathbf{x}_i \tag{2}.$

Якщо встановити цей вираз, рівний і вирішити для ви дасте свою відповідь. Зазвичай це неможливо зробити аналітично, що пояснює популярність / необхідність використання ітеративних алгоритмів, щоб відповідати цій моделі, але у випадку насиченої моделі це можливо. $\mathbf{0}$ $\boldsymbol{\beta}$

Щоб знайти насичену модель, ми даємо кожному рядку свій власний коефіцієнт. Тож а матриця проектування, кратна за коефіцієнтом вектора, є $\boldsymbol{\beta} \in \mathbb{R}^n$

X β = [\begin{matrix} 1 & 0 & \dots & 0 \\ 0 & 1 & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & 1 \end{matrix}] [\begin{matrix} β_{1} \\ β_{2} \\ ⋮ \\ β_{n} \end{matrix}] .

$\mathbf{X}\boldsymbol{\beta} = \begin{bmatrix} 1 & 0 & \cdots & 0\\ 0 & 1 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1\\ \end{bmatrix} \begin{bmatrix} \beta_1 \\ \beta_2 \\ \vdots \\ \beta_n \end{bmatrix}.$

Зауважте, зокрема, . $\mathbf{x}_i^\intercal \boldsymbol{\beta} = \beta_i$

Отже, приймаючи й рядок рівняння (2), ми $j$

\sum_{i = 1}^{n} y_{i} x_{i, j} = \sum_{i = 1}^{n} \frac{\exp [x_{i}^{⊺} β]}{(1 + \exp [x_{i}^{⊺} β])} x_{i, j}

$\sum_{i=1}^n y_i x_{i,j} = \sum_{i=1}^n\frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }x_{i,j}$

що може бути правдивим лише в тому випадку, якщо для кожного спостереження : $i$

y_{i} = invlogit (β_{i})

$y_i = \text{invlogit}(\beta_i )$ або іншими словами, кожен є плюсом або мінусом нескінченності (якщо відповідно або ). Ми можемо підключити ці параметри до (1), щоб отримати максимальну ймовірність: Очевидно, що журнал цього значення дорівнює .

β_{i}

$\beta_i$

y_{i}

$y_i$

1

$1$

0

$0$

\prod_{i = 1}^{n} {\hat{π}}_{i}^{y_{i}} (1 - {\hat{π}}_{i})^{1 - y_{i}} = 1^{n} = 1.

$\prod_{i=1}^n \hat{\pi}_i^{y_i}(1-\hat{\pi}_i)^{1-y_i} = 1^n = 1.$

0

$0$

— Тейлор
джерело

Але це передбачає негруповані дані . Якщо у вас є групи з (і однаковими величинами коваріату) (в R, приклад з використанням форми ), то насичена модель не має нуля ймовірності логічності.

n_{i} > 1

$n_i>1$ glm( cbind(k, n-k) ~ x + ...

— kjetil b halvorsen

@kjetilbhalvorsen о хороший момент. Я ніколи не пробував цього, дозвольте перевірити

— Тейлор,

@ Алекс: так, це правильно. принаймні для дискретних розподілів. для постійних розподілів було б зводитись до того, щоб щільність дорівнювала 1, що не обов'язково має сенс і, отже, не розумно намагатися цього досягти. трохи більш загально, імовірність схожості моделі з насиченою моделлю дає вам верхню межу для продуктивності будь-якої моделі, яка відповідає вашим припущенням про базове сімейство розподілу. Іншими словами, ймовірність виникнення насиченої біноміальної моделі є "такою ж хорошою, якою вона отримує" для даного набору даних (X, Y), припускаючи, що Y є двочленним. Є сенс порівнювати вашу модель glm з цією верхньою межею, на відміну від, скажімо, 100% (або подібної), оскільки ваша модель суттєво обмежена вашими припущеннями щодо розподілу відповідей.

— bettmensch88
джерело