Властивості логістичних регресій

Ми працюємо з деякими логістичними регресіями, і ми зрозуміли, що середня оцінена ймовірність завжди дорівнює частці одиниць у вибірці; тобто середнє значення пристосованих значень дорівнює середньому зразка.

Хтось може мені пояснити причину чи дати мені посилання, де я можу знайти цю демонстрацію?

Поведінка, яку ви спостерігаєте, є "типовим" випадком логістичної регресії, але не завжди відповідає дійсності. Він також має значно більшу загальність (див. Нижче). Це наслідок злиття трьох окремих фактів.

1. Вибір моделювання лог-коефіцієнтів як лінійної функції предикторів,
2. Використання максимальної ймовірності для отримання оцінок коефіцієнтів у моделі логістичної регресії та
3. Включення в модель терміна перехоплення.

Якщо будь-якого з перерахованих вище немає, то середні оцінені ймовірності, як правило, не збігаються із співвідношенням у вибірці.

Однак (майже) все статистичне програмне забезпечення використовує оцінку максимальної ймовірності для таких моделей, тому на практиці пункти 1 і 2, по суті, завжди присутні, а пункт 3 зазвичай присутній, за винятком особливих випадків.

Деякі деталі

У типовій системі логістичної регресії ми спостерігаємо результат незалежних біноміальних випробувань з вірогідністю . Нехай y я - спостережувані відповіді. Тоді повна ймовірність L = n ∏ i = 1 p y i i ( 1 - p i ) 1 - y i = n ∏ i = 1 exp ( y i log ( p i / ( 1 - p$p_i$$y_i$ і тому ймовірність журналу дорівнює ℓ = n ∑ i = 1 y i log ( p i / ( 1 - p i ) ) + n ∑ i = 1 log ( 1 - p i

$$\mathcal L = \prod_{i=1}^n p_i^{y_i} (1-p_i)^{1 - y_i} = \prod_{i=1}^n \exp( y_i \log(p_i/(1-p_i)) + \log(1-p_i)) \>,$$ $$\ell = \sum_{i=1}^n y_i \log(p_i / (1-p_i)) + \sum_{i=1}^n \log(1-p_i) \> .$$

Тепер у нас є вектор предикторів для кожного спостереження, а з факту 1 вище модель логістичної регресії позиціонує цей log p $\newcommand{\x}{\mathbf x}\x_i$

$$\log \frac{p_i}{1-p_i} = \beta^T \x_i \>,$$ $\beta$$p_i = 1/(1+e^{-\beta^T \x_i})$

$\partial \ell / \partial \beta = 0$

$$\frac{\partial \ell}{\partial \beta} = \sum_i y_i \x_i - \sum_i \frac{\x_i}{1+\exp(-\beta^T \x_i)} = \sum_i y_i \x_i - \sum_i p_i \x_i \>,$$ $$\sum_i y_i \x_i = \sum_i \hat{p}_i \x_i \>,$$ $\hat{p}_i = (1+\exp(-\hat{\beta}^T \x_i))^{-1}$ в цьому випадку.

$\x_i$$j$$i$$\sum_i y_i x_{ij} = \sum_i y_i = \sum_i \hat{p}_i$ і так емпіричне співвідношення позитивних відповідей відповідає середньому встановлені ймовірності.

Моделювання

$R$

x <- rnorm(100)
p <- 1/(1+exp(-3*x))
y <- runif(100) <= p
mean(y)
# Should be identical to mean(y)
mean( predict( glm(y~x, family="binomial"), type="response" ) )
# Won't be identical (usually) to mean(y)
mean( predict( glm(y~x+0, family="binomial"), type="response") )

Загальний випадок : як уже згадувалося вище, властивість, що середня реакція дорівнює середній прогнозованій середній, має набагато більшу загальність для класу узагальнених лінійних моделей, що відповідають максимальній вірогідності, використовуючи канонічну функцію зв'язку та включаючи перехоплення в модель.

Список літератури

Деякі хороші посилання на пов'язану теорію наступні.

1. A. Agresti (2002), категоричний аналіз даних , 2-е видання, Wiley.
2. P. McCullagh та JA Nelder (1989), Узагальнені лінійні моделі , 2-е видання, Chapman & Hall. (Текст оригінальних авторів загальних методів.)