Розрахунок довірчих інтервалів для логістичної регресії

Я використовую біноміальну логістичну регресію, щоб визначити, has_xчи has_yвпливає або впливає ймовірність того, що користувач щось натисне. Моя модель така:

fit = glm(formula = has_clicked ~ has_x + has_y, 
          data=df, 
          family = binomial())

Це вихід з моєї моделі:

Call:
glm(formula = has_clicked ~ has_x + has_y, 
    family = binomial(), data = active_domains)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-0.9869  -0.9719  -0.9500   1.3979   1.4233  

Coefficients:
                      Estimate Std. Error z value Pr(>|z|)    
(Intercept)          -0.504737   0.008847 -57.050  < 2e-16 ***
has_xTRUE -0.056986   0.010201  -5.586 2.32e-08 ***
has_yTRUE  0.038579   0.010202   3.781 0.000156 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for binomial family taken to be 1)

    Null deviance: 217119  on 164182  degrees of freedom
Residual deviance: 217074  on 164180  degrees of freedom
AIC: 217080

Number of Fisher Scoring iterations: 4

Оскільки кожен коефіцієнт є значущим, використовуючи цю модель, я можу сказати, яке значення будь-якої з цих комбінацій використовує наступний підхід:

predict(fit, data.frame(has_x = T, has_y=T), type = "response")

Я не розумію, як я можу звітувати про Std. Помилка прогнозу.

1. Мені просто потрібно використовувати ? Або мені потрібно перетворити за допомогою описаного тут підходу ?S $1.96*SE$$SE$

2. Якщо я хочу зрозуміти стандартну помилку для обох змінних, як я б це вважав?

На відміну від цього питання , мені цікаво зрозуміти, яка верхня та нижня межі помилки у відсотках. Наприклад, моє передбачення показує значення 37% для того, чи True,Trueможу я розрахувати, що це для ? (0,3% вибрано для ілюстрації моєї точки зору)95 % C $+/- 0.3%$$95\% CI$

Ваше запитання може виникнути через те, що ви маєте справу зі коефіцієнтами й ймовірностями шансів, що спочатку заплутано. Оскільки логістична модель є нелінійним перетворенням обчислення довірчих інтервалів не настільки просто.$\beta^Tx$

Фон

Нагадаємо, що для логістичної регресійної моделі

• Імовірність з :$(Y = 1)$$p = \frac{e^{\alpha + \beta_1x_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_2 x_2}}$

• Коефіцієнти з :$(Y = 1)$$\left( \frac{p}{1-p}\right) = e^{\alpha + \beta_1x_1 + \beta_2 x_2}$

• Коефіцієнти журналу :$(Y = 1)$$\log \left( \frac{p}{1-p}\right) = \alpha + \beta_1x_1 + \beta_2 x_2$

Розглянемо випадок, коли у вас на одиницю приріст змінної , тобто , то нові шанси є$x_1$$x_1 + 1$

$$\text{Odds}(Y = 1) = e^{\alpha + \beta_1(x_1 + 1) + \beta_2x_2} = e^{\alpha + \beta_1 x_1 + \beta_1 + \beta_2x_2 }$$

• Коефіцієнт шансів (АБО) , отже, є

$$\frac{\text{Odds}(x_1 + 1)}{\text{Odds}(x_1)} = \frac{e^{\alpha + \beta_1(x_1 + 1) + \beta_2x_2} }{e^{\alpha + \beta_1 x_1 + \beta_2x_2}} = e^{\beta_1}$$

• Коефіцієнт коефіцієнта журналу = $\beta_1$

• Відносний ризик або (коефіцієнт ймовірності) =$\frac{ \frac{e^{\alpha + \beta_1x_1 + \beta_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_1 + \beta_2 x_2}}}{ \frac{e^{\alpha + \beta_1x_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_2 x_2}}}$

Інтерпретаційні коефіцієнти

Як би ви інтерпретували значення коефіцієнта ? Якщо припустити, що все інше залишається виправленим:$\beta_j$

• Для кожного одиничного збільшення коефіцієнт коефіцієнта журналу збільшується на .$x_j$$\beta_j$
• При кожному збільшенні одиниці в коефіцієнт шансів збільшується на .$x_j$$e^{\beta_j}$
• При кожному збільшенні від до коефіцієнт шансів збільшується на$x_j$$k$$k + \Delta$$e^{\beta_j \Delta}$
• Якщо коефіцієнт від’ємний, то збільшення призводить до зменшення коефіцієнта шансів.$x_j$

Інтервали довіри для одного параметра$\beta_j$

Мені просто потрібно використовувати ? Або мені потрібно перетворити SE за допомогою описаного тут підходу?$1.96∗SE$

Оскільки параметр оцінюється за допомогою оцінки ймовірності Maxiumum, теорія MLE говорить нам, що це асимптотично нормально, і тому ми можемо використовувати великий довірчий інтервал Wald довіри, щоб отримати звичайний$\beta_j$

$$\beta_j \pm z^* SE(\beta_j)$$

Що дає довірчий інтервал на коефіцієнт коефіцієнта журналу. Використання властивості MLE дозволяє нам експоненціювати, щоб отримати

$$e^{\beta_j \pm z^* SE(\beta_j)}$$

що є довірчим інтервалом на коефіцієнт шансів. Зауважте, що ці інтервали призначені лише для одного параметра.

Якщо я хочу зрозуміти стандартну помилку для обох змінних, як я б це вважав?

Якщо ви включите кілька параметрів, ви можете використовувати процедуру Bonferroni, інакше для всіх параметрів ви можете використовувати довірчий інтервал для оцінки ймовірності

Процедура Бонферроні для декількох параметрів

Якщо параметри слід оцінювати з коефіцієнтом довіри сім'ї приблизно , спільні межі довіри Бонферроні є$g$$1 - \alpha$

$$\beta_g \pm z_{(1 - \frac{\alpha}{2g})}SE(\beta_g)$$

Інтервали довіри для оцінки ймовірності

Логістична модель дає оцінку ймовірності спостереження за одним, і ми прагнемо побудувати частотистський інтервал навколо справжньої ймовірності таким, що$p$$Pr(p_{L} \leq p \leq p_{U}) = .95$

Один із підходів, що називається перетворенням кінцевих точок, робить наступне:

• Обчисліть верхню та нижню межі довірчого інтервалу для лінійної комбінації (використовуючи КІ Wald)$x^T\beta$
• Застосуйте монотонне перетворення до кінцевих точок для отримання ймовірностей.$F(x^T\beta)$

Оскільки є монотонним перетворенням$Pr(x^T\beta) = F(x^T\beta)$$x^T\beta$

$$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$$

Конкретно це означає обчислити а потім застосувати перетворення logit до результату, щоб отримати нижню і верхню межі:$\beta^Tx \pm z^* SE(\beta^Tx)$

$$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$$

Орієнтовна приблизна дисперсія може бути обчислена за допомогою матриці коваріації коефіцієнтів регресії за допомогою$x^T\beta$

$$Var(x^T\beta) = x^T \Sigma x$$

Перевага цього методу полягає в тому, що межі не можуть бути поза діапазоном$(0,1)$

Існує також декілька інших підходів, використовуючи метод дельти, завантажувальний інструмент тощо. У кожного є свої припущення, переваги та обмеження.

---

Джерела та інформація

Моя улюблена книга на цю тему - "Прикладні лінійні статистичні моделі" Кутнера, Нетера, Лі, глава 14

Інакше ось декілька онлайн-джерел:

• https://mheaton.byu.edu/Courses/Stat330/InClassAnalyses/8%20-%20Tennis/LectureNotes/LogisticRegression.pdf
• Складання інтервалів довіри для прогнозованих ймовірностей з логістичної регресії
• /programming/47414842/confidence-interval-of-probability-prediction-from-logistic-regression-statsmode
• http://www.indiana.edu/~jslsoc/stata/ci_computations/xulong-prvalue-23aug2005.pdf
• http://courses.education.illinois.edu/EdPsy589/lectures/5logreg_beamer-online.pdf

Для отримання 95-відсоткового довірчого інтервалу прогнозування можна розрахувати за шкалою logit, а потім перетворити їх назад у шкалу ймовірності 0-1. Ось приклад використання титанічного набору даних.

library(titanic)
data("titanic_train")

titanic_train$Pclass = factor(titanic_train$Pclass, levels = c(1,2,3), labels = c('First','Second','Third'))

fit = glm(Survived ~ Sex + Pclass, data=titanic_train, family = binomial())

inverse_logit = function(x){
  exp(x)/(1+exp(x))
}

predicted = predict(fit, data.frame(Sex='male', Pclass='First'), type='link', se.fit=TRUE)

se_high = inverse_logit(predicted$fit + (predicted$se.fit*1.96))
se_low = inverse_logit(predicted$fit - (predicted$se.fit*1.96))
expected = inverse_logit(predicted$fit)

Середня та низька / висока 95% ІС.

> expected
        1 
0.4146556 
> se_high
        1 
0.4960988 
> se_low
        1 
0.3376243 

І вихід із простого використання type='response', що лише дає середнє значення

predict(fit, data.frame(Sex='male', Pclass='First'), type='response')
        1 
0.4146556