Байєсівська модель Logit - інтуїтивне пояснення?

Я мушу зізнатися, що раніше я не чув про цей термін в жодному з моїх класів, нижчих класів чи ступенів.

Що означає для логістичної регресії бути баєсівською? Я шукаю пояснення з переходом від звичайної логістичної до байесівської логістики, подібної до наступної:

Це рівняння в моделі лінійної регресії: .$E(y) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$

Це рівняння в моделі логістичної регресії: . Це робиться, коли y категорично.$\ln(\frac{E(y)}{1-E(y)}) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$

Що ми зробили - це змінити на .ln ( E ( y $E(y)$$\ln(\frac{E(y)}{1-E(y)})$

Отже, що зроблено з логістичною регресійною моделлю в Баєсовій логістичній регресії? Я здогадуюсь, що це не те, що стосується рівняння.

Здається, цей попередній перегляд книги визначає, але я не дуже розумію. Що це все за попередні, правдоподібні речі? Що таке ? Може, будь-хто, будь-ласка, пояснить цю частину книги чи байєсівську модель логіту по-іншому?$\alpha$

Примітка: Про це питали і раніше, але не дуже відповіли.

Логістичну регресію можна описати як лінійну комбінацію

$$\eta = \beta_0 + \beta_1 X_1 + ... + \beta_k X_k$$

що передається через функцію зв'язку :$g$

$$g(E(Y)) = \eta$$

де функцією зв'язку є функція logit

$$E(Y|X,\beta) = p = \text{logit}^{-1}( \eta )$$

де приймають лише значення у а зворотна функція logit перетворює лінійну комбінацію в цей діапазон. На цьому закінчується класична логістична регресія.{ 0 , 1 } $Y$$\{0,1\}$$\eta$

Однак якщо ви пам'ятаєте, що для змінних, які приймають лише значення в , ніж можна вважати . У цьому випадку висновок функції logit можна розглядати як умовну ймовірність "успіху", тобто . Розподіл Бернуллі - це розподіл, який описує ймовірність спостереження бінарного результату, з деяким параметром , тому ми можемо описати як{ 0 , 1 } E ( Y | X , β ) P ( Y = 1 | X , β ) P ( Y = 1 | X , β ) p $E(Y) = P(Y = 1)$$\{0,1\}$$E(Y | X,\beta)$$P(Y = 1 | X,\beta)$$P(Y=1|X,\beta)$$p$$Y$

$$y_i \sim \text{Bernoulli}(p)$$

Тож за допомогою логістичної регресії ми шукаємо деякі параметри які тогедер з незалежними змінними утворюють лінійну комбінацію . У класичній регресії (вважаємо, що функція зв'язку є функцією тотожності), проте для моделі яка приймає значення в нам потрібно перетворити так, щоб відповідати в діапазоні [ 0 , 1 ] .X η E ( Y | X , β ) = η Y { 0 , 1 $\beta$$X$$\eta$$E(Y|X,\beta) = \eta$$Y$$\{0,1\}$$\eta$$[0,1]$

Тепер для оцінки логістичної регресії байєсівським способом ви підбираєте деякі пріори для параметрів як у випадку лінійної регресії (див. Kruschke et al, 2012 ), а потім використовуєте функцію logit для перетворення лінійної комбінації η , щоб використовувати її вихід як p параметр розподілу Бернуллі, який описує ваш $\beta_i$$\eta$$p$$Y$ зміннуОтже, так, ви фактично використовуєте рівняння та функцію зв'язку logit так само, як і у випадку частоценціоніста, а решта працює (наприклад, вибираючи пріори), як при оцінці лінійної регресії байєсівським способом.

Простий підхід для вибору пріорів полягає у виборі нормальних розподілів (але ви також можете використовувати інші розподіли, наприклад, - або розподіл Лапласа для більш надійної моделі) для β i s з параметрами μ i та σ 2 i , які задані або взяті з ієрархічні пріори . Тепер, маючи визначення моделі, ви можете використовувати програмне забезпечення, таке як JAGS, щоб виконати моделювання Markov Chain Monte Carlo, щоб оцінити модель. Нижче я публікую JAGS-код для простої логістичної моделі (див. Тут, щоб отримати більше прикладів).$t$$\beta_i$$\mu_i$$\sigma_i^2$

model {
   # setting up priors
   a ~ dnorm(0, .0001)
   b ~ dnorm(0, .0001)

   for (i in 1:N) {
      # passing the linear combination through logit function
      logit(p[i]) <- a + b * x[i]

      # likelihood function
      y[i] ~ dbern(p[i])
   }
}

Як бачимо, код безпосередньо перекладається на визначення моделі. Програмне забезпечення - це те, що воно черпає деякі значення з Normal priors для, aа bпотім використовує ці значення для оцінки, pі, нарешті, використовує функцію ймовірності, щоб оцінити, наскільки вірогідні ваші дані з урахуванням цих параметрів (це коли ви використовуєте теорему Байєса, дивіться тут для більш детальний опис).

Основна модель логістичної регресії може бути розширена для моделювання залежності між предикторами за допомогою ієрархічної моделі (включаючи гіперпріори ). У цьому випадку ви можете отримати 's з багатоваріантного нормального розподілу, який дозволяє нам включати інформацію про коваріацію$\beta_i$$\boldsymbol{\Sigma}$ між незалежними змінними

$$\begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_k \end{pmatrix} \sim \mathrm{MVN} \left( \begin{bmatrix} \mu_0 \\ \mu_1 \\ \vdots \\ \mu_k \end{bmatrix}, \begin{bmatrix} \sigma^2_0 & \sigma_{0,1} & \ldots & \sigma_{0,k} \\ \sigma_{1,0} & \sigma^2_1 & \ldots &\sigma_{1,k} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{k,0} & \sigma_{k,1} & \ldots & \sigma^2_k \end{bmatrix} \right)$$

... але це розбирається в деталях, тому зупинимось тут.

"Байєсівська" частина тут вибирає пріори, використовуючи теорему Байєса і визначаючи модель в імовірнісних умовах. Дивіться тут для визначення "байєсівської моделі", а тут - загальну інтуїцію щодо байєсівського підходу . Що ви також можете помітити, це те, що визначення моделей є досить простим та гнучким при такому підході.

---

Kruschke, JK, Aguinis, H., & Joo, H. (2012). Прийшов час: Байєсові методи аналізу даних в організаційних науках. Методи організаційних досліджень, 15 (4), 722-752.

Гельман, А., Якулін, А., Піттау, Г. М. та Су, Ю.-С. (2008). Попередньо розповсюджений за умовчанням попередній розподіл для логістичних та інших регресійних моделей. Аннали прикладної статистики, 2 (4), 1360–1383.

Що це все за попередні, правдоподібні речі?

Ось що робить його баєсівською. Генеративна модель для даних однакова; Різниця полягає в тому, що баєсовський аналіз вибирає деякий попередній розподіл за цікавими параметрами і обчислює або наближає задній розподіл, на якому базується все умовивід. Правило Байєса пов'язує це два: заднє - пропорційне до ймовірностей, що були раніше.

Інтуїтивно це попередження дозволяє аналітику математично висловити предметну експертизу або попередні висновки. Наприклад, текст, на який ви посилаєтесь, зазначає, що попереднє значення для є багатовимірною нормою. Можливо, попередні дослідження пропонують певний діапазон параметрів, який можна виразити певними нормальними параметрами. (З гнучкістю випливає відповідальність. Ви повинні бути в змозі виправдати їх перед скептичною аудиторією.) У більш досконалих моделях можна використовувати доменний досвід для настройки певних прихованих параметрів. Наприклад, див. Приклад печінки, на який посилається ця відповідь$\bf\beta$ .

Деякі частістські моделі можуть бути пов'язані з байєсівським колегою з певним попереднім, хоча я не впевнений, що відповідає в цьому випадку.