Який взаємозв'язок між розподілом Beta та логістичною регресійною моделлю?

Моє запитання: Який математичний зв’язок між розподілом Beta та коефіцієнтами логістичної регресійної моделі ?

Для ілюстрації: логістична (сигмоїдна) функція задана

f (x) = \frac{1}{1 + \exp (- x)}

$f(x) = \frac{1}{1+\exp(-x)}$

і використовується для моделювання ймовірностей в моделі логістичної регресії. Нехай $A$ - дихотомічний $(0,1)$ результат і $X$ - матриця проектування. Модель логістичної регресії задана методом

P (A = 1 | X) = f (X β) .

$P(A=1|X) = f(X \beta).$

Примітка має перший стовпчик постійної (перехоплення), а - вектор стовпців коефіцієнтів регресії. Наприклад, коли у нас є один (стандартно-нормальний) регресор і вибираємо (перехоплення) і , ми можемо імітувати отриманий "розподіл ймовірностей". $X$ $1$ $\beta$ $x$ $\beta_0=1$ $\beta_1=1$

Цей сюжет нагадує бета-розподіл (як це роблять графіки для інших варіантів ), щільність якого задана $\beta$

g (y; p, q) = \frac{Γ (p) Γ (q)}{Γ (p + q)} y^{(p - 1)} (1 - y)^{(q - 1)} .

$g(y;p,q) = \frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)} y^{(p-1)} (1-y)^{(q-1)}.$

Використовуючи максимальну ймовірність або методи моментів , можна оцінити і з розподілу . Таким чином, моє запитання зводиться до: який взаємозв'язок між варіантами і і ? Для початку, це стосується наведеного вище двозначного випадку. $p$ $q$ $P(A=1|X)$ $\beta$ $p$ $q$

— tomka
джерело

Мені це було просто цікаво 3 години тому в моєму байєсівському класі статистики

— алхіміку

Відповіді:

Бета - це розподіл значень у діапазоні, який є дуже гнучким за своєю формою, тому майже для будь-якого одномовного емпіричного розподілу значень у $(0,1)$ $(0,1)$ ви можете легко знайти параметри такого бета-розподілу, який "нагадує" форму розподілу.

Зауважте, що логістична регресія надає вам умовні ймовірності , тоді як на своєму сюжеті ви представляєте нам граничний розподіл $\Pr(Y=1\mid X)$ передбачуваних ймовірностей. Це дві різні речі, щоб поговорити.

Немає прямого зв’язку між параметрами логістичної регресії та параметрами бета-розподілу при розгляді розподілу прогнозів з логістичної регресійної моделі. Нижче ви можете побачити дані, змодельовані за допомогою нормальних, експоненціальних та рівномірних розподілів, трансформованих за допомогою логістичної функції. Крім використання абсолютно однакових параметрів логістичної регресії (тобто ), розподіли прогнозованих ймовірностей дуже відрізняються. Тож розподіл прогнозованих ймовірностей залежить не лише від параметрів логістичної регресії, а й від розподілів -х, і між ними немає простого співвідношення. $\beta_0 = 0, \beta_1 = 1$ $X$

Оскільки бета - це розподіл значень у , то її не можна використовувати для моделювання двійкових даних, як це робить логістична регресія. Він може бути використаний для моделювання ймовірностей , таким чином ми використовуємо бета-регресію (див. Також тут і тут ). Тож якщо ви зацікавлені, як ведуть себе ймовірності (розуміються як випадкова величина), ви можете використовувати бета-регресію для таких цілей. $(0,1)$

— Тім
джерело

Отже, якщо Beta може наблизити будь-який такий розподіл, чи не повинно бути співвідношення між його параметрами та

β

$\beta$

— tomka

@tomka, але розподіл залежить від розподілу ваших даних і від параметрів, тому навіть такий взаємозв'язок існує, це дуже складний. Очевидно немає прямої залежності між параметрами регресії та параметрами розподілу бета-версії. Спробуйте імітувати прогнози логістичної регресії за одними і тими ж параметрами, використовуючи різні розподіли для

, граничний розподіл буде відрізнятися у кожному випадку.

X

$X$

— Тім

Бета-розподіл не є таким гнучким - він не може наближати багатомодальні розподіли.

— Marcus PS

@MarcusPS Я зробив це більш зрозумілим.

— Тім

@MarcusPS, за винятком особливого випадку мультимодальних розподілів з режимами на 0 і 1 ...

— Бен Болкер

Логістична регресія - це особливий випадок узагальненої лінійної моделі (GLM). У цьому конкретному випадку бінарних даних логістична функція - це канонічна функція зв'язку, яка перетворює задану нелінійну регресію в лінійну задачу. ГЛМ є дещо особливими, в тому сенсі, що вони застосовуються лише до розподілів в експоненціальній сім'ї (наприклад, біноміальний розподіл).

За байєсівською оцінкою, бета-розподіл є кон'югатом до біноміального розподілу, що означає, що байєсівське оновлення до бета-попереднього, з біноміальними спостереженнями, призведе до задньої бета-версії. Отже, якщо у вас є рахунки для спостереження бінарних даних, ви можете отримати аналітичну баєсовскую оцінку параметрів біноміального розподілу, використовуючи попередній бета-версія.

Таким чином, по лінії сказаного іншими, я не думаю, що існує пряме відношення, але і розподіл бета, і логістична регресія мають тісний взаємозв'язок з оцінкою параметрів чогось, що слідує за біноміальним розподілом.

— Маркус П.С.
джерело

Я вже поставив +1 для згадування байєсівської точки зору, але зауважую, що у випадку регресійної моделі ми не використовуємо бета-біноміальну модель, а бета-розподіл взагалі не використовується як пріоритетний для параметрів - принаймні у випадку типової байесівської логістики регресія . Тож це безпосередньо не перекладається на бета-біноміальну модель.

— Тім

$P(A=1|X)$ $X$ $X$ $N(0,1)$ $\exp(-X\beta)$ $\mu=-1$ $\beta_0=\beta_1=1$ $P(A=1|X)$

F (x) = 1 - Φ [\ln (\frac{1}{x} - 1) + 1],

$F(x)=1-\Phi\left[\ln\left(\frac{1}{x}-1\right)+1\right],$

Q (x) = \frac{1}{1 + \exp (Φ^{- 1} (1 - x) - 1)},

$Q(x)=\frac{1}{1+\exp(\Phi^{-1}(1-x)-1)},$

f (x) = \frac{1}{x (1 - x) \sqrt{2 π}} \exp (- \frac{(\ln (1 / x - 1) + 1)^{2}}{2}),

$f(x)=\frac{1}{x(1 - x)\sqrt{2\pi}}\exp\left(-\frac{(\ln(1/x-1)+1)^2}{2}\right),$

Ви можете перевірити результати, наведені вище в R :

n = 100000

X = cbind(rep(1, n), rnorm(n)) # simulate design matrix
Y = 1 / (exp(-X %*% c(1,1)) + 1) # P(A=1|X)

Z1 = 1 / (rlnorm(n, -1, 1) + 1) # simulate from lognormal directly
Z2 = 1 / (1 + exp(qnorm(runif(n)) - 1)) # simulate with inverse CDF

# Kolmogorov–Smirnov test
ks.test(Y, Z1)
ks.test(Y, Z2)

# plot fitted density
new.pdf = function(x) {
  1 / (x * (1 - x) * sqrt(2 * pi)) * exp(-0.5 * (log(1 / x - 1) + 1)^2)
}
hist(Y, breaks = "FD", probability = T)
curve(new.pdf, col = 4, add = T)

— Франциск
джерело

x

$x$

f (x)

$f(x)$

[- inf, inf]

$[-\inf, \inf]$

P (A | X)

$P(A|X)$

[0, 1]

$[0,1]$

f (x)

$f(x)$

P (A | X)

$P(A|X)$

1 / x - 1 > 0

$1/x-1>0$

x \in (0, 1)

$x\in(0,1)$

f

$f$

X

$X$

@whuber: схоже, я щось помилився, цю частину я видалив.

— Франциск