Розуміння логістичної регресії та ймовірності

Як насправді працює оцінка параметрів / Навчання логістичній регресії? Я спробую поставити те, що у мене поки що.

Вихід - y вихід логістичної функції у вигляді ймовірності залежно від значення x: $P (y = 1 | x) = \frac{1}{1 + e^{- ω^{T} x}} \equiv σ (ω^{T} x)$ $P(y=1|x)={1\over1+e^{-\omega^Tx}}\equiv\sigma(\omega^Tx)$ $P (y = 0 | x) = 1 - P (y = 1 | x) = 1 - \frac{1}{1 + e^{- ω^{T} x}}$ $P(y=0|x)=1-P(y=1|x)=1-{1\over1+e^{-\omega^Tx}}$
Для одного виміру так звані коефіцієнти визначаються наступним чином: $\frac{p (y = 1 | x)}{1 - p (y = 1 | x)} = \frac{p (y = 1 | x)}{p (y = 0 | x)} = e^{ω_{0} + ω_{1} x}$ ${{p(y=1|x)}\over{1-p(y=1|x)}}={{p(y=1|x)}\over{p(y=0|x)}}=e^{\omega_0+\omega_1x}$
Тепер додаємо logфункції для отримання W_0 та W_1 у лінійному вигляді: $L o g i t (y) = l o g (\frac{p (y = 1 | x)}{1 - p (y = 1 | x)}) = ω_{0} + ω_{1} x$ $Logit(y)=log({{p(y=1|x)}\over{1-p(y=1|x)}})=\omega_0+\omega_1x$
Тепер до проблемної частини Використання ймовірності (Великий X - y) Чи може хтось сказати, чому ми розглядаємо ймовірність y = 1 вдвічі? оскільки: $L (X | P) = \prod_{i = 1, y_{i} = 1}^{N} P (x_{i}) \prod_{i = 1, y_{i} = 0}^{N} (1 - P (x_{i}))$ $L(X|P)=\prod^N_{i=1,y_i=1}P(x_i)\prod^N_{i=1,y_i=0}(1-P(x_i))$ $P (y = 0 | x) = 1 - P (y = 1 | x)$ $P(y=0|x)=1-P(y=1|x)$

і як отримати від нього значення ω?

regression logistic likelihood

Припустимо загалом, що ви вирішили взяти модель форми

P (y = 1 | X = x) = h (x; Θ)

$P(y=1|X=x) = h(x;\Theta)$

для деякого параметра . Тоді ви просто записуєте ймовірність цього, тобто $\Theta$

L (Θ) = \prod_{i \in {1, . . ., N}, y_{i} = 1} P (y = 1 | x = x; Θ) \cdot \prod_{i \in {1, . . ., N}, y_{i} = 0} P (y = 0 | x = x; Θ)

$L(\Theta) = \prod_{i \in \{1, ..., N\}, y_i = 1} P(y=1|x=x;\Theta) \cdot \prod_{i \in \{1, ..., N\}, y_i = 0} P(y=0|x=x;\Theta)$

що те саме

L (Θ) = \prod_{i \in {1, . . ., N}, y_{i} = 1} P (y = 1 | x = x; Θ) \cdot \prod_{i \in {1, . . ., N}, y_{i} = 0} (1 - P (y = 1 | x = x; Θ))

$L(\Theta) = \prod_{i \in \{1, ..., N\}, y_i = 1} P(y=1|x=x;\Theta) \cdot \prod_{i \in \{1, ..., N\}, y_i = 0} (1-P(y=1|x=x;\Theta))$

Тепер ви вирішили "припустити" (модель)

P (y = 1 | X = x) = σ (Θ_{0} + Θ_{1} x)

$P(y=1|X=x) = \sigma(\Theta_0 + \Theta_1 x)$

де

σ (z) = 1 / (1 + e^{- z})

$\sigma(z) = 1/(1+e^{-z})$

тому ви просто обчислите формулу ймовірності та зробите якийсь алгоритм оптимізації, щоб знайти , наприклад, метод Ньютона або будь-який інший метод на основі градієнта. $\text{argmax}_\Theta L(\Theta)$

Зверніть увагу, що іноді люди кажуть, що, роблячи логістичну регресію, вони не збільшують ймовірність (як ми / ви вище), але вони мінімізують функцію втрат

l (Θ) = - \sum_{i = 1}^{N} y_{i} \log (P (Y_{i} = 1 | X = x; Θ)) + (1 - y_{i}) \log (P (Y_{i} = 0 | X = x; Θ))

$l(\Theta) = -\sum_{i=1}^N{y_i\log(P(Y_i=1|X=x;\Theta)) + (1-y_i)\log(P(Y_i=0|X=x;\Theta))}$

але зауважте, що . $-\log(L(\Theta)) = l(\Theta)$

Це загальна закономірність машинного навчання: Практична сторона (мінімізація функцій втрат, що вимірюють, наскільки "неправильною" євристична модель) насправді дорівнює "теоретичній стороні" (моделювання явно з симболом, максимізуючи статистичні величини, наприклад ймовірність) і насправді багато моделей, які не схожі на ймовірнісні (наприклад, SVM), можуть бути переосмислені у ймовірнісному контексті і насправді є максимізацією ймовірностей. $P$

— Фабіан Вернер
джерело

@Werner дякую за вашу відповідь. Але мені все-таки потрібно трохи уточнити. 1, чи можете ви пояснити, на чому існує 2 у визначенні оскільки, наскільки я зрозумів це, я зацікавлений у випадку . і як можна отримати значення та завдяки великій допомозі!

\prod

$\prod$

L (θ)

$L(\theta)$

y_{i} = 1

$y_i =1$

ω_{1}

$\omega_1$

ω_{0}

$\omega_0$

— Двигун

@Engine: Велике "пі" - це продукт ... як велика сигма - це сума ... ти розумієш чи потрібне ще роз'яснення щодо цього? З другого питання: Скажімо, ми хочемо мінімізувати функцію і ми починаємо з але припустимо, що ми не знаємо / не можемо виразити / не можемо уявити як це складний. Тепер похідна від дорівнює . Цікаво, що якщо ми праворуч від мінімального він вказує праворуч, а якщо ми ліворуч від нього, то він вказує ліворуч. Математично похідна вказує на напрям "найсильнішого сходження"

Σ

$\Sigma$

f (x) = x^{2}

$f(x) = x^2$

x = 3

$x=3$

f

$f$

f

$f$

f^{'} = 2 x

$f' = 2x$

x = 0

$x=0$

— Фабіан Вернер,

@Engine: у більшості вимірів ви замінюєте похідну градієнтом, тобто ви починаєте з випадкової точки і обчислюєте градієнт у і якщо ви хочете отримати максимізацію, то наступна точка є . Тоді ви обчислюєте а наступний - тощо. Це називається градієнтним підйомом / спуском і є найпоширенішою технікою досягнення максимальної функції. Тепер ви робите це з або в позначенні

x_{0}

$x_0$

\partial f

$\partial f$

x

$x$

x_{1}

$x_1$

x_{1} = x_{0} + \partial f (x_{0})

$x_1 = x_0 + \partial f(x_0)$

\partial f (x_{1})

$\partial f(x_1)$

x

$x$

x_{2} = x_{1} + \partial f (x_{1})

$x_2 = x_1 + \partial f(x_1)$

L (Θ)

$L(\Theta)$

L (ω)

$L(\omega)$

ω

$\omega$

L

$L$

y = 1

$y=1$

ω

$\omega$

ω

$\omega$

y = 1

$y=1$

y = 1

$y=1$

y = 0

$y=0$

— Фабіан Вернер

$, y_i=1$ $,y_i=0$

$\omega$ $\omega$

— Маартен Буїс
джерело

y_{i} = 0

$y_i = 0$

ω

$\omega$

\prod_{i = 1, y = 1}^{N}

$\prod_{i=1, y=1}^N$

i = 1

$i=1$

N

$N$

y = 1

$y=1$

Існує багато можливих алгоритмів для максимізації функції ймовірності. Найбільш поширений метод , метод Ньютона-Рафсона , дійсно включає обчислення першої та другої похідних.

— Maarten Buis