Чому логістична регресія виробляє добре калібровані моделі?

Я розумію, що однією з причин логістичної регресії часто використовується для прогнозування частоти кліків в Інтернеті є те, що вона створює добре калібровані моделі. Чи є хороше математичне пояснення цьому?

regression logistic

— lsankar4033
джерело

логістична регресія, зроблена для прогнозування ймовірностей -> які призводять до каліброваних прогнозів, якщо не надмірно. в той час як більшість моделей машинного навчання не передбачають ймовірностей, а скоріше класів - і є певна суперечність для отриманих псевдоімовірностей з цих прогнозів -> отже, відзначте добре відкалібровану

— Чарлз

Я повинен був уточнити питання, але моє запитання було більше про те, чому саме так LR настільки корисний для прогнозування ймовірностей.

— lsankar4033

Варто зазначити, що ви можете просто підходити до логістичної регресії до виходу погано каліброваного класифікатора, щоб отримати калібровану модель. Це називається Platt Scaling en.wikipedia.org/wiki/Platt_scaling

— generic_user

Відповіді:

Так.

Прогнозований вектор ймовірності з логістичної регресії задовольняє матричному рівнянню $p$

X^{t} (p - y) = 0

$X^t(p - y) = 0$

Де - матриця проектування, а - вектор відповіді. Це можна розглядати як сукупність лінійних рівнянь, один , що витікає із кожного стовпчика матриці плану . $X$ $y$ $X$

Спеціалізуючись на стовпчику перехоплення (який є рядком в транспонованій матриці), пов'язане лінійне рівняння

\sum_{i} (p_{i} - y_{i}) = 0

$\sum_i( p_i - y_i) = 0$

тому загальна середня передбачувана ймовірність дорівнює середній величині відповіді.

Більш загально, для стовпця двійкової функції пов'язане лінійне рівняння $x_{ij}$

\sum_{i} x_{i j} (p_{i} - y_{i}) = \sum_{i ∣ x_{i j} = 1} (p_{i} - y_{i}) = 0

$\sum_i x_{ij}(p_i - y_i) = \sum_{i \mid x_{ij} = 1}(p_i - y_i) = 0$

тому сума (а значить і середня) передбачуваних ймовірностей дорівнює сумі відповіді, навіть якщо спеціалізується на тих записах, для яких . $x_{ij} = 1$

— Метью Друрі
джерело

@MatthewDrury як я можу інтерпретувати ваше перше рівняння? є форми ? Однак це лінійне відношення має місце? Дякую!

p

$p$

1 / (1 + \exp (- x))

$1/(1+\exp(-x))$

— Рік

Так, р такої форми. Перше рівняння походить від встановлення похідної функції втрати на нуль.

— Меттью Друрі

Це стосується лише калібрування великого розміру, яке не є тим, що ми хочемо: калібрування в малому.

— Френк Харрелл

@FrankHarrell Догляд докласти? Я раніше не чув цих термінів.

— Меттью Друрі

У літературі щодо прогнозу ймовірностей, що датується Повітряною службою США 1950 року, існує довга історія - саме тут вперше було використано бал Brier. Калібрування в малому означає, що якщо дивитись на прогнозовані ризики 0,01, 0,02, ..., 0,99, кожен із них є точним, тобто за всі часи, коли прогнозований ризик становив 0,4, результат стався приблизно 0,4 час. Наступним кроком я називаю "калібрування в крихітних": для чоловіків, у яких прогноз становив 0,4, результат був 0,4 разу, тоді для жінок.

— Френк Харрелл

Я думаю, що можу надати вам зрозуміле пояснення наступним чином:

Ми знаємо, що його функцію втрати можна виразити у вигляді такої функції: Де представлено кількість усіх навчальних зразків, мітка i-го зразка, передбачувана ймовірність i-го зразка: . (помітьте упередженість тут)

J (θ) = - \frac{1}{m} \sum_{i = 1}^{m} [y^{(i)} \log (h_{θ} (x^{(i)})) + (1 - y^{(i)}) \log (1 - h_{θ} (x^{(i)}))]

$J(\theta) = -\frac{1}{m}\sum_{i=1}^m \left[ y^{(i)}\log\left(h_\theta \left(x^{(i)}\right)\right) + (1 -y^{(i)})\log\left(1-h_\theta \left(x^{(i)}\right)\right)\right]$
m

y^{(i)}

$y^{(i)}$

h_{θ} (x^{(i)})

$h_{\theta}(x^{(i)})$

\frac{1}{1 + \exp [- α - \sum_{j} θ_{j} x_{j}^{(i)}]}

$\frac{1}{1+\exp[-\alpha -\sum_j \theta_j x^{(i)}_j]}$

α

$\alpha$

Оскільки метою навчання є мінімізація функції втрат, давайте оцінимо її часткову похідну стосовно кожного параметра (детальну деривацію можна знайти тут ): І встановивши його на нуль yeils: $\theta_j$

\frac{\partial J (θ)}{\partial θ_{j}} = \frac{1}{m} \sum_{i = 1}^{m} [h_{θ} (x^{(i)}) - y^{(i)}] x_{j}^{(i)}

$\frac{\partial J(\theta)}{\partial \theta_j}=\frac{1}{m}\sum_{i=1}^m\left[h_\theta\left(x^{(i)}\right)-y^{(i)}\right]\,x_j^{(i)}$

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) x_{j}^{(i)} = \sum_{i = 1}^{m} y^{(i)} x_{j}^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_j^{(i)}=\sum_{i=1}^m y^{(i)}\,x_j^{(i)}$

Це означає, що якщо модель повністю підготовлена, прогнозовані ймовірності, які ми отримуємо для навчального набору, поширюються так, що для кожної функції сума зважених (усіх) значень цієї ознаки дорівнює сумі значень цієї функції позитивних зразків.

Вище сказане відповідає кожній функції так, як ухил . Встановлення як 1 і як yeilds: Тоді отримуємо: Де - передбачувана ймовірність повністю підготовленої моделі для i-го зразка. І ми можемо записати функцію компактно: $\alpha$ $x_0$ $\alpha$ $\theta_0$

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) x_{0}^{(i)} = \sum_{i = 1}^{m} y^{(i)} x_{0}^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_0^{(i)}=\sum_{i=1}^m y^{(i)}\,x_0^{(i)}$

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) = \sum_{i = 1}^{m} y^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)=\sum_{i=1}^m y^{(i)}$

h_{θ} (x^{(i)})

$h_\theta\left(x^{(i)}\right)$

\sum_{i = 1}^{m} p^{(i)} = \sum_{i = 1}^{m} y^{(i)}

$\sum_{i=1}^m p^{(i)} =\sum_{i=1}^m y^{(i)}$

Ми, очевидно, бачимо, що логістична регресія добре відкалібрована.

Довідково: лінійно-лінійні моделі та умовні випадкові поля Чарльза Елкана

— Лернер Чжан
джерело