Коли логістична регресія вирішується в закритому вигляді?

Візьмемо і та припустимо, що ми змоделюємо завдання передбачити y задане x за допомогою логістичної регресії. Коли коефіцієнти логістичної регресії можна записати у закритому вигляді? $x \in \{0,1\}^d$ $y \in \{0,1\}$

Одним із прикладів є використання насиченої моделі.

Тобто визначте , де індексує набори в наборі потужностей , а повертає 1, якщо всі змінні -го набору дорівнюють 1, а 0 в іншому випадку. Тоді ви можете виразити кожен в цій логістичній регресійній моделі як логарифм раціональної функції статистики даних. $P(y|x) \propto \exp(\sum_i w_i f_i(x_i))$ $i$ $\{x_1,\ldots,x_d\}$ $f_i$ $i$ $w_i$

Чи є інші цікаві приклади, коли існує закрита форма?

logistic generalized-linear-model

— Ярослав Булатов
джерело

Я припускаю, що ви маєте на увазі "коли параметри MLE в закритому вигляді?"

— Glen_b -Встановіть Моніку

Чи можете ви детальніше розповісти, що ви робили? Ваше запитання звучить так, ніби ви намагалися отримати звичайний оцінювач найменших квадратів для проблеми логістичної регресії?

— Момо

Дякую за цікавий пост / запитання, Ярославе. Чи є у вас посилання на приклад, який ви показуєте?

— Побіт

Минув деякий час, але, можливо, це було в книзі «Графічні моделі» Лаурітцена. Більш широкі основи відповіді на це питання є - ви отримуєте рішення закритої форми, коли (гіпер) графік, сформований достатньою статистикою, є хордальним

— Ярослав Булатов

Це може бути цікаво tandfonline.com/doi/abs/10.1080/… Я вважаю, що це особливий випадок аналітичного рішення, коли у вас є лише таблиця 2x2

— Остін

Відповіді:

Як зазначав kjetil b halvorsen, це, по-своєму, диво, що лінійна регресія допускає аналітичне рішення. І це так лише в силу лінійності проблеми (щодо параметрів). В OLS у вас є який має умови першого порядку Для задачі з змінними (у т.ч. константа, якщо потрібно - є також певна регресія через проблеми виникнення), це система з рівняннями і

\sum_{i} (у_{i} - х_{i}^{'} β)^{2} \to \underset{β}{хв},

$\sum_i (y_i - x_i' \beta)^2 \to \min_\beta,$

- 2 \sum_{i} (y_{i} - x_{i}^{'} β) x_{i} = 0

$-2 \sum_i (y_i - x_i'\beta) x_i = 0$

p

$p$

p

$p$

p

$p$ невідомі. Найголовніше - це лінійна система, тому ви можете знайти рішення, використовуючи стандартну теорію та практику лінійної алгебри . Ця система матиме рішення з ймовірністю 1, якщо у вас немає ідеально колінеарних змінних.

Тепер з логістичною регресією все вже не так просто. Записавши функцію вірогідності журналу, і взявши його похідну для пошуку MLE, отримаємо Параметри вводять це дуже нелінійно: для кожного є нелінійна функція, і вони додаються разом. Немає аналітичного рішення (крім, мабуть, у тривіальній ситуації з двома спостереженнями чи чимось подібним), і вам доведеться використовувати

l (y; x, β) = \sum_{i} y_{i} \ln p_{i} + (1 - y_{i}) \ln (1 - p_{i}), p_{i} = (1 + \exp (- θ_{i}))^{- 1}, θ_{i} = x_{i}^{'} β,

$l(y;x,\beta) = \sum_i y_i \ln p_i + (1-y_i) \ln(1-p_i), \quad p_i = (1+\exp(-\theta_i))^{-1}, \quad \theta_i = x_i' \beta,$

\frac{\partial l}{\partial β^{'}} = \sum_{i} \frac{г p_{i}}{г θ} (\frac{у_{i}}{p_{i}} - \frac{1 - у_{i}}{1 - p_{i}}) х_{i} = \sum_{i} [у_{i} - \frac{1}{1 + досвід (х_{i}^{'} β)}] х_{i}

$\frac{\partial l}{\partial \beta'} = \sum_i \frac{{\rm d}p_i}{{\rm d}\theta}\Bigl( \frac{y_i}{p_i} - \frac{1-y_i}{1-p_i} \Bigr)x_i = \sum_i \Bigl[y_i-\frac1{1+\exp(x_i'\beta)}\Bigr]x_i$

β

$\beta$

i

$i$ нелінійні методи оптимізації для пошуку оцінок .

\hat{β}

$\hat\beta$

Дещо глибший погляд на проблему (взяття другої похідної) виявляє, що це проблема опуклої оптимізації пошуку максимуму увігнутої функції (прославленої багатоваріантної параболи), тому будь-яка існує, і будь-який розумний алгоритм повинен знайти її швидше швидко, або речі здуваються до нескінченності. Останнє відбувається з логістичною регресією, коли для деякого , тобто у вас ідеальний прогноз. Це досить неприємний артефакт: ви могли б подумати, що коли у вас ідеальний прогноз, модель працює чудово, але досить цікаво, це навпаки. ${\rm Prob}[Y_i=1|x_i'\beta > c] = 1$ $c$

— СтасК
джерело

питання в тому, чому ваше останнє рівняння не розв’язується. це пов'язано із зворотним розбігом логістичної функції на 0 і 1, чи це пов'язано з нелінійністю взагалі?

— eyaler

(+1) Що стосується останнього пункту: З математичної точки зору це робить роботу «відмінно» в тому сенсі , що ЗМУ буде давати ідеальну розділяє гіперплоскость. Чи буде ваш чисельний алгоритм сприятливо поводитися в цій обставині, це окрема справа. Згладжування Лапласа часто використовується в таких ситуаціях.

— кардинал

@eyaler, я б сказав, це пов’язано з нелінійністю взагалі. Я розумію, що існує обмежений набір обставин, коли це можна вирішити, хоча я не знаю, що це за обставини.

— Стаск

Я не розумію, яка математична умова існує, що змушує систему не мати рішення закритої форми? Чи є загальна умова, коли речі взагалі не мають рішення закритої форми?

— Чарлі Паркер

чи факт, що логістична регресія не має закритої форми, що можна довести, переглянувши ітерацію градієнтного спуску для неї?

— Чарлі Паркер

Спочатку ця публікація була задумана як довгий коментар, а не повна відповідь на відповідне питання.

З питання, трохи незрозуміло, чи інтерес полягає лише у двійковій справі або, можливо, у більш загальних випадках, коли вони можуть бути безперервними або приймати інші дискретні значення.

Один приклад, який не зовсім відповідає на запитання, але пов'язаний, і який мені подобається, стосується рейтингу переваг позицій, отриманого за допомогою парних порівнянь. Модель Бредлі-Террі можна виразити як логістичну регресію, де а - "спорідненість", "популярність" або " параметр міцності "елемента з вказує на елемент був кращим над елементом

l o g i t (Pr (Y_{i j} = 1)) = α_{i} - α_{j},

$\mathrm{logit}( \Pr(Y_{ij} = 1) ) = \alpha_i - \alpha_j ,$

α_{i}

$\alpha_i$

i

$i$

Y_{i j} = 1

$Y_{ij} = 1$

i

$i$

у парному порівнянні.

j

$j$

Якщо повний Кругові порівняння виконуються (тобто перевагу попарно записуються для кожної невпорядкованою пари), то виходить, що ранг порядок ОМП відповідаю рангу порядку , загальна сума разів, коли кожен об’єкт віддавав перевагу іншому. $(i,j)$ $\hat{\alpha}_i$ $S_i = \sum_{j \neq i} Y_{ij}$

Щоб інтерпретувати це, уявіть собі турнір з повним кругообігом у улюбленому змагальному спорті. Потім цей результат говорить про те, що модель Бредлі – Террі класифікує гравців / команд відповідно до їх виграшного відсотка. Буде це обнадійливим чи невтішним результатом, залежить від вашої точки зору.

Примітка: Цей результат впорядкування за рейтингом, як правило, не виконується, коли не грається повний кругообіг.

— кардинальний
джерело

Мене цікавило бінарне, тому що це було найпростіше проаналізувати. Я знайшов достатньо широку умову у творах Лаурітцен - ви отримуєте закриту форму, якщо відповідна лінійно-лінійна модель розкладається

— Ярослав Булатов