Логістична регресія для багатокласових

Я отримав модель логістичної регресії для багатокласових, яку задає

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^TX^{(i)})}{1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})}$

де k - кількість класів тета - параметр, який слід оцінювати j - j-й клас Xi - дані навчання

Ну одне, чого я не отримав - це те, як частина знаменника нормалізувала модель. Я маю на увазі, що це робить ймовірність залишитися між 0 і 1.

1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})

$1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})$

Я маю на увазі, що я звик до логістичної регресії

P (Y = 1 | X^{(i)}) = 1 / (1 + \exp (- θ^{T} X^{(i)}))

$P(Y=1|X^{(i)}) = 1/ (1 + \exp(-\theta^T X^{(i)}))$

Власне, я плутаю річ із номалізацією. У цьому випадку, оскільки це сигмоїдна функція, вона ніколи не дозволяє значенню бути меншим за 0 або більше 1. Але я плутаюсь у випадку мультикласу. Чому так?

Це моя довідка https://list.scms.waikato.ac.nz/pipermail/wekalist/2005-February/029738.html . Я думаю, це мало бути нормалізацією

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{\sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^T X^{(i)})}{\sum_{m=1}^{k} \exp(\theta_m^T X^{(i)})}$

logistic multinomial

— користувач34790
джерело

Підказка: У логістичній регресії неявно є дві ймовірності для вирішення: ймовірність і ймовірність . Ці ймовірності повинні дорівнювати .

Y = 1

$Y=1$

Y = 0

$Y=0$

1

$1$

— whuber

На основі деяких інших ваших публікацій ви знаєте, як розмітити рівняння. Текстові рівняння тут важко читати, а (підписки?) Заплутані - чи можете ви позначити їх за допомогою ?

L A T E X

$\LaTeX$

— Макрос

Оскільки ви розміщуєте тут стільки питань, будь ласка, призупиніть та прочитайте наші поширені запитання про те, як ставити хороші запитання. Прочитайте довідку щодо розмітки щоб ви могли зробити свої рівняння читабельними.

T E X

$\TeX$

— whuber

Я відредагував рівняння. @ Whuber Власне, я плутаний, пов'язаний з багатокласовою логістичною регресією, а не бінарною. Мене хвилює, як прийти, коли я додаю всі елементи дономінатора, нормалізував вірогідність

— user34790

@ user34790, коли ви розділите кожен доданок на суму, то ймовірності окремих класів становлять 1. Що таке до речі?

X^{(i)}

$X^{(i)}$

— Макрос

Відповіді:

Ваша формула неправильна (верхня межа суми). При логістичній регресії з класами ( ) ви в основному створюєте бінарні логістичні регресійні моделі, де ви вибираєте один клас як опорний або стрижневий. Зазвичай для опорного вибирається останній класТаким чином, ймовірність опорного класу може бути обчисленаЗагальна форма ймовірності -Оскільки -клас - це ваша посилання і, отже, $K$ $K> 2$ $K-1$ $K$

P (y_{i} = K | x_{i}) = 1 - \sum_{k = 1}^{K - 1} P (y_{i} = k | x_{i}) .

$P(y_i = K | x_i) = 1 - \sum_{k=1}^{K-1} P(y_i = k | x_i) .$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i})} .

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{\sum_{i=1}^K \exp(\theta_i^T x_i)} .$

K

$K$

θ_{K} = (0, \dots, 0)^{T}

$\theta_K = (0, \ldots, 0)^T$

\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i}) = \exp (0) + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) = 1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) .

$\sum_{i=1}^K \exp(\theta_i^T x_i) = \exp(0) + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) = 1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) .$ Зрештою, ви отримуєте наступну формулу для всіх :

k < K

$k < K$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i})}

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i)}$

— sebp
джерело

зауважте, що вибір еталонного класу не важливий, якщо ви робите максимальну ймовірність. Але якщо ви робите пенімальовану максимальну ймовірність або байєсівський висновок, часто може бути корисніше залишити ймовірності завищеними параметрами, і нехай покарання обрало спосіб обробки надмірної параметризації. Це тому, що більшість штрафних функцій / пріорів не є інваріантними щодо вибору еталонного класу

— ймовірністьлогічного

@sebp, здається, трохи заплутаний; було б краще використовувати для спостереження, а якусь іншу букву для ітерації категорії .

i

$i$

i

$i$

k

$k$

— гарей

Я думаю, що вас плутає помилка друку: у першому рівнянні ваш повинен бути . 1, який ви бачите в логістичному випадку, насправді є s, наприклад, коли є th . $k$ $k-1$ $\exp(0)$ $k$ $\theta=0$

Припустимо, що . Тепер зауважте, що ви можете перейти від останньої рецептури до версії логістичної регресії на зразок Для декількох класів просто замініть знаменник у перших двох кількостях на суму над експоненційними лінійними предикторами. $\theta_1 X=b$

\frac{\exp (b)}{\exp (0) + \exp (b)} = \frac{\exp (0)}{\exp (0) + \exp (- b)} = \frac{1}{1 + \exp (- b)}

$\frac{\exp(b)}{\exp(0)+\exp(b)} = \frac{\exp(0)}{\exp(0)+\exp(-b)} = \frac{1}{1+\exp(-b)}$

— сполученийпріор
джерело