Чому логістична регресія є лінійним класифікатором?

Оскільки ми використовуємо логістичну функцію для перетворення лінійної комбінації вхідних даних у нелінійний вихід, як можна вважати логістичну регресію лінійним класифікатором?

Лінійна регресія подібна до нейронної мережі без прихованого шару, тому чому нейронні мережі вважаються нелінійними класифікаторами, а логістична регресія - лінійною?

logistic classification neural-networks

— Джек Твен
джерело

Перетворення «лінійна комбінації входу в нелінійному вихід» є одним з основної частини визначення про наявність лінійного класифікатора . Це зводить це питання до другої частини, що означає демонстрацію того, що Нейронні мережі в цілому не можуть бути виражені як лінійні класифікатори.

— whuber

@whuber: Як ви пояснюєте той факт, що модель логістичної регресії може приймати поліноміальні змінні предиктора (наприклад, ) для отримання нелінійної межі рішення? Це все-таки лінійний класифікатор?

w_{1} \cdot x_{1}^{2} + w_{2} \cdot x_{2}^{3}

$w_1 \cdot x_1^2 + w_2 \cdot x_2^3$

— stackoverflowuser2010

@Stack Концепція "лінійного класифікатора" зароджується концепцією лінійної моделі. "Лінійність" в моделі може набувати декількох форм, як описано на сайті stats.stackexchange.com/a/148713 . Якщо ми приймемо характеристику Вікіпедії лінійних класифікаторів , то ваш поліномний приклад буде розглядатися як нелінійний з точки зору заданих "особливостей" та але він буде лінійним за ознаками та . Ця відмінність забезпечує корисний спосіб використання властивостей лінійності.

x_{1}

$x_1$

x_{2}

$x_2$

x_{1}^{2}

$x_1^2$

x_{2}^{3}

$x_2^3$

— whuber

Я все ще трохи розгублений щодо питання, чи є межа лінійного класифікатора лінійного рішення? Я стежив за курсом машинного навчання Ендрю Нг, і він згадав таке :! [Введіть опис зображення тут ] ( i.stack.imgur.com/gHxfr.png ) Тож насправді мені здається, що ніхто не відповів на це залежить від лінійності чи нелінійності межі рішення, що залежить від функції Гіпотези, визначеної як Htheta (X), де X є вхідним, а Theta - змінними нашої проблеми. Чи має для тебе сенс?

— brokensword

Відповіді:

Логістична регресія лінійна, тому що прогнози можна записати як Таким чином, передбачення можна записати через , що є лінійною функцією . (Точніше, прогнозовані логічні коефіцієнти - це лінійна функція .)

\hat{p} = \frac{1}{1 + e^{- \hat{μ}}}, where \hat{μ} = \hat{θ} \cdot x .

$\hat{p} = \frac{1}{1 + e^{-\hat{\mu}}}, \text{ where } \hat{\mu} = \hat{\theta} \cdot x.$

\hat{μ}

$\hat{\mu}$

x

$x$

x

$x$

І навпаки, немає можливості узагальнити вихід нейронної мережі за лінійною функцією , і саме тому нейронні мережі називають нелінійними. $x$

Також для логістичної регресії межа рішення лінійна: це рішення . Межа рішення нейронної мережі, як правило, не є лінійною. $\{x:\hat{p} = 0.5\}$ $\hat{\theta} \cdot x = 0$

— Стефан Вагер
джерело

Ви відповідаєте, є найбільш зрозумілим і найскладнішим для мене поки що. Але я трохи розгублений. Деякі кажуть, що прогнозовані логічні коефіцієнти є лінійною функцією а інші кажуть, що це лінійна функція . Тому?!

x

$x$

θ

$\theta$

— Джек Твен

то також за вашим поясненням. Чи можна сказати, що прогнозування нейронної мережі є лінійною функцією активації останнього прихованого шару?

— Джек Твен

Прогнозовані коефіцієнти журналу є лінійними як у і у . Але, як правило, нас найбільше цікавить той факт, що коефіцієнти журналу є лінійними в , оскільки це означає, що межа рішення є лінійною у просторі .

\hat{θ} \cdot x

$\hat{\theta} \cdot x$

\hat{θ}

$\hat{\theta}$

x

$x$

x

$x$

x

$x$

— Стефан Вагер

Я використовував визначення, що класифікатор лінійний, якщо межа його рішення лінійна в просторі . Це не те саме, що прогнозовані ймовірності є лінійними в (що було б неможливо, окрім тривіальних випадків, оскільки ймовірності повинні лежати між 0 і 1).

x

$x$

x

$x$

— Стефан Вагер

@ Pegah Я знаю, що це старе, але: Логістична регресія має лінійну межу рішення. Сам уптут, звичайно, не лінійний, його логістичний. Залежно від того, на яку сторону лінії падає точка, загальний вихід буде наближатися (але ніколи не досягати) 0 або 1 відповідно. І щоб додати відповідь Стефана Вагнерса: Останнє речення не є абсолютно правильним, нейронна мережа є нелінійною, коли містить нелінійні активації або вихідні функції. Але це може бути і лінійним (у разі, якщо нелінійності не додано).

— Кріс

Як зазначає Стефан Вагнер, межа рішення для логістичного класифікатора є лінійною. (Класифікатору потрібні вхідні дані лінійно відокремлювані.) Я хотів розширити математику для цього, якщо це не очевидно.

Межею рішення є безліч x таких, що

\frac{1}{1 + e^{- θ \cdot x}} = 0.5

${1 \over {1 + e^{-{\theta \cdot x}}}} = 0.5$

Трохи алгебри видно, що це еквівалентно

1 = e^{- θ \cdot x}

${1 = e^{-{\theta \cdot x}}}$

і, беручи природний журнал обох сторін,

0 = - θ \cdot x = - \sum_{i = 0}^{n} θ_{i} x_{i}

$0 = -\theta \cdot x = -\sum\limits_{i=0}^{n} \theta_i x_i$

тому межа рішення лінійна.

Причина межі прийняття рішення для нейронної мережі не є лінійною в тому, що в нейронній мережі є два шари сигмоподібних функцій: по одному у кожному з вихідних вузлів плюс додаткова сигмоподібна функція для об'єднання та порозуміння результатів кожного вихідного вузла.

— Філ Богле
джерело

Власне, ви можете отримати нелінійну межу рішення лише з одним шаром, що має активацію. Дивіться стандартний приклад XOR з двошаровою мережею передачі вперед.

— Джеймс Гіршорн

У нас є два класи, і , тоді ми можемо виразити умовну ймовірність як застосовуючи теорему Байєса, знаменник виражається як . $C_{0}$ $C_{1}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x)}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x)}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x | C_{0}) P (C_{0}) + P (x | C_{1}) P (C_{1})} = \frac{1}{1 + \exp (- \log \frac{P (x | C_{0})}{P (x | C_{1})} - \log \frac{P (C_{0})}{P (C_{1})})}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x|C_{0})P(C_{0})+P(x|C_{1})P(C_{1})} = \frac{1}{1+ \exp\left(-\log\frac{P(x|C_{0})}{P(x|C_{1})}-\log \frac{P(C_{0})}{P(C_{1})}\right)}$

1 + e^{ω x}

$1+e^{\omega x}$

За яких умов зводить перший вираз до лінійного члена ?. Якщо розглянути експоненціальне сімейство (канонічну форму для експоненціальних розподілів, таких як Гаус чи Пуассон), тоді ви отримуєте лінійну форму,

P (x | C_{i}) = \exp (\frac{θ_{i} x - b (θ_{i})}{a (ϕ)} + c (x, ϕ))

$P(x|C_{i}) = \exp \left(\frac{\theta_{i} x -b(\theta_{i})}{a(\phi)}+c(x,\phi)\right)$

\log \frac{P (x | C_{0})}{P (x | C_{1})} = [(θ_{0} - θ_{1}) x - b (θ_{0}) + b (θ_{1})] / a (ϕ)

$\log\frac{P(x|C_{0})}{P(x|C_{1})} = \left[ (\theta_{0}-\theta_{1})x - b(\theta_{0})+b(\theta_{1}) \right]/a(\phi)$

Зверніть увагу, що ми припускаємо, що обидва розподіли належать до однієї сім'ї та мають однакові параметри дисперсії. Але, за цим припущенням, логістична регресія може моделювати ймовірності для всієї родини експоненціальних розподілів.

— jpmuc
джерело