Яка різниця між логістичною регресією та перцептроном?

30

Я збираюся через лекцію Ендрю Нг ноту на Machine Learning.

Примітки вводять нас у логістичну регресію, а потім у перцептрон. Описуючи Perceptron, примітки кажуть, що ми просто змінюємо визначення порогової функції, що використовується для логістичної регресії. Після цього ми можемо використовувати модель Персептрона для класифікації.

Отже, моє запитання - якщо це потрібно уточнити, і ми розглянемо Perceptron як методику класифікації, то що ж таке логістична регресія? Чи просто використовується для отримання ймовірності того, що точка даних належить до одного з класів?

— GrowinMan
джерело

Приємне запитання, я вважаю, що дуже важливо, як ви починаєте пояснення на NN, тим більше, що NN може бути дуже складним для розуміння, pls. розглянь мою відповідь.

— prosti

22

Коротше кажучи, логістична регресія має ймовірнісні конотації, що виходять за рамки використання класифікатора в ML. У мене є деякі зауваження по логістичної регресії тут .

Гіпотеза при логістичній регресії забезпечує міру невизначеності виникнення бінарного результату на основі лінійної моделі. Вихід обмежений асимптотично між $0$ і $1$ і залежить від лінійної моделі, так що коли нижня лінія регресії має значення $0$ , логічне рівняння дорівнює $0.5 = \frac{e^0}{1+e^0}$ , забезпечуючи природну точку відсічення для цілей класифікації. Однак ціною викидання інформації про ймовірність є фактичний результат $h(\Theta^T\bf x) =\frac{e^{\Theta^T \bf x}}{1 +e^{\Theta^T\bf x}}$ , що часто цікаво (наприклад, ймовірність виплати заборгованості за кредитом, дохід, кредитна оцінка, вік тощо).

Алгоритм класифікації перцептрона є більш базовою процедурою, що базується на крапкових продуктах між прикладами та вагами . Кожного разу, коли приклад неправильно класифікується, знак крапкового продукту суперечить значенню класифікації ( $-1$ і $1$ ) у навчальному наборі. Щоб виправити це, приклад вектора буде ітераційно додаватися або відніматися з вектора ваг або коефіцієнтів, поступово оновлюючи його елементи:

Векторно, то функції або атрибути прикладу є , і ідея полягає в тому, щоб «пройти» приклад , якщо: $d$ $\bf x$

або ... $\displaystyle \sum_{1}^d \theta_i x_i > \text{theshold}$

. Функція знаку призводить до або , на відміну від і при логістичній регресії. $h(x) = \text{sign}\big(\displaystyle \sum_{1}^d \theta_i x_i - \text{theshold}\big)$ $1$ $-1$ $0$ $1$

Поріг буде поглинений у коефіцієнт зміщення . Формула тепер: $+ \theta_0$

, або векторизований: . $h(x) = \text{sign}\big(\displaystyle \sum_0^d \theta_i x_i\big)$ $h(x) = \text{sign}(\theta^T\bf x)$

Різні класифіковані точки матимуть , що означає, що крапковий добуток і буде позитивним (вектори в одному напрямку), коли від'ємний, або крапковий добуток буде негативним (вектори у протилежних напрямках), тоді як додатний. $\text{sign}(\theta^T\bf x) \neq y_n$ $\Theta$ $\bf x_n$ $y_n$ $y_n$

Я працював над відмінностями цих двох методів у наборі даних від одного курсу , в якому результати тестування на двох окремих іспитах пов'язані з остаточним прийняттям до коледжу:

Межу прийняття рішення можна легко знайти при логістичній регресії, але було цікаво побачити, що хоча коефіцієнти, отримані з персептроном, значно відрізняються, ніж при логістичній регресії, просте застосування функції до результатів дало так само хорошу класифікацію алгоритм. Насправді максимальна точність (межа, встановлена лінійною нероздільністю деяких прикладів) була досягнута другою ітерацією. Ось послідовність прикордонних ліній ділення, оскільки ітерацій наближено до ваг, починаючи від випадкового вектора коефіцієнтів: $\text{sign}(\cdot)$ $10$

Точність у класифікації як функція від кількості ітерацій швидко зростає та плато на , відповідно до того, наскільки швидко досягається гранично оптимальна межа рішення у відеокліпі вище. Ось сюжет кривої навчання: $90\%$

Код, що використовується тут .

— Антоні Пареллада
джерело

5

Тут може виникнути деяка плутанина. Спочатку перцептрон мав на увазі лише нейронні мережі з кроковою функцією як функцією передачі. У цьому випадку різниця полягає в тому, що логістична регресія використовує логістичну функцію, а перцептрон використовує ступінчату функцію. Взагалі обидва алгоритму повинні давати однакову межу рішення (принаймні, для одного рецептора нейрона). Однак:

Вектор параметрів перцептрона може бути довільно масштабований порівняно з тим, який отриманий логістичною регресією. Будь-яке масштабування вектора параметрів визначатиме ту саму межу, але ймовірності, обчислені логістичною регресією, залежать від точного масштабування.
Висновок з крокової функції, звичайно, не може трактуватися як будь-який вид ймовірності.
Оскільки ступінчаста функція не є диференційованою, неможливо тренувати перцептрон за допомогою тих же алгоритмів, які використовуються для логістичної регресії.

У деяких випадках термін перцептрон також використовується для позначення нейронних мереж, які використовують логістичну функцію як функцію передачі (однак це не відповідає оригінальній термінології). У цьому випадку логістична регресія та "перцептрон" точно такі самі. Звичайно, за допомогою перцептрона можна використовувати декілька нейронів, які використовують логістичну функцію передачі, яка стає дещо відносною до укладання логістичної регресії (не однакової, але подібної).

— LiKao
джерело

2

Ви можете використовувати логістичну регресію для побудови перцептрона. Логістична регресія використовує логістичну функцію для побудови виходу з заданих входів. Логістична функція забезпечує плавний вихід між 0 і 1, тому вам потрібно ще одну річ, щоб зробити її класифікатором, який є порогом. Перцептрони можна будувати за допомогою інших функціональних форм, звичайно, не тільки логістичних .

y (x_{1}, x_{2} | b) = \frac{e^{b_{0} + b_{1} x_{1} + b_{2} x_{2}}}{1 + e^{b_{0} + b_{1} x_{1} + b_{2} x_{2}}}

$y(x_1,x_2|b)=\frac{e^{b_0+b_1x_1+b_2x_2}}{1+e^{b_0+b_1x_1+b_2x_2}}$

b_{1}, b_{2}, b_{3}

$b_1,b_2,b_3$

\frac{e^{x}}{1 + e^{x}}

$\frac{e^x}{1+e^x}$

$y(x|b)$ $x$ $b$ $y$ $Y$ $\tilde y=0$ $y(x|b)<Y$ $\tilde y=1$ $y(x|b)\ge Y$

— Аксакал
джерело

1

Вони обидва застосовують регресію, оцінюючи параметри тієї ж логістично перетвореної моделі. Відповідно до властивостей опуклих функцій, значення параметрів будуть однаковими для будь-якого способу їх визначення. Цитую себе з попередньої відповіді:

Логістична регресія моделює функцію середнього розподілу Бернуллі як лінійне рівняння (середнє значення дорівнює p ймовірності події Бернуллі). Використовуючи посилання logit як функцію середнього (p), логарифм коефіцієнтів (log-odds) можна вивести аналітично і використовувати як відповідь на так звану узагальнену лінійну модель. Крім прогнозування, це дозволяє інтерпретувати модель причинно-наслідкового висновку. Це те, чого ви не можете досягти за допомогою лінійного Perceptron.

Perceptron бере функцію зворотної логіти (логістичної) функції wx і не використовує імовірнісні припущення ні для моделі, ні для її параметра. Інтернет-навчання дасть вам точно такі ж оцінки щодо ваги / параметрів моделі, але ви не зможете інтерпретувати їх причинно-наслідковим висновком через відсутність p-значень, довірчих інтервалів та ну базової моделі ймовірностей.

— Дігіо
джерело

1

$x_1,\ldots, x_N \in \mathbb R^n$ $y_1,\ldots,y_N \in \{-1, 1 \}$ $1$ $x_i$

\begin{aligned} (1) & minimize & \frac{1}{N} \sum_{i = 1}^{N} max (- y_{i} β^{T} x_{i}, 0) . \end{aligned}

$\begin{align} \tag{1}\text{minimize} & \quad \frac{1}{N}\sum_{i=1}^N \max(-y_i\beta^T x_i,0). \end{align}$

β \in R^{n + 1}

$\beta \in \mathbb R^{n+1}$

Об'єктивну функцію в задачі (1) можна записати як , де Субградіентом з в є вектором Кожна епоха стохастичного субградієнтного спуску (з розміром кроку ) проходить через навчальні спостереження і, для го спостереження, виконує оновлення $\frac{1}{N}\sum_i \ell_i(\beta)$

ℓ_{i} (β) = max (- y_{i} β^{T} x_{i}, 0) .

$\ell_i(\beta) = \max(-y_i \beta^T x_i,0).$

ℓ_{i}

$\ell_i$

β

$\beta$

g = {\begin{cases} 0 & if - y_{i} β^{T} x_{i} \leq 0 (so y_{i} and β^{T} x_{i} have the same sign) \\ - y_{i} x_{i} & otherwise. \end{cases}

$g = \begin{cases} 0 & \quad \text{if } -y_i \beta^T x_i \leq 0 \qquad \text{(so $y_i$ and $\beta^T x_i$ have the same sign)}\\ - y_i x_i & \quad \text{otherwise.} \end{cases}$

t > 0)

$t > 0)$

i

$i$

β \leftarrow β - t g = {\begin{cases} β & if y_{i} and β^{T} x_{i} have the same sign \\ β + t y_{i} x_{i} & otherwise. \end{cases}

$\beta \leftarrow \beta - t g = \begin{cases} \beta & \quad \text{if $y_i$ and $\beta^T x_i$ have the same sign} \\ \beta + t y_i x_i & \quad \text{otherwise.} \end{cases}$ Ми визнаємо, що це ітерація алгоритму перцептрона (зі швидкістю ).

t

$t$

— малоO
джерело

0

Ендрю Нг використав термін «логістична регресія» як модель для вирішення задачі бінарної класифікації.

Як ви могли бачити в роботі, він насправді ніколи не малює саму модель.

Дозвольте додати кілька деталей у відро, щоб ви могли знайти міркування про те, як я думаю, що він конструював лекції.

Модель, що використовується для "логістичної регресії", є однорівневим сприйняттям із власною кількістю входів та одним виходом у межах від 0 до 1.

Ще в 90-х найактуальнішою функцією активації була сигмоїдальна активаційна функція, і існує чудова математична теорія як резервне копіювання.

Це саме та модель, яку використовує Ендрю Нг, оскільки ця функція становить від 0 до 1.

Також похідне s'(x) = s(x)(1−s(x)), де s(x)є сигмоїдальна активаційна функція.

Для функції помилки він використовує L2, хоча в деяких роботах він може використовувати для цього якусь іншу функцію.

Отже, підсумовуючи, під час розгляду "логістичної регресії" просто врахуйте сприйняття однорівневого рівня із сигмоїдальною функцією активації, власною кількістю входів та одиничним виходом.

Лише кілька зауважень: З функцією активації сигмоїдної активації немає нічого поганого, хоча для арифметики з плаваючою комою в даний час ReLU домінує над прихованими шарами, але найближчим часом пози (або деякі інші арифметичні одиниці) можуть повернути сигмоїдну функцію активації назад до столу .

Особистість, я б використав більш просту модель з функцією ReLU, щоб пояснити SLP (однорівневий перцептрон), оскільки він більше використовується.

— prosti
джерело