Від правила Perceptron до градієнтного походження: чим відрізняються перцептрони з сигмоїдною активаційною функцією від логістичної регресії?

По суті, моє питання полягає в тому, що в багатошарових перцептронах персептрони використовуються з функцією активації сигмоїдів. Так що в правилі поновлення обчислюється як $\hat{y}$

\hat{y} = \frac{1}{1 + \exp (- w^{T} x_{i})}

$\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$

Чим цей «сигмоїдний» Перцепцепрон відрізняється від логістичної регресії тоді?

Я б сказав , що одношаровий персептрон сигмовидної еквівалентно логістичної регресії в тому сенсі , що обидва використовують $\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$ у правилі оновлення. Крім, як зворотний $\operatorname{sign}(\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)})$ в передбаченні. Однак у багатошарових перцептронах функція активації сигмоїдів використовується для повернення ймовірності, а не сигналу вимкнення на відміну від логістичної регресії та одношарового персептрона.

Я думаю, що використання терміна "Perceptron" може бути дещо неоднозначним, тому дозвольте навести деякий фон, який базується на моєму теперішньому розумінні щодо одношарових перцептронів:

Класичне правило перцептрона

По-перше, класичний перцептрон Ф. Розенблатта, де у нас є ступінчаста функція:

Δ w_{d} = η (y_{i} - \hat{y_{i}}) x_{i d} y_{i}, \hat{y_{i}} \in {- 1, 1}

$\Delta w_d = \eta(y_{i} - \hat{y_i})x_{id} \quad\quad y_{i}, \hat{y_i} \in \{-1,1\}$

оновити ваги

w_{k} := w_{k} + Δ w_{k} (k \in {1, . . ., d})

$w_k := w_k + \Delta w_k \quad \quad (k \in \{1, ..., d\})$

Так що розраховується як $\hat{y}$

\hat{y} = sign (w^{T} x_{i}) = sign (w_{0} + w_{1} x_{i 1} + . . . + w_{d} x_{i d})

$\hat{y} = \operatorname{sign}(\mathbf{w}^T\mathbf{x}_i) = \operatorname{sign}(w_0 + w_1x_{i1} + ... + w_dx_{id})$

Спуск градієнта

За допомогою градієнтного спуску ми оптимізуємо (мінімізуємо) функцію витрат

J (w) = \sum_{i} \frac{1}{2} (y_{i} - \hat{y_{i}})^{2} y_{i}, \hat{y_{i}} \in R

$J(\mathbf{w}) = \sum_{i} \frac{1}{2}(y_i - \hat{y_i})^2 \quad \quad y_i,\hat{y_i} \in \mathbb{R}$

там, де у нас є "реальні" числа, тому я бачу це в основному аналогічно лінійній регресії з тією різницею, що вихід нашого класифікації є пороговим.

Тут ми робимо крок у негативному напрямку градієнта, коли оновлюємо ваги

Δ w_{k} = - η \frac{\partial J}{\partial w_{k}} = - η \sum_{i} (y_{i} - \hat{y_{i}}) (- x_{i k}) = η \sum_{i} (y_{i} - \hat{y_{i}}) x_{i k}

$\Delta w_k = - \eta \frac{\partial J}{\partial w_k} = - \eta \sum_i (y_i - \hat{y_i})(- x_{ik}) = \eta \sum_i (y_i - \hat{y_i})x_{ik}$

Але тут ми маємо замість $\hat{y} = \mathbf{w}^T\mathbf{x}_i$ $\hat{y} = \operatorname{sign}(\mathbf{w}^T\mathbf{x}_i)$

w_{k} := w_{k} + Δ w_{k} (k \in {1, . . ., d})

$w_k := w_k + \Delta w_k \quad \quad (k \in \{1, ..., d\})$

Крім того, ми обчислюємо суму помилок у квадраті за повний прохід по всьому навчальному набору даних (у режимі пакетного навчання) на відміну від класичного правила перцептрон, яке оновлює ваги по мірі надходження нових зразків тренувань (аналог стохастичному градієнту спуску - онлайн навчання).

Функція активації сигмоїдів

Тепер ось моє питання:

У багатошарових перцептронах використовуються персептрони з функцією активації сигмоїдів. Так що в правилі поновлення обчислюється як $\hat{y}$

\hat{у} = \frac{1}{1 + досвід (- ш^{Т} х_{i})}

$\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$

Чим цей «сигмоїдний» Перцепцепрон відрізняється від логістичної регресії тоді?

Дивовижно, саме це питання дозволило мені сконцентрувати моє машинне навчання та основи нейромережі!

— varun

Відповіді:

За допомогою градієнтного спуску ми оптимізуємо (мінімізуємо) функцію витрат

$J (w) = \sum_{i} \frac{1}{2} (y_{i} - \hat{y_{i}})^{2} y_{i}, \hat{y_{i}} \in R$ $J(\mathbf{w}) = \sum_{i} \frac{1}{2}(y_i - \hat{y_i})^2 \quad \quad y_i,\hat{y_i} \in \mathbb{R}$

Якщо ви мінімізуєте середню помилку в квадраті, то вона відрізняється від логістичної регресії. Логістична регресія зазвичай пов’язана з перехресною втратою ентропії, ось сторінка вступу з бібліотеки scikit-learn .

(Я вважаю, що багатошарові перцептрони - це те саме, що називається нейронними мережами.)

Якщо ви використовували поперечну ентропійну втрату (з регуляризацією) для одношарової нейронної мережі, то це буде та сама модель (логічна лінійна модель), що і логістична регресія. Якщо ви замість цього використовуєте багатошарову мережу, це може вважатися логістичною регресією з параметричними нелінійними базовими функціями.

Однак у багатошарових перцептронах функція активації сигмоїдів використовується для повернення ймовірності, а не сигналу вимкнення на відміну від логістичної регресії та одношарового персептрона.

Вихід як логістичної регресії, так і нейронних мереж з функцією активації сигмоїдів можна інтерпретувати як ймовірності. Оскільки перехресна ентропійна втрата - це насправді негативна ймовірність журналу, визначена розподілом Бернуллі.

— dontloo
джерело

Оскільки спуск градієнта оновлює кожен параметр таким чином, що він зменшує помилку виводу, яка повинна бути функцією продовження всіх параметрів. Активація на основі порогу не є диференційованою, тому використовують сигмоїдну або танг-активацію.

Ось одношаровий NN

$\frac{dJ(w,b)}{d\omega_{kj}} =\frac{dJ(w,b)}{dz_k}\cdot \frac{dz_k}{d\omega_{kj}}$

$\frac{dJ(w,b)}{dz_k} = (a_k -y_k)(a_k(1-a_k))$

$\frac{dz_k}{d\omega_{kj}} = x_k$

$J(w,b) = \frac{1}{2} (y_k - a_k)^2$

$a_k = sigm(z_k) = sigm(W_{kj}*x_k + b_k)$

якщо функція активації була базовою ступеневою функцією (поріг), похідною від $J$ wrt $z_k$ було б не диференційованим.

тут посилання, яке пояснює це загалом.

Редагувати: Можливо, я неправильно зрозумів, що ви маєте на увазі під перцептроном. Якщо я не помиляюсь, персептрон обшивається зваженою сумою входів. Якщо ви зміните триходинг з логістичною функцією, він перетворюється на логістичну регресію. Багатошаровий NN з сигмоподібними (логістичними) функціями активації - це каскадні шари, що складаються з логістичних регресій.

— yasin.yazici
джерело

Це не відповідає на запитання.

— Ніл G

Дякую, що написав цей приємний коментар, але про це я не просив. Моє запитання було не "чому спуск градієнта", а "що робить перцептрон із сигмоїдною активаційною функцією відмінною від логістичної регресії"

@SebastianRaschka Вони однакові. Що змушує вас думати, що вони різні? Я здійснив спуск градієнта, тому що побачив помилку в оцінці вашого схилу по градієнту. Ви припускали

y = W^{T} X

$y = W^T X$ коли ти їхав ним. Ось чому ви знайшли однакове виведення для оновлення Perceptron і Gradient.

— yasin.yazici

"Що змушує вас думати, що вони різні?" - номенклатура, тому мені було цікаво, чи є ще щось; Мені просто цікаво, чому у нас є два різні терміни для однієї і тієї ж речі. Btw. Я не бачу жодної помилки в градієнтному спуску в своєму питанні.

y = w_{j}^{T} x_{j i}

$y = w_j^Tx_{ji}$ правильно. І я також не знайшов однакового виведення між "правилом перцептрона" та "оновленням градієнта". Перший робиться в режимі он-лайн навчання (зразок за зразком), останній робиться в пакетному режимі, а також ми мінімізуємо суму помилок у квадраті замість використання покрокової функції.

Я думаю, що може спричинити плутанину в тому, що ви розрізняєте крок "класифікація" та "навчання". Крок класифікації завжди є пороговим (-1 або 1, або 0 і 1, якщо вам подобається). Однак оновлення відрізняється, в класичному перцептроні оновлення здійснюється через

η (y - s i g n (w^{T} x_{i})) x

$\eta (y - sign(w^Tx_i))x$ whereas in let's say stochastic gradient descent it is

η (y - w^{T} x_{i}) x_{i}

$\eta (y - w^Tx_i)x_i$

Intuitively, I think of a multilayer perceptron as computing a nonlinear transformation on my input features, and then feeding these transformed variables into a logistic regression.

The multinomial (that is, N > 2 possible labels) case may make this more clear. In traditional logistic regression, for a given data point, you want to compute a "score", $\beta_i X$ , for each class, $i$ . And the way you convert these to probabilities is just by taking the score for the given class over the sum of scores for all classes, $\frac{\beta_i X}{\sum_j \beta_j X}$ . Таким чином, клас з великою оцінкою має більшу частку від комбінованого бала і тому більша ймовірність. Якщо ви змушені передбачити окремий клас, ви вибираєте клас з найбільшою ймовірністю (який також є найбільшим балом).

Я не знаю про вас, але на своїх курсах моделювання та дослідження я намагався здійснити всі види розумних та дурних перетворень вхідних функцій, щоб поліпшити їх значимість та загальне прогнозування моделі. Прибирати речі, брати колоди, поєднувати два в норму тощо. Я не соромився, але терпіння мав обмежене.

A multilayer perceptron is like a graduate student with way too much time on her hands. Through the gradient descent training and sigmoid activations, it's going to compute arbitrary nonlinear combinations of your original input variables. In the final layer of the perceptron, these variables effectively become the $X$ in the above equation, and your gradient descent also computes an associated final $\beta_i$ . The MLP framework is just an abstraction of this.

— Dan Van Boxel
джерело