що робить нейронні мережі нелінійною моделлю класифікації?

Я намагаюся зрозуміти математичний зміст нелінійних моделей класифікації:

Я щойно прочитав статтю, яка розповідає про нейронні мережі як нелінійну модель класифікації.

Але я просто розумію, що:

Перший шар:

$h_1=x_1∗w_{x1h1}+x_2∗w_{x1h2}$

$h_2=x_1∗w_{x2h1}+x_2∗w_{x2h2}$

Наступний шар

$y=b∗w_{by}+h_1∗w_{h1y}+h_2∗w_{h2y}$

Можна спростити до

$=b′+(x_1∗w_{x1h1}+x_2∗w_{x1h2})∗w_{h1y}+(x_1∗w_{x2h1}+x_2∗w_{x2h2})∗w_{h2y}$

$=b′+x_1(w_{h1y}∗w_{x1h1}+w_{x2h1}∗w_{h2y})+x_2(w_{h1y}∗w_{x1h1}+w_{x2h2}∗w_{h2y})$

Двошарова нейромережа - це просто проста лінійна регресія

$=b^′+x_1∗W_1^′+x_2∗W_2^′$

Це можна показати будь-якій кількості шарів, оскільки лінійна комбінація будь-якої кількості ваг знову лінійна.

Що насправді робить нейронну сітку нелінійною моделлю класифікації?
Як функція активації вплине на нелінійність моделі?
Ви можете мені пояснити?

Я думаю, ви забули функцію активації у вузлах нейронної мережі, яка нелінійна і зробить всю модель нелінійною.

У вашій формулі не зовсім коректно, де,

$$h_1 \neq w_1x_1+w_2x_2$$

але

$$h_1 = \text{sigmoid}(w_1x_1+w_2x_2)$$

де сигмоїдна функція подібна до цього, $\text{sigmoid}(x)=\frac 1 {1+e^{-x}}$

Давайте скористаємося числовим прикладом для пояснення впливу сигмоїдної функції, припустимо, у вас а тоді сигмоїд ( 4 ) = 0,99 . З іншого боку, припустимо, у вас w 1 x 1 + w 2 x 2 = 4000 , сигмоїд ( 4000 ) = 1 і він майже такий самий, як сигмоїд ( 4 ) , який є нелінійним.$w_1x_1+w_2x_2=4$$\text{sigmoid}(4)=0.99$$w_1x_1+w_2x_2=4000$$\text{sigmoid}(4000)=1$$\text{sigmoid}(4)$

---

Крім того, я думаю, що слайд 14 у цьому підручнику може показати, де ти вчинив неправильно. Для будь ласка, не опут не -7,65, а сигмоїдний ( - 7,65 $H_1$$\text{sigmoid}(-7.65)$

Ви вірні, що кілька лінійних шарів можуть бути еквівалентні одному лінійному шару. Як було сказано в інших відповідях, функція нелінійної активації дозволяє класифікувати нелінійну класифікацію. Сказати, що класифікатор нелінійний, означає, що він має нелінійну межу рішення. Межа рішення - це поверхня, яка розділяє класи; класифікатор передбачить один клас для всіх точок на одній стороні межі рішення, а інший клас для всіх точок з іншого боку.

$y$$h$$w$$b$

$$y = \sigma(hw + b)$$

$\sigma$$1$$c$

$$c = \left \{ \begin{array}{cl} 0 & y \le 0.5 \\ 1 & y > 0.5 \\ \end{array} \right .$$

$hW + b$$y$

Я раніше говорив, що межа рішення нелінійна, але гіперплан - це саме визначення лінійної межі. Але ми розглядали межу як функцію прихованих одиниць безпосередньо перед виходом. Приховані активації блоку - це нелінійна функція вихідних входів за рахунок попередніх прихованих шарів та їх нелінійних функцій активації. Один із способів думати про мережу - це те, що вона нелінійно відображає дані в деякий простір функцій. Координати в цьому просторі задаються активацією останніх прихованих одиниць. Потім мережа виконує лінійну класифікацію в цьому просторі (в даному випадку логістична регресія). Ми також можемо думати про межу прийняття рішень як функцію від вихідних входів. Ця функція буде нелінійною, як наслідок нелінійного відображення від входів до прихованих активацій одиниць.

У цій публікації в блозі показано кілька приємних фігур та анімації цього процесу.

Нелінійність походить від функції сигмоїдної активації 1 / (1 + e ^ x), де x - лінійна комбінація предикторів і ваг, на яку ви посилаєтесь у своєму запитанні.

До речі, межі цієї активації дорівнюють нулю та одиниці, тому що або знаменник стає таким великим, що дріб наближається до нуля, або e ^ x стає таким малим, що частка наближається до 1/1.