Якщо кожен нейрон в нейронній мережі в основному є функцією логістичної регресії, чому багатошаровий краще?

Я проходжу курс DeepAI Cousera (відео 1 тиждень "Огляд нейронних мереж"), і Ендрю Нг пояснює, як кожен шар в нейронній мережі - лише чергова логістична регресія, але він не пояснює, як це робить більш точним.

Отже, у двошаровій мережі, як обчислення логістичного багаторазового використання робить її більш точною?

Використовуючи функції логістичної активації, правда, що функція, що стосується входів кожного блоку до його виходу, така сама, як і для логістичної регресії. Але це насправді не те саме, що кожен блок, що здійснює логістичну регресію. Різниця полягає в тому, що при логістичній регресії ваги та ухили вибираються такими, що вихід найкраще відповідає заданим цільовим значенням (використовуючи втрату журналу / перехресної ентропії). На противагу цьому, приховані одиниці в нейронній сітці надсилають свої вихідні дані на одиниці нижче. Немає цільового виводу для відповідності окремих прихованих одиниць. Швидше за все, ваги та ухили вибираються для мінімізації деякої об'єктивної функції, що залежить від кінцевого виходу мережі.

Замість того, щоб здійснювати логістичну регресію, може бути більше сенсу вважати кожну приховану одиницю як обчислення координати в деякому просторі функцій. З цього погляду мета прихованого шару полягає в перетворенні його входу - вхідний вектор відображається на вектор прихованих активацій шару. Ви можете подумати про це як відображення вводу в простір з розмірами, що відповідають кожному прихованому блоку.

Вихідний шар часто можна розглядати як стандартний алгоритм навчання, який працює в цьому просторі функцій. Наприклад, у класифікаційному завданні використання одиниці логістичного виведення з поперечною втратою ентропії еквівалентно виконанню логістичної регресії в просторі функцій (або багаточленної логістичної регресії, якщо використовуються виводи програмного забезпечення). У регресійній задачі використання лінійного виводу з похибкою у квадраті рівносильно виконанню найменших квадратів лінійної регресії у просторі функцій.

Навчання мережі означає вивчення функції відображення простору функцій та класифікації / регресії (у просторі функцій), які разом дають найкращі показники. Якщо припустити нелінійні приховані одиниці, збільшення ширини прихованого шару або укладання декількох прихованих шарів дозволяє отримати більш складні просторові відображення, тим самим дозволяючи підходити більш складні функції.

Один із способів побачити силу нелінійності - відзначити теорему універсального наближення .

Хоча це не дуже важливо на практиці (мова йде про можливості одношарових мереж), це говорить вам про те, що якщо ви використовуєте (довільні довгі) суми сигмоїдів, ви можете в принципі наблизити будь-яку безперервну функцію до будь-якого бажаного рівня. Якщо ви знаєте теорію Фур'є або пам’ятаєте теорему наближення Вейєрштраса, це не повинно дивуватися.

Коли в нейронній мережі існують приховані шари, ми додаємо нелінійні функції. Будь ласка, перевірте мою відповідь тут, щоб мати певний сенс.

що робить нейронні мережі нелінійною моделлю класифікації?

Зокрема, вкладена сигмоїдна функція буде більш "потужною", ніж лінійна трансформація вихідних ознак та одна сигмоїдна функція (логістична регресія.)

Ось чисельний приклад для вирішення коментарів ОП.

Припустимо, у нас є кадр даних , це матриця (10 точок даних, 3 функції.). Якщо ми хочемо мати прихованих об'єднань, то вагова матриця - матриця . Вихід для прихованого шару (вихід матричного множення ) - це кратна матриця, яка для кожної точки даних має функцій.10 × 3 7 W 3 × 7 X × W 10 × 7 $X$$10 \times 3$$7$$W$$3 \times 7$$X \times W$$10 \times 7$$7$

У стандартній логістичній регресії у нас є 1 вихід на заключному шарі. Однак з єдиною нейронною мережею прихованого шару ми можемо мати кілька проміжних значень, кожне з яких можна розглядати як вихід іншої логістичної моделі регресії, тобто ми не просто виконуємо одну і ту ж логістичну регресію знову і знову. Тоді не є великим стрибком думати, що можливо, що їх поєднання має більш виражальні можливості, ніж стандартна модель логістичної регресії (а також це було показано на практиці та теорії ).

Ви також згадуєте в коментарях про те, як ці вузли мають різні значення в одному шарі, якщо вони мають однакові входи? Це тому, що вони повинні мати різну вагу. Кожен вузол нейронної мережі приймає входів і видає значення де - обрана функція, в у нашому випадку сигмоїда, - ваги, - входи, а - деякий зміщення. Ваги вибираютьсяy j = f ( N ∑ i = 1 w j i ⋅ x i + b j ) f w j i x i b $N$$\displaystyle y_j = f\left(\sum_{i = 1}^N w_{ji} \cdot x_i + b_j\right)$$f$$w_{ji}$$x_i$$b_j$алгоритмом оптимізації для оптимізації нашої мети, наприклад мінімізувати помилки класифікації. Ініціалізація дуже важлива для алгоритмів спуску градієнта, які зазвичай використовуються для оптимізації ваг. Див. Https://intoli.com/blog/neural-network-initialization/, якщо якщо всі ваги починаються з 0, мережа не може вивчити.