У мене з'явилася невелика плутанина щодо алгоритму зворотного розповсюдження , який використовується в багатошаровому персептроні (MLP).

Помилка коригується функцією витрат. У зворотному розмноженні ми намагаємось регулювати вагу прихованих шарів. Помилка виводу, яку я можу зрозуміти, тобто e = d - y[Без підписок].

Питання:

Як можна отримати помилку прихованого шару? Як це обчислити?
Якщо я буду розповсюджувати його, чи слід використовувати його як функцію витрат адаптивного фільтра чи слід використовувати сенсорне (у C / C ++) програмуванні сенс для оновлення ваги?

machine-learning neural-networks backpropagation

— ГІГИНІ
джерело

NN - це доволі застаріла технологія, тому я боюся, що ви не отримаєте відповіді, тому що тут ніхто їх не використовує ...

@mbq: Я не сумніваюся у ваших словах, але як ви прийшли до висновку, що NN - це "застаріла технологія"?

— steffen

@steffen Спостереженням; Я маю на увазі, очевидно, що ніхто із значущих з спільноти NN не вийде і скаже «Ей, хлопці, давайте кинемо свою життєву роботу і пограємо з чимось кращим!», Але у нас є інструменти, які досягають такої ж чи кращої точності без усієї цієї амбівалентності і ніколи -закінчення навчання. І люди взагалі відмовляються від НН на користь них.

Це мало правду, коли ти це сказав @mbq, але вже не.

— jerad

@jerad Досить просто - я просто ще не бачив справедливого порівняння з іншими методами (Kaggle - це не справедливе порівняння через відсутність інтервалів довіри для точності - особливо, коли результати всіх команд з високим балом настільки близькі як у конкурсі Merck), ні будь-який аналіз надійності оптимізації параметрів - що гірше.

Я подумав, що відповім на автономний пост для всіх, хто цікавиться. Для цього буде використано описані тут позначення .

Вступ

Ідея заднього розмноження полягає в тому, щоб мати набір "прикладів навчання", які ми використовуємо для тренування нашої мережі. Кожен із них має відому відповідь, тому ми можемо підключити їх до нейронної мережі та виявити, наскільки це було неправильно.

Наприклад, з розпізнаванням рукописного тексту у вас було б багато рукописних символів поряд із тим, якими вони були насправді. Тоді нейронну мережу можна навчити за допомогою зворотного розповсюдження, щоб "навчитися" розпізнавати кожен символ, і тоді, коли він пізніше буде представлений невідомим рукописним символом, він зможе визначити, що це правильно.

Зокрема, ми вводимо якийсь зразок тренінгу в нейронну мережу, бачимо, наскільки це було добре, потім "прокручуємося назад", щоб знайти, наскільки ми можемо змінити ваги та зміщення кожного вузла для отримання кращого результату, а потім відрегулювати їх відповідно. Поки ми продовжуємо це робити, мережа "вчиться".

Існують також інші кроки, які можуть бути включені в навчальний процес (наприклад, випадання), але я зосередитимусь переважно на зворотному розповсюдженні, оскільки саме в цьому питанні йшлося.

Часткові похідні

Часткова похідна є похідною відносно деякої змінної . $\frac{\partial f}{\partial x}$ $f$ $x$

Наприклад, якщо , , тому що просто константа щодо . Так само , тому що - просто константа відносно . $f(x, y)=x^2 + y^2$ $\frac{\partial f}{\partial x}=2x$ $y^2$ $x$ $\frac{\partial f}{\partial y}= 2y$ $x^2$ $y$

Градієнт функції, позначений , - це функція, що містить часткову похідну для кожної змінної у f. Конкретно: $\nabla f$

\nabla f (v_{1}, v_{2}, . . ., v_{n}) = \frac{\partial f}{\partial v_{1}} e_{1} + \dots + \frac{\partial f}{\partial v_{n}} e_{n}

$\nabla f(v_1, v_2, ..., v_n) = \frac{\partial f}{\partial v_1 }\mathbf{e}_1 + \cdots + \frac{\partial f}{\partial v_n }\mathbf{e}_n$ ,

де - одиничний вектор, що вказує у напрямку змінної . $e_i$ $v_1$

Тепер, коли ми обчислили для деякої функції , якщо ми знаходимось у положенні , ми можемо "ковзати вниз" , рухаючись у напрямку . $\nabla f$ $f$ $(v_1, v_2, ..., v_n)$ $f$ $-\nabla f(v_1, v_2, ..., v_n)$

З нашим прикладом , одиничними векторами є і , тому що і , і ті вектори вказують у напрямку осей і . Таким чином, . $f(x, y)=x^2 + y^2$ $e_1=(1, 0)$ $e_2=(0, 1)$ $v_1=x$ $v_2=y$ $x$ $y$ $\nabla f(x, y) = 2x (1, 0) + 2y(0, 1)$

Тепер, щоб "ковзати вниз" нашу функцію , скажімо, ми знаходимося в точці . Тоді нам потрібно би рухатись у напрямку . $f$ $(-2, 4)$ $-\nabla f(-2, -4)= -(2 \cdot -2 \cdot (1, 0) + 2 \cdot 4 \cdot (0, 1)) = -((-4, 0) + (0, 8))=(4, -8)$

Величина цього вектора дасть нам наскільки крутий пагорб (більші значення означають, що пагорб крутіший). У цьому випадку маємо . $\sqrt{4^2+(-8)^2}\approx 8.944$

Спуск градієнта

Продукт Адамара

Добуток Адамара з двох матриць подібно до додавання матриць, за винятком того, що замість того, щоб додати матриці елементарно, ми помножимо їх на елементи. $A, B \in R^{n\times m}$

Формально, в той час як додавання матриць - , де такий, що $A + B = C$ $C \in R^{n \times m}$

C_{j}^{i} = A_{j}^{i} + B_{j}^{i}

$C^i_j = A^i_j + B^i_j$ ,

Продукт Адамара , де такий, що $A \odot B = C$ $C \in R^{n \times m}$

C_{j}^{i} = A_{j}^{i} \cdot B_{j}^{i}

$C^i_j = A^i_j \cdot B^i_j$

Обчислення градієнтів

(більша частина цього розділу - з книги Нілсена ).

У нас є набір навчальних зразків , де є єдиним вхідним навчальним зразком, а - очікуваним вихідним значенням цього навчального зразка. Ми також маємо нашу нейронну мережу, що складається з пристрастей і ваги . використовується для запобігання плутанини з , та використовується у визначенні мережі подачі. $(S, E)$ $S_r$ $E_r$ $W$ $B$ $r$ $i$ $j$ $k$

Далі ми визначаємо функцію витрат яка бере нашу нейронну мережу і єдиний приклад навчання, і виводить, як добре це зробило. $C(W, B, S^r, E^r)$

Зазвичай застосовується квадратична вартість, яка визначається

C (W, B, S^{r}, E^{r}) = 0.5 \sum_{j} (a_{j}^{L} - E_{j}^{r})^{2}

$C(W, B, S^r, E^r) = 0.5\sum\limits_j (a^L_j - E^r_j)^2$

де - вихід на нашу нейронну мережу, заданий вхідний зразок $a^L$ $S^r$

Тоді ми хочемо знайти і для кожного вузла в нашій нейронній мережі подачі. $\frac{\partial C}{\partial w^i_j}$ $\frac{\partial C}{\partial b^i_j}$

Ми можемо назвати це градієнтом на кожному нейроні, оскільки вважаємо і константами, оскільки ми не можемо їх змінити, коли ми намагаємося навчитися. І це має сенс - ми хочемо рухатись у напрямку відносно і що мінімізує витрати, і переміщення в негативному напрямку градієнта щодо і зробить це. $C$ $S^r$ $E^r$ $W$ $B$ $W$ $B$

Для цього ми визначаємо як помилку нейрона у шарі . $\delta^i_j=\frac{\partial C}{\partial z^i_j}$ $j$ $i$

Почнемо з обчислення , включивши у нашу нейронну мережу. $a^L$ $S^r$

Тоді ми обчислюємо помилку нашого вихідного шару через $\delta^L$

δ_{j}^{L} = \frac{\partial C}{\partial a_{j}^{L}} σ^{'} (z_{j}^{L})

$\delta^L_j = \frac{\partial C}{\partial a^L_j} \sigma^{ \prime}(z^L_j)$ .

Що також можна записати як

δ^{L} = \nabla_{a} C ⊙ σ^{'} (z^{L})

$\delta^L = \nabla_a C \odot \sigma^{ \prime}(z^L)$ .

Далі ми знаходимо помилку з точки зору помилки в наступному шарі , через $\delta^i$ $\delta^{i+1}$

δ^{i} = ((W^{i + 1})^{T} δ^{i + 1}) ⊙ σ^{'} (z^{i})

$\delta^i=((W^{i+1})^T \delta^{i+1}) \odot \sigma^{\prime}(z^i)$

Тепер, коли ми маємо помилку кожного вузла в нашій нейронній мережі, обчислити градієнт по відношенню до наших ваг і ухилів легко:

\frac{\partial C}{\partial w_{j k}^{i}} = δ_{j}^{i} a_{k}^{i - 1} = δ^{i} (a^{i - 1})^{T}

$\frac{\partial C}{\partial w^i_{jk}}=\delta^i_j a^{i-1}_k=\delta^i(a^{i-1})^T$

\frac{\partial C}{\partial b_{j}^{i}} = δ_{j}^{i}

$\frac{\partial C}{\partial b^i_j} = \delta^i_j$

Зауважимо, що рівняння помилки вихідного шару є єдиним рівнянням, яке залежить від функції витрат, тому незалежно від функції витрат останні три рівняння однакові.

Як приклад, з квадратичною вартістю, ми отримуємо

δ^{L} = (a^{L} - E^{r}) ⊙ σ^{'} (z^{L})

$\delta ^L = (a^L - E^r) \odot \sigma ^ {\prime}(z^L)$

для помилки вихідного шару. а потім це рівняння можна підключити до другого рівняння, щоб отримати помилку шару : $L-1^{\text{th}}$

δ^{L - 1} = ((W^{L})^{T} δ^{L}) ⊙ σ^{'} (z^{L - 1})

$\delta^{L-1}=((W^{L})^T \delta^{L}) \odot \sigma^{\prime}(z^{L-1})$

= ((W^{L})^{T} ((a^{L} - E^{r}) ⊙ σ^{'} (z^{L}))) ⊙ σ^{'} (z^{L - 1})

$=((W^{L})^T ((a^L - E^r) \odot \sigma ^ {\prime}(z^L))) \odot \sigma^{\prime}(z^{L-1})$

які ми можемо повторити цей процес , щоб знайти помилку будь-якого шару щодо , який потім дозволяє обчислювати градієнт ваг і зсуву будь-якого вузла по відношенню до . $C$ $C$

Я міг би писати пояснення і доказ цих рівнянь , при бажанні, хоча можна також знайти докази їх тут . Я б закликав усіх, хто це читає, довести це самі, хоча, починаючи з визначення і застосовуючи правило ланцюга вільно. $\delta^i_j=\frac{\partial C}{\partial z^i_j}$

Для ще кілька прикладів, я зробив список деяких функцій витрат поряд з їх градієнтів тут .

Спуск градієнта

Тепер, коли у нас є ці градієнти, нам потрібно використовувати їх для вивчення. У попередньому розділі ми з'ясували, як рухатись до "ковзання" кривої відносно деякої точки. У цьому випадку, оскільки це градієнт деякого вузла щодо ваг та зміщення цього вузла, наша "координата" - це поточні ваги та зміщення цього вузла. Оскільки ми вже знайшли градієнти щодо цих координат, ці значення вже є тим, скільки нам потрібно змінити.

Ми не хочемо ковзати по схилу з дуже швидкою швидкістю, інакше ризикуємо ковзати повз мінімум. Щоб цього не допустити, ми хочемо мати деякий "крок розміру" . $\eta$

Тоді знайдіть, наскільки нам слід змінити кожну вагу і зміщення на, тому що ми вже обчислили градієнт відносно струму, який маємо

Δ w_{j k}^{i} = - η \frac{\partial C}{\partial w_{j k}^{i}}

$\Delta w^i_{jk}= -\eta \frac{\partial C}{\partial w^i_{jk}}$

Δ b_{j}^{i} = - η \frac{\partial C}{\partial b_{j}^{i}}

$\Delta b^i_j = -\eta \frac{\partial C}{\partial b^i_j}$

Таким чином, наші нові ваги та ухили є

w_{j k}^{i} = w_{j k}^{i} + Δ w_{j k}^{i}

$w^i_{jk} = w^i_{jk} + \Delta w^i_{jk}$

b_{j}^{i} = b_{j}^{i} + Δ b_{j}^{i}

$b^i_j = b^i_j + \Delta b^i_j$

Використання цього процесу в нейронній мережі з лише вхідним шаром і вихідним шаром називається правилом Delta .

Стохастичний градієнт спуск

Тепер, коли ми знаємо, як виконати розмноження для одного зразка, нам потрібен певний спосіб використання цього процесу, щоб "вивчити" весь наш навчальний набір.

Один із варіантів - просто виконати розмноження для кожного зразка в наших навчальних даних, по одному. Однак це досить неефективно.

Кращим підходом є стохастичний градієнтний спуск . Замість того, щоб проводити зворотне розмноження для кожного зразка, ми вибираємо невеликий випадковий зразок (який називається партією ) нашого навчального набору, а потім виконуємо зворотне розмноження для кожного зразка в цій партії. Сподіваємося, що, виконуючи це, ми фіксуємо "наміри" набору даних, не вичисляючи градієнта кожного зразка.

Наприклад, якщо у нас було 1000 зразків, ми могли вибрати партію розміром 50, а потім запустити зворотне розмноження для кожного зразка цієї партії. Сподіваємось, що нам було надано достатньо великий навчальний набір, що він відображає розподіл фактичних даних, які ми намагаємось засвоїти досить добре, що вибір невеликої випадкової вибірки є достатнім для збору цієї інформації.

Однак робити зворотне розповсюдження для кожного прикладу тренувань у нашій міні-партії не ідеально, тому що ми можемо в кінцевому підсумку "хитатися навколо", коли зразки тренувань змінюють ваги та зміщення таким чином, що вони скасовують один одного і не дають їм потрапити на мінімум, до якого ми намагаємося досягти.

Щоб цього не допустити, ми хочемо перейти до «середнього мінімуму», оскільки сподіваємось, що в середньому градієнти зразків спрямовані вниз по схилу. Отже, вибираючи нашу партію випадковим чином, ми створюємо міні-партію, яка є невеликою випадковою вибіркою нашої партії. Потім, даючи міні-партію з навчальних зразків, і оновлюйте ваги і зміщення лише після усереднення градієнтів кожного зразка в міні-партії. $n$

Формально ми це робимо

Δ w_{j k}^{i} = \frac{1}{n} \sum_{r} Δ w_{j k}^{r i}

$\Delta w^{i}_{jk} = \frac{1}{n}\sum\limits_r \Delta w^{ri}_{jk}$

Δ b_{j}^{i} = \frac{1}{n} \sum_{r} Δ b_{j}^{r i}

$\Delta b^{i}_{j} = \frac{1}{n}\sum\limits_r \Delta b^{ri}_{j}$

де - обчислена зміна ваги для зразка , а - обчислена зміна зміщення зразка . $\Delta w^{ri}_{jk}$ $r$ $\Delta b^{ri}_{j}$ $r$

Тоді, як і раніше, ми можемо оновлювати ваги та ухили за допомогою:

w_{j k}^{i} = w_{j k}^{i} + Δ w_{j k}^{i}

$w^i_{jk} = w^i_{jk} + \Delta w^{i}_{jk}$

b_{j}^{i} = b_{j}^{i} + Δ b_{j}^{i}

$b^i_j = b^i_j + \Delta b^{i}_{j}$

Це дає нам деяку гнучкість у тому, як ми хочемо виконувати спуск градієнта. Якщо у нас є функція, яку ми намагаємося навчитися з великою кількістю місцевих мінімумів, це поведінка "хитання навколо" насправді бажана, оскільки це означає, що ми набагато рідше "застряємо" в одному локальному мінімумі, і, швидше за все, "вискочити" з одного локального мінімуму і, сподіваємось, потрапити в інший, який ближче до глобальних мінімумів. Таким чином ми хочемо невеликі міні-партії.

З іншого боку, якщо ми знаємо, що місцевих мінімумів дуже мало, і в основному спуск градієнта йде в напрямку глобальних мінімумів, ми хочемо великих міні-партій, тому що така поведінка «хитання навколо» заважатиме нам так швидко спускатися зі схилу як хотілося б. Дивіться тут .

Один із варіантів - вибрати найбільшу можливу міні-партію, розглядаючи всю партію як одну міні-партію. Це називається Batch Gradient Descent , оскільки ми просто усереднюємо градієнти партії. Однак це практично ніколи не застосовується на практиці, оскільки це дуже неефективно.

— Філіїда
джерело

Я вже кілька років не займаюся нейронними мережами, але, думаю, ви знайдете тут все, що вам потрібно:

Нейронні мережі - систематичне вступ, глава 7: Алгоритм зворотного розповсюдження

Я прошу вибачення за те, що тут не написав прямої відповіді, але оскільки я повинен шукати деталі, щоб запам'ятати (як ви), і враховуючи, що відповідь без резервного копіювання може бути навіть марною, я сподіваюся, що це нормально. Однак якщо якісь питання залишаються, залиште коментар, і я побачу, що я можу зробити.

— steffen
джерело