Покроковий приклад автоматичної диференціації у зворотному режимі

Не впевнений, чи належить це питання тут, але воно тісно пов'язане з градієнтними методами оптимізації, що, здається, тут є темою. У будь-якому разі сміливо мігруйте, якщо ви думаєте, що інша спільнота має кращі знання з цієї теми.

Коротше кажучи, я шукаю покроковий приклад автоматичної диференціації у зворотному режимі . Існує не так багато літератури з цієї теми, і існуюча реалізація (як, наприклад, у TensorFlow ) важко зрозуміти, не знаючи теорії, що стоїть за нею. Таким чином, я буду дуже вдячний, якби хтось міг детально показати, що ми передаємо , як ми це обробляємо і що ми виймаємо з обчислювальної графіки.

Пару питань, з якими у мене найбільше труднощів:

насіння - навіщо вони взагалі потрібні?
правила зворотної диференціації - я знаю, як зробити диференціацію вперед, але як ми рухаємось назад? Наприклад, у прикладі з цього розділу , як ми можемо знати, що ? $\bar{w_2}=\bar{w_3}w_1$
чи працюємо ми лише з символами чи передаємо фактичні значення ? Наприклад, у тому ж прикладі є та ? $w_i$ $\bar{w_i}$

— подруга
джерело

"Ручне машинне навчання за допомогою Scikit-Learn & TensorFlow" Додаток D дає дуже гарне пояснення на мою думку. Рекомендую.

— Агустін Баррачина

Скажімо, у нас є вираз $z = x_1x_2 + \sin(x_1)$ і хочемо знайти похідні $\frac{dz}{dx_1}$ та $\frac{dz}{dx_2}$ . AD в зворотному режимі розбиває це завдання на 2 частини, а саме передні вперед і назад.

Вперед пропуск

Спочатку ми розкладаємо наш складний вираз на набір примітивних, тобто виразів, що складаються щонайбільше з одного виклику функції. Зауважте, що я також перейменую вхідні та вихідні змінні для узгодженості, хоча це не обов'язково:

ш_{1} = х_{1}

$w_1 = x_1$

ш_{2} = х_{2}

$w_2 = x_2$

ш_{3} = ш_{1} ш_{2}

$w_3 = w_1w_2$

ш_{4} = гріх (ш_{1})

$w_4 = \sin(w_1)$

ш_{5} = ш_{3} + ш_{4}

$w_5 = w_3 + w_4$

z = ш_{5}

$z = w_5$

Перевага цього подання полягає в тому, що правила диференціювання для кожного окремого виразу вже відомі. Наприклад, ми знаємо, що похідна від - , і тому . Ми будемо використовувати цей факт у зворотному проході нижче. $\sin$ $\cos$ $\frac{dw_4}{dw_1} = \cos(w_1)$

По суті, передача вперед складається з оцінки кожного з цих виразів і збереження результатів. Скажімо, наші вхідні дані: і . Тоді ми маємо: $x_1 = 2$ $x_2 = 3$

ш_{1} = х_{1} = 2

$w_1 = x_1 = 2$

ш_{2} = х_{2} = 3

$w_2 = x_2 = 3$

ш_{3} = ш_{1} ш_{2} = 6

$w_3 = w_1w_2 = 6$

ш_{4} = гріх (ш_{1}) = 0,9

$w_4 = \sin(w_1) ~= 0.9$

ш_{5} = ш_{3} + ш_{4} = 6.9

$w_5 = w_3 + w_4 = 6.9$

z = ш_{5} = 6.9

$z = w_5 = 6.9$

Зворотний прохід

Це були магічні старти, і це починається з правила ланцюга . У своїй основній формі ланцюгове правило зазначає, що якщо у вас є змінна яка залежить від яка, у свою чергу, залежить від , то: $t(u(v))$ $u$ $v$

\frac{г т}{г v} = \frac{г т}{г у} \frac{г у}{г v}

$\frac{dt}{dv} = \frac{dt}{du}\frac{du}{dv}$

або, якщо залежить від через декілька шляхів / змінних , наприклад: $t$ $v$ $u_i$

у_{1} = f (v)

$u_1 = f(v)$

у_{2} = г (v)

$u_2 = g(v)$

т = год (у_{1}, у_{2})

$t = h(u_1, u_2)$

тоді (див. доказ тут ):

\frac{г т}{г v} = \sum_{i} \frac{г т}{г у_{i}} \frac{г у_{i}}{г v}

$\frac{dt}{dv} = \sum_i \frac{dt}{du_i}\frac{du_i}{dv}$

З точки зору графіка вираження, якщо у нас є кінцевий вузол та вузли введення , а шлях від до проходить через проміжні вузли (тобто де ), ми можемо знайти похідну як $z$ $w_i$ $z$ $w_i$ $w_p$ $z = g(w_p)$ $w_p = f(w_i)$ $\frac{dz}{dw_i}$

\frac{г z}{г ш_{i}} = \sum_{p \in p а r е н т с (i)} \frac{г z}{г ш_{p}} \frac{г ш_{p}}{г ш_{i}}

$\frac{dz}{dw_i} = \sum_{p \in parents(i)} \frac{dz}{dw_p} \frac{dw_p}{dw_i}$

Іншими словами, щоб обчислити похідну змінної виведення wrt будь-яку проміжну або вхідну змінну , нам потрібно лише знати похідні її батьків і формулу для обчислення похідної від примітивного виразу . $z$ $w_i$ $w_p = f(w_i)$

Зворотний прохід починається в кінці (тобто ) і поширюється назад до всіх залежностей. Ось у нас (вираз для "насіння"): $\frac{dz}{dz}$

\frac{г z}{г z} = 1

$\frac{dz}{dz} = 1$

Це може сприйматися як "зміна призводить до абсолютно такої ж зміни в ", що цілком очевидно. $z$ $z$

Тоді ми знаємо, що і так: $z = w_5$

\frac{г z}{г ш_{5}} = 1

$\frac{dz}{dw_5} = 1$

$w_5$ лінійно залежить від та , тому і . Використовуючи правило ланцюга, ми знаходимо: $w_3$ $w_4$ $\frac{dw_5}{dw_3} = 1$ $\frac{dw_5}{dw_4} = 1$

\frac{г z}{г ш_{3}} = \frac{г z}{г ш_{5}} \frac{г ш_{5}}{г ш_{3}} = 1 \times 1 = 1

$\frac{dz}{dw_3} = \frac{dz}{dw_5} \frac{dw_5}{dw_3} = 1 \times 1 = 1$

\frac{г z}{г ш_{4}} = \frac{г z}{г ш_{5}} \frac{г ш_{5}}{г ш_{4}} = 1 \times 1 = 1

$\frac{dz}{dw_4} = \frac{dz}{dw_5} \frac{dw_5}{dw_4} = 1 \times 1 = 1$

З визначення та правил часткових похідних ми знаходимо, що . Таким чином: $w_3 = w_1w_2$ $\frac{dw_3}{dw_2} = w_1$

\frac{d z}{d w_{2}} = \frac{d z}{d w_{3}} \frac{d w_{3}}{d w_{2}} = 1 \times w_{1} = w_{1}

$\frac{dz}{dw_2} = \frac{dz}{dw_3} \frac{dw_3}{dw_2} = 1 \times w_1 = w_1$

Що, як ми вже знаємо з прямого проходу, це:

\frac{d z}{d w_{2}} = w_{1} = 2

$\frac{dz}{dw_2} = w_1 = 2$

Нарешті, робить внесок у через та . Ще раз з правил часткових похідних ми знаємо, що і . Таким чином: $w_1$ $z$ $w_3$ $w_4$ $\frac{dw_3}{dw_1} = w_2$ $\frac{dw_4}{dw_1} = \cos(w_1)$

\frac{г z}{г ш_{1}} = \frac{г z}{г ш_{3}} \frac{г ш_{3}}{г ш_{1}} + \frac{г z}{г ш_{4}} \frac{г ш_{4}}{г ш_{1}} = ш_{2} + \cos (ш_{1})

$\frac{dz}{dw_1} = \frac{dz}{dw_3} \frac{dw_3}{dw_1} + \frac{dz}{dw_4} \frac{dw_4}{dw_1} = w_2 + \cos(w_1)$

І знову, з огляду на відомі входи, ми можемо обчислити це:

\frac{г z}{г ш_{1}} = ш_{2} + \cos (ш_{1}) = 3 + \cos (2) = 2,58

$\frac{dz}{dw_1} = w_2 + \cos(w_1) = 3 + \cos(2) ~= 2.58$

Оскільки і - лише псевдоніми для та , ми отримуємо свою відповідь: $w_1$ $w_2$ $x_1$ $x_2$

\frac{г z}{г х_{1}} = 2,58

$\frac{dz}{dx_1} = 2.58$

\frac{г z}{г х_{2}} = 2

$\frac{dz}{dx_2} = 2$

І це все!

Цей опис стосується лише скалярних входів, тобто чисел, але насправді він також може бути застосований до багатовимірних масивів, таких як вектори та матриці. Дві речі, про які слід пам’ятати, розрізняючи вирази з такими об’єктами:

Похідні можуть мати набагато більшу розмірність, ніж входи або вихідні дані, наприклад, похідне від вектору wrt - це матриця, а похідне від матриці wrt - матриця - 4-мірний масив (іноді його називають тензором). У багатьох випадках такі похідні є дуже рідкими.
Кожен компонент у вихідному масиві є незалежною функцією від 1 або більше компонентів вхідних масивів. Наприклад, якщо і обидва і є векторами, ніколи не залежить від , а лише від підмножини . Зокрема, це означає, що знаходження похідної зводиться до відстеження того, як залежить від . $y = f(x)$ $x$ $y$ $y_i$ $y_j$ $x_k$ $\frac{dy_i}{dx_j}$ $y_i$ $x_j$

Сила автоматичної диференціації полягає в тому, що вона може мати справу зі складними структурами з мов програмування, таких як умови та цикли. Однак якщо все, що вам потрібно, це алгебраїчні вирази, і у вас є достатньо хороший фреймворк для роботи з символічними уявленнями, можливо побудувати повністю символічні вирази. Насправді, у цьому прикладі ми могли б створити вираз та обчислити цю похідну за будь-якими вхідними . $\frac{dz}{dw_1} = w_2 + \cos(w_1) = x_2 + \cos(x_1)$

— подруга
джерело

Дуже корисне питання / відповідь. Спасибі. Просто кричуча критика: ти, здається, рухаєшся по деревній структурі, не пояснюючи це (коли ти починаєш говорити про батьків тощо)

— MadHatter

Також не завадить з’ясувати, навіщо нам потрібно насіння.

— MadHatter

@MadHatter дякую за коментар. Я спробував перефразувати пару абзаців (ці стосуються батьків), щоб підкреслити структуру графіка. Я також додав "насіння" до тексту, хоча саме це ім'я, на мою думку, може ввести в оману: у насінні AD завжди є фіксований вираз - , а не те, що ви можете вибрати чи створити.

\frac{d z}{d z} = 1

$\frac{dz}{dz} = 1$

— подруга

Спасибі! Я помітив, коли вам потрібно встановити більше одного "насіння", як правило, один вибирає 1 і 0. Я хотів би знати чому. Я маю на увазі, один приймає "коефіцієнт" диференціальної WT, тому "1" принаймні інтуїтивно виправданий .. Але як щодо 0? А що робити, якщо треба зібрати більше 2-х насінин?

— MadHatter

Наскільки я розумію, більше одного насіння використовується тільки в передньому режимі AD. У цьому випадку ви встановлюєте насіннєве значення 1 для вхідної змінної, яку ви хочете диференціювати, і встановлюєте насіньку 0 на всі інші вхідні змінні, щоб вони не сприяли вихідному значенню. У зворотному режимі ви встановлюєте початкову змінну виводу , і зазвичай у вас є лише одна вихідна змінна. Я здогадуюсь, ви можете побудувати конвеєр AD в зворотному режимі з кількох вихідних змінних і встановити всі вони, окрім одного до 0, щоб отримати такий же ефект, як у режимі прямого перегляду, але я ніколи не досліджував цей варіант.

— подруга