Нещодавно я прочитав « Цілком конволюційні мережі для семантичної сегментації » Джонатана Лонга, Евана Шелгамера, Тревора Даррелла. Я не розумію, що роблять "деконволюційні шари" / як вони працюють.

Відповідна частина -

3.3. Підвищення розміру - це згорнута назад реакція

Інший спосіб підключення грубих виходів до щільних пікселів - інтерполяція. Наприклад, проста білінеарна інтерполяція обчислює кожен вихід з найближчих чотирьох входів лінійною картою, яка залежить лише від відносних позицій вхідних і вихідних комірок. У певному сенсі збільшити вибір з коефіцієнтом - це згортання з дробовим вхідним кроком 1 / f. Поки є цілісним, природним способом підняти вибірку є тому зворотне згортання (іноді його називають деконволюцією) із вихідним кроком . Така операція є тривіальною для здійснення, оскільки вона просто обертає передні та зворотні проходи згортки. f f $y_{ij}$
$f$$f$$f$
Таким чином, надмірне моделювання виконується в мережі для повного вивчення шляхом зворотного розповсюдження від піксельної втрати.
Зауважте, що фільтр деконволюції в такому шарі не потрібно фіксувати (наприклад, для білінеарного перебору), але його можна вивчити. Склад шарів деконволюції та функцій активації навіть може навчитися нелінійному перебору.
У наших експериментах ми виявляємо, що оптимізація в мережі є швидкою та ефективною для вивчення щільного прогнозування. Наша найкраща архітектура сегментації використовує ці шари, щоб навчитися робити вибірку для уточненого прогнозування в Розділі 4.2.

Я не думаю, що я насправді зрозумів, як тренуються звивисті шари.

Я думаю, що я зрозумів, що конволюційні шари з розміром ядра вивчають фільтри розміром . Вихід згорткового шару з розміром ядра , stride та фільтрів має розмірність . Однак я не знаю, як працює навчання звивистих шарів. (Я розумію, як прості MLP навчаються з градієнтом, якщо це допомагає).k × k k s ∈ N n $k$$k \times k$$k$$s \in \mathbb{N}$$n$$\frac{\text{Input dim}}{s^2} \cdot n$

Тож якщо моє розуміння згорткових шарів правильне, я не маю поняття, як це можна змінити.

Чи не може хто-небудь допомогти мені зрозуміти деконволюційні шари?

Деконволюційний шар - це дуже невдала назва, і його слід назвати перенесеним згортковим шаром .

Візуально для транспонованої згортки з першим кроком і без прокладки ми просто прокладаємо початковий вхід (сині записи) нулями (білі записи) (мал. 1).

У випадку другого кроку та накладки, транспоноване згортання виглядатиме так (мал. 2):

Більше (чудових) візуалізацій згорткової арифметики ви можете знайти тут .

Я думаю, що один із способів отримати інтуїцію дійсно базового рівня за згорткою - це те, що ви переміщуєте K-фільтри, які можна вважати трафаретами K, над вхідним зображенням і виробляти активації K - кожен із них представляє ступінь відповідності певному трафарету . Зворотною дією цього було б прийняти активацію K і розгорнути їх у преймінг операції згортання. Інтуїтивне пояснення зворотної операції, таким чином, приблизно, реконструкція зображення з урахуванням трафаретів (фільтрів) та активацій (ступінь відповідності для кожного трафарету), і тому на базовому інтуїтивному рівні ми хочемо підірвати кожну активацію маскою трафарету. і додайте їх.

Іншим способом підходу до розуміння deconv було б вивчити реалізацію рівня деконволюції в Caffe, див. Такі відповідні біти коду:

DeconvolutionLayer<Dtype>::Forward_gpu
ConvolutionLayer<Dtype>::Backward_gpu
CuDNNConvolutionLayer<Dtype>::Backward_gpu
BaseConvolutionLayer<Dtype>::backward_cpu_gemm

Ви можете бачити, що він реалізований в Caffe саме як backprop для звичайного прямого згорткового шару (для мене це було більш очевидним після того, як я порівняв реалізацію backprop в шарі conD cuDNN з ConvolutionLayer :: Backward_gpu, реалізований за допомогою GEMM). Отже, якщо ви працюєте над тим, як робиться зворотне розповсюдження для регулярного згортання, ви зрозумієте, що відбувається на рівні механічних обчислень. Те, як працює цей обчислення, відповідає інтуїції, описаній у першому пункті цього розмиття.

Однак я не знаю, як працює навчання звивистих шарів. (Я розумію, як прості MLP навчаються з градієнтом, якщо це допомагає).

Щоб відповісти на ваше інше запитання всередині вашого першого питання, існують дві основні відмінності між зворотним розповсюдженням MLP (повністю пов'язаний шар) та згортковими сітками:

1) вплив ваг локалізовано, тому спочатку з’ясуйте, як зробити задню частину, скажімо, фільтр 3x3, який складається з невеликої області 3x3 вхідного зображення, відображаючи в одній точці результативного зображення.

2) ваги згорткових фільтрів поділяються для просторової інваріантності. На практиці це означає, що при передачі вперед той же фільтр 3х3 з однаковими вагами перетягується через усе зображення з однаковими вагами для обчислення вперед, щоб отримати вихідне зображення (для цього конкретного фільтра). Що означає це для backprop, це те, що градієнти backprop для кожної точки вихідного зображення підсумовуються протягом усього діапазону, який ми перетягували цей фільтр під час прямого проходу. Зауважте, що також існують різні градієнти втрат wrt x, w та зміщення, оскільки dLoss / dx потрібно повторно розповсюджувати, а dLoss / dw - як ми оновлюємо ваги. w і зміщення є незалежними входами в обчислювальній DAG (немає попередніх входів), тому немає необхідності робити зворотні розмноження на них.

(my notation here assumes that convolution is y = x*w+b where '*' is the convolution operation)

Покрокова математика пояснює, як перенесення згортки робить 2-х кращих перемог із 3x3 фільтром та кроком 2:

Найпростіший фрагмент TensorFlow для перевірки математики:

import tensorflow as tf
import numpy as np

def test_conv2d_transpose():
    # input batch shape = (1, 2, 2, 1) -> (batch_size, height, width, channels) - 2x2x1 image in batch of 1
    x = tf.constant(np.array([[
        [[1], [2]], 
        [[3], [4]]
    ]]), tf.float32)

    # shape = (3, 3, 1, 1) -> (height, width, input_channels, output_channels) - 3x3x1 filter
    f = tf.constant(np.array([
        [[[1]], [[1]], [[1]]], 
        [[[1]], [[1]], [[1]]], 
        [[[1]], [[1]], [[1]]]
    ]), tf.float32)

    conv = tf.nn.conv2d_transpose(x, f, output_shape=(1, 4, 4, 1), strides=[1, 2, 2, 1], padding='SAME')

    with tf.Session() as session:
        result = session.run(conv)

    assert (np.array([[
        [[1.0], [1.0],  [3.0], [2.0]],
        [[1.0], [1.0],  [3.0], [2.0]],
        [[4.0], [4.0], [10.0], [6.0]],
        [[3.0], [3.0],  [7.0], [4.0]]]]) == result).all()

В примітки , які супроводжують Stanford CS класу CS231n : згорткові нейронні мережі для візуального розпізнавання, Андрій Karpathy , робить відмінну роботу по поясненню згортальних нейронних мереж.

Читання цього документу повинно дати вам грубі уявлення про:

• Деконволюційні мережі Меттью Д. Зейлера, Діліпа Кришнана, Грехама Тейлора та Роб Фергюса, кафедри комп'ютерних наук, Інституту Куранта, Нью-Йоркського університету

Ці слайди чудово підходять для Деконволюційних мереж.

Щойно знайшов чудову статтю з веб-сайту Theaon на цю тему [1]:

Необхідність транспонованих згортків, як правило, виникає з прагнення використовувати перетворення, що йде в зворотному напрямку звичайної згортки, [...] для проектування мап карти на простор більш високого розміру. [...], тобто, відображати від 4-мірного простору до 16-мірного простору, зберігаючи при цьому схему сполученості згортки.

Транспоновані згортки, які також називаються частково згорнутими згортаннями, працюють шляхом заміни передніх і зворотних проходів згортки. Один із способів сказати - зазначити, що ядро ​​визначає згортку, але чи це пряма згортка, або перенесена згортка визначається тим, як обчислюються передні та зворотні проходи.

Транспоновану операцію згортання можна розглядати як градієнт деякої згортки по відношенню до її вкладу, який, як правило, реалізує транспоновані згортки на практиці.

Нарешті зауважте, що завжди можна здійснити транспоновану згортку з прямою згорткою. Недоліком є ​​те, що він зазвичай включає додавання багатьох стовпців і рядків нулів до вводу, що призводить до набагато менш ефективної реалізації.

Отже, простіше кажучи, "транспонована згортка" - це математична операція з використанням матриць (подібно до згортання), але є більш ефективною, ніж звичайна операція згортки в тому випадку, коли ви хочете повернутися з згорнутих значень у вихідні (протилежні напрямки). Ось чому в реалізації реалізовано згортання при обчисленні протилежного напрямку (тобто, щоб уникнути багатьох непотрібних множин 0, викликаних розрідженою матрицею, що виникає в результаті заміщення вводу).

Image ---> convolution ---> Result

Result ---> transposed convolution ---> "originalish Image"

Іноді ви зберігаєте деякі значення на шляху згортання і повторно використовуєте цю інформацію під час "повернення":

Result ---> transposed convolution ---> Image

Це, мабуть, причина, чому його неправильно називають "деконволюцією". Однак це має щось спільне з матрицею, що переносить згортку (C ^ T), отже, більш відповідна назва "транспонована згортка".

Тож це має багато сенсу при розгляді витрат на обчислення. Ви б заплатили набагато більше за amazon gpus, якби не використали транспоновану згортку.

Тут уважно читайте та переглядайте анімації: http://deeplearning.net/software/theano_versions/dev/tutorial/conv_arithmetic.html#no-zero-padding-unit-strides-transposed

Деякі інші відповідні читання:

Транспонування фільтра (або, загалом, гермітів або кон'югат транспозиції) фільтра - це просто відповідний фільтр [3]. Це з’ясовується шляхом обертання часом ядра та взяттям сполучених значень [2].

Я також новачок у цьому і буду вдячний за будь-які відгуки чи виправлення.

[1] http://deeplearning.net/software/theano_versions/dev/tutorial/conv_arithmetic.html

[2] http://deeplearning.net/software/theano_versions/dev/tutorial/conv_arithmetic.html#transposed-convolution-arithmetic

[3] https://en.wikipedia.org/wiki/Matched_filter

Ми могли б використовувати PCA для аналогії.

При використанні conv прямий прохід повинен витягувати коефіцієнти основних компонентів із вхідного зображення, а зворотний прохід (який оновлює вхід) повинен використовувати (градієнт) коефіцієнти для відновлення нового вхідного зображення, щоб нове вхідне зображення має коефіцієнти ПК, які краще відповідають бажаним коефіцієнтам.

При використанні deconv передній та зворотний прохід зворотні. Передача вперед намагається відновити зображення з коефіцієнтів ПК, а зворотний прохід оновляє задані коефіцієнти ПК (градієнт) зображення.

Пропуск вперед deconv робить саме обчислення градієнта conv, наведені в цій публікації: http://andrew.gibiansky.com/blog/machine-learning/convolutional-neural-networks/

Ось чому в caffe реалізації deconv (див. Відповідь Андрія Покровського), передача передачі deconv вперед передає виклики backward_cpu_gemm (), а зворотний прохід викликає forward_cpu_gemm ().

Окрім відповіді Девіда Дао: Також можна думати навпаки. Замість того, щоб зосередитись на тому, які пікселі входу (низької роздільної здатності) використовуються для отримання єдиного вихідного пікселя, ви також можете зосередитись на тому, які окремі вхідні пікселі вносять до якої області вихідних пікселів.

Це робиться в цій виданнях , що включає дистиляцію , включаючи серію дуже інтуїтивних та інтерактивних візуалізацій. Однією з переваг мислення в цьому напрямку є те, що пояснити артефакти шахових дощок стає просто.

Звити з точки зору DSP

Я трохи запізнююся на це, але все ж хотів би поділитися моєю точкою зору та своїми ідеями. Мій досвід - теоретична фізика та обробка цифрових сигналів. Зокрема, я вивчав вейвлет, і згортки майже в моєму хребті;)

Те, як люди в глибокій навчальній спільноті говорять про згортки, мене також бентежило. З моєї точки зору, те, що, здається, бракує - це належне розділення проблем. Я поясню глибокі згортки навчання, використовуючи деякі інструменти DSP.

Відмова від відповідальності

Мої пояснення будуть трохи хвилеподібними, а не математичними, щоб отримати основні моменти.

Визначення

$x_n = \{x_n\}_{n=-\infty}^{\infty} = \{\dots, x_{-1}, x_{0}, x_{1}, \dots \}$

$y_n$$x_n$

$$(y * x)_n = \sum_{k=-\infty}^{\infty} y_{n-k} x_k$$

$\mathbf{q} = (q_0,q_1,q_2)$$\mathbf{x} = (x_0, x_1, x_2, x_3)^T$

$$\mathbf{q} * \mathbf{x} = \left( \begin{array}{cccc} q_1 & q_0 & 0 & 0 \\ q_2 & q_1 & q_0 & 0 \\ 0 & q_2 & q_1 & q_0 \\ 0 & 0 & q_2 & q_1 \\ \end{array} \right) \left( \begin{array}{cccc} x_0 \\ x_1 \\ x_2 \\ x_3 \end{array} \right)$$

$\downarrow$$\uparrow$$k \in \mathbb{N}$

$$\downarrow_k\!x_n = x_{nk}$$

$k$$k-1$

$$\uparrow_k\!x_n = \left \{ \begin{array}{ll} x_{n/k} & n/k \in \mathbb{Z} \\ 0 & \text{otherwise} \end{array} \right.$$

$k=3$

$$\downarrow_3\!\{ \dots, x_0, x_1, x_2, x_3, x_4, x_5, x_6, \dots \} = \{ \dots, x_0, x_3, x_6, \dots \}$$ $$\uparrow_3\!\{ \dots, x_0, x_1, x_2, \dots \} = \{ \dots x_0, 0, 0, x_1, 0, 0, x_2, 0, 0, \dots \}$$

$k=2$

$$\downarrow_2\!x = \left( \begin{array}{cc} x_0 \\ x_2 \end{array} \right) = \left( \begin{array}{cccc} 1 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ \end{array} \right) \left( \begin{array}{cccc} x_0 \\ x_1 \\ x_2 \\ x_3 \end{array} \right)$$

і

$$\uparrow_2\!x = \left( \begin{array}{cccc} x_0 \\ 0 \\ x_1 \\ 0 \end{array} \right) = \left( \begin{array}{cc} 1 & 0 \\ 0 & 0 \\ 0 & 1 \\ 0 & 0 \\ \end{array} \right) \left( \begin{array}{cc} x_0 \\ x_1 \end{array} \right)$$

$\uparrow_k = \downarrow_k^T$

Поглиблені згортання за деталями

$\mathbf{q}$$\mathbf{x}$

• $k$$\downarrow_k\!(\mathbf{q} * \mathbf{x})$
• $k$$(\uparrow_k\!\mathbf{q}) * \mathbf{x}$
• $k$$\mathbf{q} * (\uparrow_k\!\mathbf{x})$

$$\mathbf{q} * (\uparrow_k\!\mathbf{x}) \; = \; \mathbf{q} * (\downarrow_k^T\!\mathbf{x}) \; = \; (\uparrow_k\!(\mathbf{q}*)^T)^T\mathbf{x}$$

$(\mathbf{q}*)$$\mathbf{q}$

$$\begin{align} \mathbf{q} * (\uparrow_k\!\mathbf{x}) & = \left( \begin{array}{cccc} q_1 & q_0 & 0 & 0 \\ q_2 & q_1 & q_0 & 0 \\ 0 & q_2 & q_1 & q_0 \\ 0 & 0 & q_2 & q_1 \\ \end{array} \right) \left( \begin{array}{cc} 1 & 0 \\ 0 & 0 \\ 0 & 1 \\ 0 & 0 \\ \end{array} \right) \left( \begin{array}{c} x_0\\ x_1\\ \end{array} \right) \\ & = \left( \begin{array}{cccc} q_1 & q_2 & 0 & 0 \\ q_0 & q_1 & q_2 & 0 \\ 0 & q_0 & q_1 & q_2 \\ 0 & 0 & q_0 & q_1 \\ \end{array} \right)^T \left( \begin{array}{cccc} 1 & 0 & 0 & 0\\ 0 & 0 & 1 & 0\\ \end{array} \right)^T \left( \begin{array}{c} x_0\\ x_1\\ \end{array} \right) \\ & = \left( \left( \begin{array}{cccc} 1 & 0 & 0 & 0\\ 0 & 0 & 1 & 0\\ \end{array} \right) \left( \begin{array}{cccc} q_1 & q_2 & 0 & 0 \\ q_0 & q_1 & q_2 & 0 \\ 0 & q_0 & q_1 & q_2 \\ 0 & 0 & q_0 & q_1 \\ \end{array} \right) \right)^T \left( \begin{array}{c} x_0\\ x_1\\ \end{array} \right) \\ & = (\uparrow_k\!(\mathbf{q}*)^T)^T\mathbf{x} \end{align}$$

Як бачимо, це перенесена операція, таким чином, назва.

Підключення до найближчого сусідського підсилювача

$\uparrow_2\!(1\;1) * \mathbf{x}$$\mathbf{q}$$\uparrow_2\!(1\;1) * \mathbf{q} * \mathbf{x}$$\mathbf{q}=(q_0\;q_1\;q_2)$

$$(1\;1) * \mathbf{q} = (q_0\;\;q_0\!\!+\!q_1\;\;q_1\!\!+\!q_2\;\;q_2),$$

тобто ми можемо замінити повторний підбірник з коефіцієнтом 2 і згортку з ядром розміром 3 на транспоновану згортку з розміром ядра 4. Ця транспонована згортання має ту саму "інтерполяційну здатність", але змогла б навчитися краще співставляти інтерполяції.

Висновки та заключні зауваження

Я сподіваюся, що я міг би трохи прояснити деякі звичаї, виявлені в глибокому навчанні, розділивши їх на основні операції.

Я тут не займався басейном. Але це лише нелінійний пробовідбірник, і його можна розглядати і в рамках цієї позначення.

У мене було багато проблем з розумінням того, що саме сталося в роботі, поки я не натрапив на цю публікацію в блозі: http://warmspringwinds.github.io/tensorflow/tf-slim/2016/11/22/upsampling-and-image-segmentation -з-тензорфлоу-і-тф-тонкий /

Ось короткий підсумок того, як я розумію, що відбувається в 2 рази під час перегляду:

Інформація з паперу

• Що таке побіжна вибірка?
  • "переборка з коефіцієнтом f - це згортання з дробовим вхідним кроком 1 / f"
  • → частково згорнуті згортки також відомі як перенесена згортка відповідно до, наприклад, http://deeplearning.net/software/theano/tutorial/conv_arithmetic.html
• Які параметри цієї згортки?
  • коефіцієнт f = 2
  • → вхідний крок 1 / f = 1/2
  • → розмір ядра = 2 * фактор - коефіцієнт% 2 = 2 * 2 -0 = 4 відповідно до http://warmspringwinds.github.io/tensorflow/tf-slim/2016/11/22/upsampling-and-image-segmentation -з-тензорфлоу-і-тф-тонкий /
• Чи ваги є фіксованими чи тренованими?
  • У статті зазначено, що "ми ініціалізуємо 2x перебіг у білінеарну інтерполяцію, але дозволяємо дізнатися параметри [...]".
  • Однак на відповідній сторінці github зазначено: "У наших оригінальних експериментах шари інтерполяції були ініціалізовані до білінеарних ядер, а потім вивчені. У подальших експериментах та в цій посилальній реалізації реалізація білінеарних ядер виправлена".
  • → нерухомі ваги

Простий приклад

1. уявіть собі таке вхідне зображення:

2. Дробові згорнуті згортки працюють, вставляючи між цими значеннями коефіцієнт-1 = 2-1 = 1, а потім припускаючи крок = 1 згодом. Таким чином, ви отримуєте наступне 6х6 вкладене зображення

3. Білінарний фільтр 4x4 виглядає приблизно так. Його значення вибираються такими, що використані ваги (= всі ваги не множуються із вставленим нулем) дорівнюють до 1. Його три унікальні значення - 0,56, 0,19 та 0,06. Більше того, центр фільтра за угодою відповідає пікселю в третьому ряду та третьому стовпці.

4. Застосування фільтра 4x4 на вкладеному зображенні (використовуючи padding = "той же самий" та stride = 1) дає наступне 6x6 збільшене зображення:

5. Цей вид поглинання виконується для кожного каналу окремо (див. Рядок 59 на https://github.com/shelhamer/fcn.berkeleyvision.org/blob/master/surgery.py ). Врешті-решт, розгортання 2x є справді дуже простим розміром із використанням білінеарної інтерполяції та конвенцій про те, як поводитися з кордонами. Я вважаю, що 16-ти або 32-кратний показник працює приблизно так само.

У наступному документі розглядаються деконволюційні шари.Будовий з архітектурної та навчальної точки зору. Деконволюційні мережі