Як працює фокус із перемаралізацією для VAE і чому він важливий?

Як працює трюк репараметеризації для варіативних автокодер (VAE)? Чи є інтуїтивне і просте пояснення без спрощення основної математики? І навіщо нам потрібен «трюк»?

Ознайомившись з слайдами майстерні NIPS 2015 Kingma , я зрозумів, що нам потрібен трюк з перемаралізацією для того, щоб розповсюджуватися через випадковий вузол.

Інтуїтивно, у первісному вигляді, VAE вибірки з випадкового вузла який наближений параметричною моделлю q ( z ∣ ϕ , x ) справжнього заднього. Backprop не може протікати через випадковий вузол.$z$$q(z \mid \phi, x)$

Введення нового параметра дозволяє нам перемежувати z таким чином, що дозволяє заднім потокам протікати через детерміновані вузли.$\epsilon$$z$

Припустимо, у нас є нормальний розподіл , параметризований θ , а саме q θ ( x ) = N ( θ , 1 ) . Ми хочемо вирішити нижченаведену задачу min $q$$\theta$$q_{\theta}(x) = N(\theta,1)$ Це, звичайно, досить нерозумна проблема, і оптимальний θ очевидний. Однак тут ми просто хочемо розібратися, як трюк репараметрізації допомагає обчислити градієнт цієї мети E q [ x 2 ] .

$$\text{min}_{\theta} \quad E_q[x^2]$$ $\theta$$E_q[x^2]$

Один із способів обчислити полягає в наступному ∇ θ E q [ x 2 ] = ∇ θ ∫ q θ ( x ) x 2 d x = ∫ x 2 ∇ θ q θ ( x ) q θ ( х $\nabla_{\theta} E_q[x^2]$

$$\nabla_{\theta} E_q[x^2] = \nabla_{\theta} \int q_{\theta}(x) x^2 dx = \int x^2 \nabla_{\theta} q_{\theta}(x) \frac{q_{\theta}(x)}{q_{\theta}(x)} dx = \int q_{\theta}(x) \nabla_{\theta} \log q_{\theta}(x) x^2 dx = E_q[x^2 \nabla_{\theta} \log q_{\theta}(x)]$$

Для нашого прикладу, де , цей метод дає ∇ θ E q [ x 2 ] = E q [ x 2 ( x - θ ) $q_{\theta}(x) = N(\theta,1)$

$$\nabla_{\theta} E_q[x^2] = E_q[x^2 (x-\theta)]$$

Трюк перепараметризації - це спосіб переписати очікування так, що розподіл, щодо якого ми приймаємо градієнт, не залежить від параметра . Для цього нам потрібно зробити стохастичний елемент у q незалежним від θ . Отже, запишемо x як x = θ + ϵ $\theta$$q$$\theta$$x$ Тоді ми можемо записати E q [ x 2 ] = E p [ ( θ + ϵ ) 2 ], де p - розподіл ϵ , тобто N ( 0 , 1 ) . Тепер ми можемо записати похідну від E q [ x 2 ] наступним чином ∇ θ E q [ x 2 ]

$$x = \theta + \epsilon, \quad \epsilon \sim N(0,1)$$ $$E_q[x^2] = E_p[(\theta+\epsilon)^2]$$ $p$$\epsilon$$N(0,1)$$E_q[x^2]$ $$\nabla_{\theta} E_q[x^2] = \nabla_{\theta} E_p[(\theta+\epsilon)^2] = E_p[2(\theta+\epsilon)]$$

Ось я написав зошит IPython, який розглядає дисперсію цих двох способів обчислення градієнтів. http://nbviewer.jupyter.org/github/gokererdogan/Notebooks/blob/master/Reparameterization%20Trick.ipynb

Розумний приклад математики "хитрості репараметеризації" наведено у відповіді Гокера, але певна мотивація може бути корисною. (У мене немає дозволів коментувати цю відповідь; тому ось окрема відповідь.)

$G_\theta$

$$G_\theta = \nabla_{\theta}E_{x\sim q_\theta}[\ldots]$$

$E_{x\sim q_\theta}[G^{est}_\theta(x)]$

$$G^{est}_\theta(x) = \ldots\frac{1}{q_\theta(x)}\nabla_{\theta}q_\theta(x) = \ldots\nabla_{\theta} \log(q_\theta(x))$$

$x$$q_\theta$$G^{est}_\theta$$G_\theta$$\theta$

$G^{est}_\theta$$G_\theta$

$G_\theta$$x$$x$$q_\theta(x)$$\frac{1}{q_\theta(x)}$$x$$G_\theta$$q_\theta$$G^{est}_\theta$$x$$q_\theta$$\theta$, що може бути далеко не оптимальним (наприклад, довільно вибране початкове значення). Це трохи нагадує історію п'яного, який шукає свої ключі біля вуличного світла (бо саме там він може бачити / пробувати), а не біля місця, де він їх скинув.

$x$$\epsilon$$p$$\theta$$G_\theta$$p$

$$G_\theta = \nabla_\theta E_{\epsilon\sim p}[J(\theta,\epsilon)] = E_{\epsilon\sim p}[ \nabla_\theta J(\theta,\epsilon)]$$ $J(\theta,\epsilon)$

$\nabla_\theta J(\theta,\epsilon)$$p$$\epsilon$$p$$\theta$$p$

$\nabla_\theta J(\theta,\epsilon)$$G_\theta$$G_\theta$$\epsilon$$p$$p$$\epsilon$$J$

Я сподіваюся, що це допомагає.

Дозвольте мені пояснити спочатку, навіщо нам потрібен трюк перепараметризації в VAE.

VAE має кодер і декодер. Дешифратор випадковим чином відбирає з справжнього заднього Z ~ q (z∣ϕ, x) . Щоб реалізувати кодер і декодер як нейронну мережу, вам потрібно здійснити зворотний зв'язок шляхом випадкової вибірки, і це проблема, тому що бекпропогація не може протікати через випадковий вузол; щоб подолати цю перешкоду, ми використовуємо хитрість репараметризації.

Тепер давайте хитрість. Оскільки наша задня частина зазвичай розподілена, ми можемо порівняти її з іншим нормальним розподілом. Ми наближаємо Z з нормально розподіленим ε .

Але наскільки це актуально?

Тепер замість того, щоб говорити, що Z відбирається з q (z∣ϕ, x) , ми можемо сказати, що Z - функція, яка приймає параметр (ε, (µ, L)), і ці µ, L надходять із верхньої нейронної мережі (кодер) . Тому, хоча зворотне поширення, нам потрібно лише часткові похідні wrt µ, L і ε , не має значення для отримання похідних.

Я вважав, що пояснення, знайдені в курсі Stanford CS228 щодо імовірнісних графічних моделей, було дуже хорошим. Його можна знайти тут: https://ermongroup.github.io/cs228-notes/extras/vae/

Я підсумував / скопіював тут важливі частини для зручності / власного розуміння (хоча настійно рекомендую просто перевірити оригінальне посилання).

$$\nabla_\phi \mathbb{E}_{z\sim q(z|x)}[f(x,z)]$$

Якщо ви знайомі з оцінками функцій балів (я вважаю, що РЕЙНФОРС - це лише особливий випадок), ви помітите, що це значною мірою проблема, яку вони вирішують. Однак оцінювач функції балів відрізняється великою дисперсією, що призводить до труднощів у навчанні моделей значної частини часу.

$q_\phi (z|x)$

$\epsilon$$p(\epsilon)$$g_\phi(\epsilon, x)$$q_\phi$

Як приклад, давайте скористаємося дуже простим q, з якого ми робимо вибірку.

$$z \sim q_{\mu, \sigma} = \mathcal{N}(\mu, \sigma)$$ $q$ $$z = g_{\mu, \sigma}(\epsilon) = \mu + \epsilon\cdot\sigma$$ $\epsilon \sim \mathcal{N}(0, 1)$

$p(\epsilon)$

$$\nabla_\phi \mathbb{E}_{z\sim q(z|x)}[f(x,z)] = \mathbb{E}_{\epsilon \sim p(\epsilon)}[\nabla_\phi f(x,g(\epsilon, x))]$$

Це має меншу дисперсію з імо, нетривіальних причин. Ознайомтесь з частиною D додатка тут, щоб отримати пояснення: https://arxiv.org/pdf/1401.4082.pdf

У нас є наша імовірнісна модель. І хочу відновити параметри моделі. Ми зводимо наше завдання до оптимізації варіативної нижньої межі (VLB). Для цього ми повинні мати можливість скласти дві речі:

• обчислити VLB
• отримати градієнт VLB

Автори пропонують використовувати Монте-Карло Оцінювач для обох. Насправді вони вводять цей трюк, щоб отримати більш точний оцінювач градієнтів Монте-Карло з VLB.

Це просто вдосконалення чисельного методу.

Трюк репараметеризації значно зменшує дисперсію оцінки МС для градієнта. Отже, це техніка зменшення дисперсії :

$$\nabla_\phi \mathbb E_{q(z^{(i)} \mid x^{(i)}; \phi)} \left[ \log p\left( x^{(i)} \mid z^{(i)}, w \right) \right]$$

$$\nabla_\phi \mathbb E_{q(z^{(i)} \mid x^{(i)}; \phi)} \left[ \log p\left( x^{(i)} \mid z^{(i)}, w \right) \right] = \mathbb E_{q(z^{(i)} \mid x^{(i)}; \phi)} \left[ \log p\left( x^{(i)} \mid z^{(i)}, w \right) \nabla_\phi \log q_\phi(z)\right]$$ $p\left( x^{(i)} \mid z^{(i)}, w \right)$$\log p\left( x^{(i)} \mid z^{(i)}, w \right)$дуже велика і саме значення негативне. Таким чином, ми мали б велику дисперсію.

$z^{(i)} = g(\epsilon^{(i)}, x^{(i)}, \phi)$

$$\nabla_\phi \mathbb E_{q(z^{(i)} \mid x^{(i)}; \phi)} \left[ \log p\left( x^{(i)} \mid z^{(i)}, w \right) \right] = \mathbb E_{p(\epsilon^{(i)})} \left[ \nabla_\phi \log p\left( x^{(i)} \mid g(\epsilon^{(i)}, x^{(i)}, \phi), w \right) \right]$$

$p(\epsilon^{(i)})$$p(\epsilon^{(i)})$$\phi$

$z^{(i)}$$z^{(i)} = g(\epsilon^{(i)}, x^{(i)}, \phi)$