Що таке байєсівське глибоке навчання?

Що таке байєсівське глибоке навчання і як воно пов'язане з традиційною баєсійською статистикою та традиційним глибоким навчанням?

Які основні поняття та математика задіяні? Чи можу я сказати, що це просто не параметрична байесівська статистика? Які його семінарські роботи, а також сучасні основні розробки та застосування?

PS: Байєсівське глибоке навчання привертає багато уваги, дивіться семінар NIPS.

bayesian deep-learning

— статистика
джерело

Вийшовши зі свого посилання на семінар NIPS, Yee Whye Teh виголосив виступ у NIPS на базі Бейсіанського глибокого навчання (відео: https://www.youtube.com/watch?v=LVBvJsTr3rg , слайди: http: //csml.stats. ox.ac.uk/news/2017-12-08-ywteh-breiman-lecture/). Я думаю, що в якийсь момент розмови Техе узагальнив байєсівське глибоке навчання як застосування байєсівської основи до ідей глибокого навчання (наприклад, вивчення заднього над вагами нейронної мережі) та глибокого байєсівського навчання як застосування ідей від глибокого навчання до Байєсівські рамки (як глибокі гауссові процеси або глибокі експоненціальні сім'ї). Звичайно, існують ідеї, які перетинають межу між двома поняттями, як, наприклад, варіаційні автокодери. Коли більшість людей говорять про байєсівське глибоке навчання, вони зазвичай мають на увазі будь-яке з двох, і це відображено у прийнятих роботах на семінарі, який ви пов’язали (разом із семінаром минулого року). Хоча ідеї відносяться до роботи Ніла щодо байєсівського вивчення нейронних мереж у 90-х роках (http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.446.9306&rep=rep1&type=pdf ), і з тих пір працювали, ймовірно, однією з важливіших останніх робіт буде оригінальний змінний папір для автокодування ( https://arxiv.org/pdf/1312.6114.pdf ).

— погіршення
джерело

Я б запропонував вам спочатку добре зрозуміти, що лежить в основі імовірнісної моделі в традиційній байєсівській нейронній мережі. Далі деякі терміни будуть написані жирним шрифтом . Будь ласка, спробуйте погуглити ці умови, щоб знайти більш детальну інформацію. Це лише основний огляд. Я сподіваюся, що це допомагає.

Розглянемо випадок регресії в нейронних мережах подачі і встановимо деяку позначення.

$(x_1,\dots,x_p) =: \left(z^{(0)}_1,\dots,z^{(0)}_{N_0}\right)$ $\left(z^{(\ell)}_1,\dots,z^{(\ell)}_{N_\ell}\right)$ $\ell=1,\dots,L-1$ $(y_1,\dots,y_k) =:\left(z^{(L)}_1,\dots,z^{(L)}_{N_L}\right)$

$i$ $\ell$ $w^{(\ell)}_{ij}$ $b^{(\ell)}_i$ $\ell=1,\dots,L$ $i=1\dots,N_\ell$ $j=1,\dots,N_{\ell-1}$

$g^{(\ell)}_i : \mathbb{R}^{N_{\ell-1}} \to \mathbb{R}$ $i$ $\ell$ $\ell=1,\dots,L$ $i=1\dots,N_\ell$

Найчастіше використовуваними функціями активації є логістичний , ReLU (також позитивна частина ) та танх .

$\ell=1,\dots,L$

G^{(ℓ)} : R^{N_{ℓ - 1}} \to R^{N_{ℓ}} : (z_{1}^{(ℓ - 1)}, \dots, z_{N_{ℓ - 1}}^{(ℓ - 1)}) \mapsto (z_{1}^{(ℓ)}, \dots, z_{N_{ℓ}}^{(ℓ)}),

$G^{(\ell)} : \mathbb{R}^{N_{\ell-1}} \to \mathbb{R}^{N_\ell} : \left(z^{(\ell-1)}_1,\dots,z^{(\ell-1)}_{N_{\ell-1}} \right) \mapsto \left( z^{(\ell)}_1,\dots,z^{(\ell)}_{N_\ell} \right),$

z_{i}^{(ℓ)} = g_{i}^{(ℓ)} (\sum_{j = 1}^{N_{ℓ - 1}} w_{i j}^{(ℓ)} z_{j}^{(ℓ - 1)} + b_{i}^{(ℓ)}),

$z^{(\ell)}_i = g^{(\ell)}_i\!\left( \sum_{j=1}^{N_{\ell-1}} w^{(\ell)}_{ij} z^{(\ell-1)}_j + b^{(\ell)}_i\right),$

i = 1, \dots, N_{ℓ}

$i=1,\dots,N_{\ell}$

$\theta$

θ = {w_{i j}^{(ℓ)}, b_{i}^{(ℓ)} : ℓ = 1, \dots, L; i = 1 \dots, N_{ℓ}; j = 1, \dots, N_{ℓ - 1}},

$\theta = \left\{ w^{(\ell)}_{ij},b^{(\ell)}_i : \ell=1,\dots,L \,;\, i=1\dots,N_\ell \,;\, j=1,\dots,N_{\ell-1} \right\},$

G_{θ} : R^{p} \to R^{k}

$G_\theta : \mathbb{R}^p\to\mathbb{R}^k$

G_{θ} = G^{(L)} \circ G^{(L - 1)} \circ \dots \circ G^{(1)} .

$G_\theta = G^{(L)} \circ G^{(L-1)} \circ \dots \circ G^{(1)}.$

У вищеописаному описі немає ймовірностей. Метою оригінального нейромережевого бізнесу є пристосування функції .

"Глибоке" в " Глибокому навчанні" означає існування багатьох внутрішніх шарів у нейромережах, що розглядаються.

$\{ (\mathbf{x}_i,\mathbf{y}_i) \in \mathbb{R}^p\times\mathbb{R}^k : i = 1,\dots,n \}$

\sum_{i = 1}^{n} ‖ y_{i} - G_{θ} (x_{i}) ‖^{2},

$\sum_{i=1}^n \lVert \mathbf{y}_i-G_\theta(\mathbf{x}_i) \rVert^2,$

θ

$\theta$

x^{*}

$\mathbf{x}^*$ , передбачувана відповідь - це просто , в якому є рішенням проблеми мінімізації. Золотим стандартом цієї мінімізації є зворотна розмноження, реалізована бібліотекою TensorFlow, використовуючи засоби паралелізації, наявні в сучасних GPU (для своїх проектів ознайомтеся з інтерфейсом Keras ). Крім того, зараз є апаратне забезпечення, яке інкапсулює ці завдання ( TPU ). Оскільки нейронна мережа загалом переосмислена, щоб уникнути перевиконання якоїсь форми регуляризації додається до рецепту, наприклад, підсумовуючи гребінь, як пенальті, до цільової функції, або використовуючи

G_{\hat{θ}} (x^{*})

$G_\hat{\theta}(\mathbf{x}^*)$

\hat{θ}

$\hat{\theta}$ випадання під час тренувань. Джеффрі Хінтон (він же «Глибокий навчаючи хрещеного батька») та його співробітники винайшли багато з цих речей. Історії успіху глибокого навчання є скрізь.

Ймовірності були введені в картину наприкінці 80-х - початку 90-х з пропозицією ймовірності Гаусса і простий (можливо спрощений) Гауссовий пріоритет, припускаючи апріорну незалежність усіх ваг і ухилів у мережі:

L_{x, y} (θ, σ^{2}) \propto σ^{- n} \exp (- \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} ‖ y_{i} - G_{θ} (x_{i}) ‖^{2}),

$L_{\mathbf{x},\mathbf{y}}(\theta,\sigma^2)\propto \sigma^{-n} \exp\left(-\frac{1}{2\sigma^2} \sum_{i=1}^n \lVert \mathbf{y}_i-G_\theta(\mathbf{x}_i) \rVert^2\right),$

π (θ, σ^{2}) \propto \exp (- \frac{1}{2 σ_{0}^{2}} \sum_{ℓ = 1}^{L} \sum_{i = 1}^{N_{ℓ}} ({(b_{i}^{(ℓ)})}^{2} + \sum_{j = 1}^{N_{ℓ - 1}} {(w_{i j}^{(ℓ)})}^{2})) \times π (σ^{2}) .

$\pi(\theta,\sigma^2) \propto \exp\left( -\frac{1}{2\sigma_0^2} \sum_{\ell=1}^L \sum_{i=1}^{N_\ell} \left( \left(b^{(\ell)}_i\right)^2 + \sum_{j=1}^{N_{\ell-1}} \left(w^{(\ell)}_{ij}\right)^2 \right) \right) \times \pi(\sigma^2).$

Тому граничні пріори для ваг та зміщення є нормальними розподілами з нульовою середньою та загальною дисперсією . Цю оригінальну спільну модель можна зробити набагато активнішою, а компроміс - зробити висновок складніше. $\sigma_0^2$

Байєсівське глибоке навчання стоїть перед складним завданням відбору проб із відповідного заднього розподілу. Після цього, прогнози робляться природним шляхом із заднім прогнозним розподілом , і невизначеності, пов'язані з цими прогнозами, повністю оцінюються. Святий Грааль в Байєсівському глибокому навчанні - це створення ефективного та масштабованого рішення. У цьому квесті було використано багато обчислювальних методів: відбір проб Метрополіс-Гастінгса та Гіббса , Гамільтоніанський Монте-Карло та, останнім часом, Варіаційний висновок .

Перегляньте відео конференції NIPS, щоб ознайомитись з деякими історіями успіху: http://bayesiandeeplearning.org/

— Дзен
джерело