Які переваги використання байєсівської нейронної мережі

12

Нещодавно я прочитав деякі статті про нейромережу Байєса (BNN) [Neal, 1992] , [Neal, 2012] , що дає ймовірне співвідношення між входом і виходом у нейронній мережі. Навчання такої нейронної мережі здійснюється за допомогою MCMC, який відрізняється від традиційного алгоритму поширення зворотного зв'язку.

Моє запитання: Яка перевага використання такої нейронної мережі? Більш конкретно, ви могли б навести кілька прикладів, які краще підходять до BNN, а не до NN?

bayesian neural-networks bayesian-network

— fishiwhj
джерело

9

Байєсові нейронні сітки корисні для вирішення проблем у областях, де даних не вистачає, як спосіб запобігти перевитраті. Вони часто перемагають всі інші методи в таких ситуаціях. Прикладом застосувань є молекулярна біологія ( наприклад, ця стаття ) та медична діагностика (сфери, де дані часто походять від дорогої та складної роботи в майбутньому). Насправді байєсівські мережі є універсально корисними і можуть отримати кращі результати для великої кількості завдань, але їх надзвичайно важко масштабувати до великих проблем.

— Денис Тарасов
джерело

2

Чи можете ви розширити, чому байєсівські мережі важко масштабувати?

— Елліс Валентинер

6

Одна з переваг BNN перед NN полягає в тому, що ви можете автоматично обчислити помилку, пов’язану з вашими прогнозами, під час роботи з даними невідомих цілей. З BNN ми зараз робимо байєсівські умовиводи. Давайте визначимо наше прогнозування BNN як , де - функція NN, - ваші входи , - параметри NN, а x, t - навчальні входи та цілі. Це має бути сумісним із синтаксисом, який використовує Ніл у посиланнях, наданих @forecaster. Тоді ми можемо обчислити стандартне відхилення заднього прогнозного розподілу, яке я б наївно використовував як точність передбачення: $\bar{f}(x′|x,t)=∫f(x′,ω)p(ω|x,t)dω$ $f$ $x'$ $ω$ $\sigma(x′)=\sqrt{∫[f(x′,ω)−\bar{f}(x′|x,t)]^2p(ω|x,t)dω}$

— Мішель К
джерело

1

Це цікаве доповнення до розмови, але воно дещо коротке за нашими мірками. Чи можете ви трохи розробити та, можливо, включити посилання?

— Sycorax каже, що повернеться до Моніки

Звичайно. З BNN ми зараз робимо байєсівські умовиводи. Давайте визначимо наше передбачення BNN як , де f - NN функція, x '- ваші входи, - параметри NN, а - навчальні входи та цілі. Це має бути сумісним із синтаксисом, який використовує Ніл у посиланнях, наданих @forecaster. Тоді ми можемо обчислити стандартне відхилення заднього прогнозного розподілу, яке я би наївно використовував як точність прогнозу:

\bar{f} (x^{'} | x, t) = \int f (x^{'}, ω) p (ω | x, t) d ω

$\bar{f}(x'|x,t) = \int{f(x',\omega)p(\omega|x,t) d\omega}$

ω

$\omega$

x, t

$x,t$

σ (x^{'}) = \sqrt{(} \int [f (x^{'}, ω) - \bar{f} (x^{'} | x, t)]^{2} p (ω | x, t) d ω)

$\sigma(x') = \sqrt(\int{[f(x',\omega)-\bar{f}(x'|x,t)]^2p(\omega|x,t) d\omega})$

— Мішель К

Будь ласка, відредагуйте це у своїй відповіді.

— Sycorax каже, що повернеться до Моніки