У мене складається враження, що коли люди посилаються на мережу "глибокої віри", що це в основному нейронна мережа, але дуже велика. Це правильно чи чи мережа глибоких переконань також означає, що алгоритм сам по собі відрізняється (тобто немає нейронної мережі вперед, але, можливо, щось із петлями зворотного зв'язку)?
Відповіді:
"Нейронні мережі" - це термін, який зазвичай використовується для позначення прямих нейронних мереж. Глибокі нейронні мережі - це спрямовані нейронні мережі з багатьма шарами.
Мережа глибоких переконань не є такою ж, як глибока нейронна мережа.
Як ви вже зазначали, мережа з глибокою вірою має непрямі зв'язки між деякими шарами. Це означає, що топологія DNN та DBN відрізняється за визначенням.
Ненаправлені шари в DBN називаються обмеженими машинами Больцмана. Цей рівень може бути навчений за допомогою непідконтрольного алгоритму навчання (Contrastive Divergence), який дуже швидко (Ось посилання ! З деталями).
Ще кілька коментарів:
Розчини, отримані з більш глибокими нейронними мережами, відповідають рішенням, які діють гірше, ніж рішення, отримані для мереж з 1 або 2 прихованими шарами. По мірі поглиблення архітектури стає складніше отримати хороше узагальнення за допомогою Deep NN.
У 2006 році Хінтон виявив, що набагато кращих результатів можна досягти в більш глибоких архітектурах, коли кожен шар (БДМ) попередньо тренується за допомогою непідконтрольного алгоритму навчання (Contrastive Divergence). Тоді Мережу можна навчати під наглядом, використовуючи зворотне розповсюдження з метою «тонкої настройки» ваг.
" Глибока нейронна мережа - це штучна нейронна мережа, що передається вперед, яка має більше одного шару прихованих одиниць між входами та виходами. Кожен прихований блок, , як правило, використовує логістичну функцію для відображення загального вводу з рівня нижче , , до скалярного стану, який він надсилає до шару вище (посилання (1)) ".
Це зазначає, як згадував Девід: " Мережі з глибокою вірою мають непрямий зв'язок між двома верхніми шарами, як у ШВМ ", що на відміну від стандартних нейронних мереж, що передаються вперед. Загалом, головне питання ДНЗ стосується його підготовки, яка, безумовно, більше задіяна, ніж одношаровий NN. (Я не працюю над NN, це просто сталося, я читав статті нещодавно.)
Довідка: 1. Глибокі нейронні мережі для акустичного моделювання в розпізнаванні мови : Джеффрі Хінтон, Лі Денг, Донг Ю, Джордж Дал, Абдель-Рахман Мохамед, Навдейп Джайліт, Ендрю Старший, Вінсент Ваноукке, Патрік Нгуен, Тара Сайнат, та Брайан Кінгсбері в журналі обробки сигналів IEEE [82] листопада 2012 ( посилання на оригінальний папір у MSR )
Радий побачити коментарі Алекса тут. Я пояснював людям, що DL - це типова Нейронна мережа. У схемі навчання немає різниці. Попередній ANN, написаний в c (70s), має можливість встановити кілька прихованих шарів. Насправді я перевірив, чи більше прихованих шарів покращує точність. Кількість шарів не відрізняє DL від ANN.
Я ненавиджу такі маркетингові умови. Зараз у нас так багато фахівців з DL, які не знають, що DL насправді є АНН. Оскільки маркетинг настільки хороший і сильний, люди вважають, що ми багато просунулися в галузі машинного навчання. Але, нічого нового!