Мережі глибокої віри чи машини Deep Boltzmann?

Я збентежений. Чи є різниця між мережами глибоких переконань та машинами Deep Boltzmann? Якщо так, яка різниця?

стаття у вікіпедії про мережі глибоких вірувань є досить зрозумілою, хоча було б корисним / проникливим мати більш широке уявлення про етимологію / історію термінів. в основному, мережа глибоких переконань є досить аналогічною глибокій нейронній мережі з імовірнісного pov, а машини з глибоким болтцманом - один алгоритм, що використовується для реалізації мережі глибоких вірувань. Мабуть, всі ANN мають ймовірнісні інтерпретації / моделі, але їх не так легко / безпосередньо отримати, як деякі "байєзійські / імовірністські орієнтовані" моделі "віри".

— vzn

Відповіді:

Хоча мережі глибокої віри (DBN) та машини Deep Boltzmann (DBM) схематично виглядають дуже схоже, вони насправді якісно дуже відрізняються. Це тому, що DBN спрямовані, а DBM - непрямі. Якби ми хотіли вписати їх у більш широку картину ML, ми могли б сказати, що DBN - це сигмоїдні мережі вірування з багатьма щільно пов'язаними шарами прихованих змінних, а DBM - маркові випадкові поля з безліччю щільно пов'язаних шарів прихованих змінних.

Як такі вони успадковують усі властивості цих моделей. Наприклад, у DBN-обчисленні , де - видимий шар, а - приховані змінні, легко. З іншого боку, обчислення будь-чого, як правило, обчислювально нездійсненно в СУБД через функцію нерозривного розбиття. $P(v|h)$ $v$ $h$ $P$

Як сказано, є схожість. Наприклад:

DBN та оригінальна DBM працюють як із застосуванням схем ініціалізації, заснованих на жадібному пластовому тренуванні обмежених машин Bolzmann (RBM),
Вони обидва "глибокі".
Вони обидва мають шари прихованих змінних, які щільно з'єднані із шарами зверху та знизу, але не мають внутрішньошарових з'єднань тощо.

— альт
джерело

Як DBN можуть бути сигмоїдними мережами вірування? !! Шари DBN є RBM, тому кожен шар є марковим випадковим полем!

— Джек Твен

Я думаю, що тут є помилка друку "Це тому, що СУБД спрямовані, а СУБД - непрямими". Я думаю, ти мав на увазі, що DBNs є непрямими

— Джек Твен

@AlexTwain Так, слід було прочитати "Направлені DBN". Навіть незважаючи на те, що ви можете задіяти DBN, спочатку вивчивши купу RBM, в кінці ви, як правило, розв'язуєте ваги і в кінцевому підсумку використовуєте глибоку сигмоподібну мережу переконань (спрямована). У багатьох оригінальних роботах DBN люди залишили верхній шар непрямим і потім оштрафували на щось, на кшталт неспання, і в цьому випадку у вас є гібрид.

— альт

Ви маєте на увазі під 3., що вони не мають внутрішньошарових "з'єднань (наприклад, між вузлами в прихованому шарі), а не проміжним шаром (наприклад, від входу до прихованого шару)?"

— ddiez

@ddiez Так, саме так слід читати. Дякуємо за виправлення

— альт

Обидві є імовірнісними графічними моделями, що складаються із складених шарів УЗМ. Різниця полягає в тому, як з'єднані ці шари.

Це посилання дає зрозуміти: http://jmlr.org/proceedings/papers/v5/salakhutdinov09a/salakhutdinov09a.pdf . Малюнок 2 та Розділ 3.1 особливо актуальні.

Підсумовувати:

У DBN з'єднання між шарами спрямовуються. Тому перші два шари утворюють RBM (непрямується графічна модель), потім наступні шари утворюють спрямовану генеративну модель.

У DBM з'єднання між усіма шарами є непрямим, тому кожна пара шарів утворює RBM.

— Darkensberge
джерело

тож машина з глибоким болтцманом все ще побудована з МПУ? Я засновую свій висновок на вступі та зображенні в статті

— Марін