Яка різниця між "глибоким навчанням" та багаторівневим / ієрархічним моделюванням?

Чи "глибоке навчання" - це ще один термін для багаторівневого / ієрархічного моделювання?

Я набагато більше знайомий з останнім, ніж з першим, але, як я можу сказати, головна відмінність полягає не в їх визначенні, а в тому, як вони використовуються та оцінюються в межах своєї області застосування.

Схоже, кількість вузлів у типовому додатку «глибокого навчання» більша і використовує загальну ієрархічну форму, тоді як додатки багаторівневого моделювання зазвичай використовують ієрархічні зв’язки, що імітують генераційний процес, який моделюється. Використання загальної ієрархії у прикладній статистиці (ієрархічне моделювання) домену розцінюватиметься як "неправильна" модель явищ, тоді як моделювання доменної ієрархії може розглядатися як підривне завдання створення загальної машини глибокого навчання.

Чи справді ці дві речі однакові машини під двома різними назвами, що використовуються двома різними способами?

Схожість

В основному обидва типи алгоритмів були розроблені, щоб відповісти на одне загальне питання в машинному навчанні:

З урахуванням прогнозів (факторів) - як включити взаємодії між цими факторами з метою підвищення продуктивності?$x_1, x_2, \ldots, x_p$

Один із способів - просто запровадити нові прогноктори: Але це виявляється поганою ідеєю через величезну кількість параметрів та дуже специфічний тип взаємодій.$x_{p+1} = x_1x_2, x_{p+2} = x_1x_3, \ldots$

І алгоритми багаторівневого моделювання, і алгоритми глибокого навчання відповідають на це питання, вводячи значно розумнішу модель взаємодій. І з цієї точки зору вони дуже схожі.

Різниця

Тепер дозвольте спробувати дати зрозуміти, у чому полягає велика концептуальна різниця між ними. Для того, щоб дати певне пояснення, давайте подивимось припущення, які ми робимо у кожній з моделей:

Багаторівневе моделювання: 1 шари, які відображають структуру даних, можуть бути представлені у вигляді Байєсової ієрархічної мережі . Ця мережа є фіксованою і зазвичай надходить із доменних додатків.$^1$

Глибоке навчання: 2 дані були створені взаємодією багатьох факторів. Структура взаємодій не відома, але може бути представлена ​​у вигляді шаруватої факторизації: взаємодії вищого рівня отримуються шляхом перетворення уявлень нижчого рівня.$^2$

Принципова відмінність походить від фрази "структура взаємодій не відома" в "Глибокому навчанні". Можна припустити деякі пріоритети щодо типу взаємодії, але все ж алгоритм визначає всі взаємодії під час процедури навчання. З іншого боку, ми повинні визначити структуру взаємодій для багаторівневого моделювання (ми дізнаємось лише змінювати параметри моделі згодом).

Приклади

$x_1, x_2, x_3$$\{x_1\}$$\{x_2, x_3\}$

$x_1 x_2$$x_1 x_3$$x_2 x_3$ . Звичайно, частково на результати впливатиме кореляція помилок, але це не так важливо для прикладу.

При глибокому вивченні, наприклад, у багатошарових машинах Больцмана з обмеженим обмеженням ( RBM ) з двома прихованими шарами та лінійною функцією активації, ми матимемо всі можливі поліноміальні взаємодії зі ступенем меншим або рівним трьох.

Загальні переваги та недоліки

Багаторівневе моделювання

(-) потрібно визначити структуру взаємодій

(+) результати зазвичай простіше інтерпретувати

(+) може застосовувати методи статистики (оцінювати інтервали довіри, перевіряти гіпотези)

Глибоке навчання

(-) вимагає величезної кількості даних для тренувань (і часу для тренування також)

(-) результати, як правило, неможливо інтерпретувати (надається у вигляді чорного поля)

(+) ніяких експертних знань не потрібно

(+) колись добре навчений, зазвичай перевершує більшість інших загальних методів (не специфічних для застосування)

Сподіваюся, це допоможе!

Незважаючи на те, що це питання / відповідь було дещо там, я вважав, що може бути корисним уточнити кілька моментів відповіді. По-перше, словосполучення, поставлене як головне розмежування між ієрархічними методами та глибокими нейронними мережами "Ця мережа виправлена". невірно. Ієрархічні методи не є більш «фіксованими», ніж альтернативні нейронні мережі. Див., Наприклад, статтю « Глибоке навчання з ієрархічним аналізом згорткового фактора», Chen et. ін.. Думаю, ви також виявите, що вимога щодо визначення взаємодій також більше не є відмінною точкою. Декілька пунктів, які не є переліченими в ієрархічному моделюванні, є, з мого досвіду, значно зменшеною проблемою переозброєння та вмінням обробляти як дуже великі, так і дуже малі навчальні набори. Справа в тому, що при застосуванні ієрархічних методів Байєса інтервали довіри та тестування гіпотез, як правило, не є статистичними методами, які застосовувалися б.