Чим глибока нейронна мережа відрізняється від інших нейронних мереж?

Як нейронна мережа з прикметником "глибокий" насправді відрізняється від інших подібних мереж?

— kenorb
джерело

Різниця здебільшого в кількості шарів.

Довгий час вважалося, що «1-2 прихованих шару вистачає для більшості завдань», і використовувати це більше непрактично, тому що тренування нейронних мереж може бути дуже обчислювальною.

У наш час комп'ютери здатні набагато більше, тому люди почали користуватися мережами з більшою кількістю шарів і виявили, що вони дуже добре працюють для виконання деяких завдань.

Слово "глибокий" існує просто для того, щоб відрізнити ці мережі від традиційних, "більш дрібних".

— Невдоволений Луркер
джерело

Якщо я правильно зрозумів "глибоке навчання", є деякі параметри (ваги), які пов'язані між собою, тим самим зменшуючи простір параметрів. Звичайні НН не можуть цього зробити.

— Рафаель

@Raphael, re:, some parameters (weights) that are tied together, thus reducing the parameter spaceти маєш на увазі конволюційні нейронні мережі?

— publicgk

@publicgk Це те, що я побачив, так.

— Рафаель

Я завжди чув "глибоке навчання", коли ти використовуєш дуже великі набори даних. Це помилка, і розмір даних не має значення - чи люди пов’язують глибоке навчання з величезними наборами даних, тому що саме це потрібно для навчання.

— Стівен Сагона

Я хотів би зазначити, що ця "переконання", що нейронна мережа із лише 1 прихованим шаром може обчислити будь-яку функцію, насправді доведена (див., Наприклад, neuralnetworksanddeeplearning.com/chap4.html ). Я думаю, ви б мали пояснити трохи більше, чому тоді більше 1 прихованого шару є "зручним".

— nbro

Глибока нейронна мережа - це лише нейронна мережа (подача вперед) з багатьма шарами.

Однак мережі глибоких переконань, мережі Deep Boltzman тощо не вважаються (дискусійними) глибокими нейронними мережами, оскільки їхня топологія різна (вони у своїй топології передують непрямим мережам).

Дивіться також це: /stats//a/59854/84191 .

— Світанок33
джерело