З цього моменту ми починаємо класифікувати багатошарові нейронні мережі як глибокі нейронні мережі або викласти його по-іншому: "Яка мінімальна кількість шарів у глибокій нейронній мережі?"
Відповіді:
"Глибокий" - це маркетинговий термін: тому ви можете використовувати його, коли вам потрібно продати багатошарову нейронну мережу.
"Глибока"
Одна з найбільш ранніх глибоких нейронних мереж має три щільно з'єднаних прихованих шарів ( Hinton et al. (2006) ).
"Дуже глибоко"
У 2014 році "дуже глибокі" мережі VGG Сімонян та ін. (2014) складаються з 16+ прихованих шарів.
"Надзвичайно глибокий"
У 2016 році "надзвичайно глибокі" залишкові мережі Він та ін. (2016) складаються з 50 до 1000+ прихованих шарів.
Відповідно до літератури,
Шмідхубер, Дж. (2015). "Глибоке навчання в нейронних мережах: огляд". Нейронні мережі. 61: 85–117. arXiv: 1404.7828безкоштовно читати. doi: 10.1016 / j.neunet.2014.09.003.
https://en.wikipedia.org/wiki/Deep_learning
Кажуть, що
Загальновизнаний поріг поглибленого поглибленого навчання від поглибленого навчання не існує, але більшість дослідників в цій галузі погоджуються, що глибоке навчання має кілька нелінійних шарів (CAP> 2), і Шмідхубер вважає CAP> 10 дуже глибоким навчанням
Ланцюг перетворень від входу до результату - це Шлях призначення кредиту або CAP. Для нейронної мережі, що рухається, глибина CAP, а отже, і глибина мережі - це кількість прихованих шарів плюс один.