Наскільки правдивий цей слайд про глибоке навчання, стверджуючи, що всі вдосконалення з 1980-х років лише за рахунок набагато більшої кількості даних та набагато швидших комп'ютерів?

Я слухав розмову і бачив цей слайд:

Наскільки це правда?

Я переглядав AI StackExchange і наштовхувався на дуже схоже запитання: що відрізняє «глибоке навчання» від інших нейронних мереж?

Оскільки AI StackExchange закриється завтра (знову), я скопіюю тут два найвищих відповіді (внески користувачів, ліцензовані під cc by-sa 3.0 з обов’язковою атрибуцією):

Автор: mommi84less

Дві добре цитовані статті 2006 року повернули науковий інтерес до глибокого вивчення. У "Алгоритмі швидкого навчання мереж з глибокою вірою" автори визначають мережу глибоких переконань як:

[...] щільно пов'язані мережі вірування, які мають багато прихованих шарів.

Ми знаходимо майже такий самий опис для глибоких мереж у " Жадібному пластовому навчанні глибоких мереж" :

Глибокі багатошарові нейронні мережі мають багато рівнів нелінійностей [...]

Потім у дослідницькому документі «Навчання представництву: огляд та нові перспективи» глибоке навчання використовується для охоплення всіх методик (див. Також цю бесіду ) і визначається як:

[...] побудова декількох рівнів представлення або вивчення ієрархії функцій.

Прикметник "глибокий" таким чином автори використовували вище, щоб виділити використання декількох нелінійних прихованих шарів .

Автор: лейлот

Просто для додання відповіді @ mommi84.

Глибоке навчання не обмежується нейронними мережами. Це більш широке поняття, ніж просто ДБН Hinton тощо. Поглиблене вивчення - це питання

побудова декількох рівнів представлення або вивчення ієрархії функцій.

Отже, це назва алгоритмів навчання ієрархічного представлення . Є глибокі моделі, засновані на прихованих моделях Маркова, умовних випадкових полів, підтримуючих векторних машин тощо. Єдине поширене - це те, що замість (популярної у 90-х) функціональної інженерії , де дослідники намагалися створити набір функцій, Найкраще для вирішення якоїсь проблеми класифікації - ці машини можуть виробити власне представлення із необроблених даних. Зокрема, застосовані до розпізнавання зображень (необроблені зображення), вони створюють багаторівневе представлення, що складається з пікселів, потім ліній, потім рис обличчя (якщо ми працюємо з обличчями), як ніс, очі та нарешті - узагальнені обличчя. Якщо вони застосовуються до обробки природних мов - вони будують мовну модель, яка з'єднує слова в шматки, шматки в речення тощо.

Ще один цікавий слайд:

джерело

Як вважають, випадання з Хінтона в 2006 році вважається найбільшим поліпшенням глибокого навчання за останні 10 років, оскільки це зменшує багато надмірної підготовки.

Це, безумовно, питання, яке спровокує суперечки.

Коли нейронні мережі використовуються для глибокого навчання, вони, як правило, навчаються способами, які не використовувались у 1980-х роках. Зокрема, стверджується, що стратегія, що здійснює пошук окремих шарів нейронної мережі для розпізнавання ознак на різному рівні, спрощує навчання мереж з декількома шарами. Це, безумовно, нова розробка з 1980-х.

Ключовим є слово «глибокий» у глибокому навчанні. Хто - то (забув вих) в 80 - ті роки довели , що всі нелінійні функції можуть бути апроксимувати однією одношарової нейронної мережі з, звичайно, досить велике число прихованих блоків. Я думаю, що цей результат, ймовірно, відштовхував людей від пошуку глибшої мережі в попередню епоху.

Але глибина мережі - це те, що виявилося найважливішим елементом ієрархічного представлення, що сприяє успіху багатьох сучасних застосувань.

Не точно, ANN починається в 50-х роках. Ознайомтесь із слайдами рок-шоу Yann LeCun однієї з лідерів ML для справжнього та всебічного вступу. http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf