Основи глибокого вивчення

Я шукаю документ, в якому детально описуються основи глибокого навчання. Ідеально подобається курс Ендрю Нґ для глибокого навчання. Ви знаєте, де я це можу знайти?

Це посилання містить дивовижну кількість глибокої літератури. Підсумовуючи це тут (йде в порядку, який починає в ідеалі) - ПРИМІТКА: Усі ці ресурси в основному використовують пітон.

1) Перш за все, необхідні базові знання машинного навчання. Я вважав, що навчання Caltech з даних є ідеальним для всіх курсів машинного навчання, наявних в мережі.

Курс Ендрю Нґ також дуже хороший.

2) Для Нейронних мереж ніхто не пояснює це краще, ніж доктор Патрік Вінстон . Завдання повинні бути апробовані для кращого розуміння. Вони в пітоні.

3) Для кращого розуміння нейронних мереж слід пройти курс Майкла Нільсена (як запропонував Олексій). Це досить просто, але це працює.

4) Для глибоких нейронних мереж та швидшої їх реалізації на графічних процесорах доступні декілька фреймворків, таких як Theano , Caffe , Pybrain , Torch тощо. З них Theano забезпечує кращу функціональність низького рівня, що дозволяє його користувачеві створювати власні мережеві мережі. Це бібліотека пітонів, тому можливість використовувати numpy, scikit-learn, matplotlib, scipy разом з ним - великий плюс. Навчальний посібник з глибокого вивчення, написаний Лізою Лабораторією, слід випробувати для кращого розуміння теано.

5) Для конволюційних нейронних мереж дотримуйтесь підручника Андрея карпатії .

6) Для навчання без нагляду слідкуйте тут і тут .

7) Для перетину глибокого навчання та НЛП слідкуйте за класом Річарда Сочера .

8) Для LSTM читайте Hochreiter, S., & Schmidhuber, J. (1997). Довга короткочасна пам'ять. Нейрові обчислення, 9 (8), 1735-1780 та Грейвз, Алекс. Контрольоване маркування послідовностей з періодичними нейронними мережами. Вип. 385. Спрингер, 2012 .

Ось код Theano LSTM .

Тема нова, тому більша частина мудрості розкидана в документах, але ось дві останні книги:

• Глибоке навчання , Йошуа Бенджо, Ян Дж. Гудфллоу, Аарон Курвіль.
• Глибоке навчання: методи та застосування , Лі Ден і Донг Ю.

І кілька практичних матеріалів: http://deeplearning.net/tutorial/

• ACL 2012 + NAACL 2013 Підручник: Поглиблене навчання для NLP (без магії)

Нейронні мережі та глибоке навчання Майкла Нільсена. Книга ще триває, але вона виглядає досить цікавою та перспективною. І це безкоштовно! Ось посилання: http://neuralnetworksanddeeplearning.com/

Наразі всього 5 глав, і більшість з них розповідає про звичайні нейронні мережі, але все-таки варто подивитися.

Оновлення: книга закінчена!

Основні посилання:

Курси з глибокого навчання:

• Курс Ендрю Нґ з машинного навчання має чудовий вступний розділ про нейронні мережі.
• Курс Джеффрі Хінтона: Нейронні мережі Coursera для машинного навчання (осінь 2012)
• Безкоштовна книга Майкла Нільсена " Нейронні мережі та глибоке навчання"
• Йошуа Бенджо, Ян Гудфеллоу та Аарон Курвіль написали книгу про глибоке навчання
• Курс Уго Ларошелла (відео + слайди) в Університеті де Шербрук
• Підручник Стенфорда (Ендрю Нґ та ін.) Про непідконтрольне функціонуванню та глибокому навчанню
• Курс ML Оксфорд 2014-2015
• Курс глибокого навчання NVIDIA (літо 2015)
• Курс глибокого навчання Google з Udacity (січень 2016 р.)

НЛП-орієнтована:

• Stanford CS224d: Поглиблене навчання природній мові (весна 2015 року) Річарда Сочера
• Підручник, наданий на NAACL HLT 2013: Поглиблене навчання природній мові (без магії) (відео + слайди)

Зорово орієнтоване:

• CS231n конвертувальні нейронні мережі для візуального розпізнавання Андрія Карпаті (попередня версія, коротша та менш відполірована: посібник Хекера по нейронних мережах ).

Підручники, орієнтовані на інструментарій:

• DL4J (Java): http://deeplearning4j.org/documentation.html
• Теано (Python, Y. Bengio): http://deeplearning.net/
• Машинне навчання за допомогою Torch7 (Lua, LeCun): http://code.madbits.com/wiki/doku.php
• Глибоке навчання H2O (Java): http://0xdata.com/product/deep-learning/
• Кава (C ++, UCB): http://caffe.berkeleyvision.org/
• Курс глибокого навчання Нервани

Існує також нещодавня докторська дисертація Річарда Сочера про перетин NLP та глибокого навчання: рекурсивне поглиблене навчання для обробки природних мов та комп'ютерного зору

Для розуміння виведення алгоритму розповсюдження зворотного зв'язку я пропоную відео на Ryan Harris youtube, яке є менш грізним. Ви також можете знайти друге відео.