Які хороші посилання щодо розуміння навчання в Інтернеті?

Зокрема, я прошу ресурси, щоб дізнатися про системи машинного навчання, які можуть оновлювати свої відповідні мережі (або аналогічні) під час роботи. Я навіть натрапив на декілька, хоча я не зміг їх зробити закладкою.

Як ви можете собі уявити, пошук в Інтернеті - це досить складна тема.

Більшість алгоритмів навчання в Інтернеті походять щонайменше з одного з цих ліній:

• перцептрон

  Сучасні перцептрони - це пасивно-агресивний алгоритм , структурований перцептрон та їх безліч різновидів.

• Винний

  Вінно був переформульований як методи експозиції градієнта , і він може бути застосований і до структурованих задач . Існують також різновиди, які безпосередньо стосуються регуляризації L1 (щоб гарантувати рідкість), наприклад SMIDAS .

• Стохастичний градієнтний спуск

  Стохастичний градієнтний спуск - це коли застосувати оптимізацію в Інтернеті до можливої ​​пакетної проблеми. Найсучасніші алгоритми - це LaSVM , Pegasos Леона Ботто , і багато алгоритмів нейронної мережі можуть бути легко навчені в цьому режимі. Дивіться навчальний посібник Theano для багатьох прикладів. Можливо, тут підходить онлайн ЕМ .

• фільтрація частинок

  Це також відоме як рао-чорно-вивірений висновок, і він дозволяє оновлювати графічну / ймовірнісну модель по мірі надходження більшої кількості даних. Деякі хороші приклади - онлайн-тематичні моделі та навчальний посібник NIPS щодо SMC .

Існують також деякі більш широкі проблеми з навчанням в Інтернеті, як -от перетворення в Інтернет-пакетне перетворення , бюджетні методи онлайн-навчання з ядрами (наприклад, цей документ , цей та цей документ ), безліч різних смаків меж узагальнення, проблем із обмеженою кількістю (а також папір SMIDAS, який я цитував вище), хеш для збереження пам'яті та багато інших питань.

Avrim Blum як приголомшливий оглядовий документ, який я рекомендував би почати з: "Онлайн-алгоритми в машинному навчанні" http://www.cs.cmu.edu/~avrim/Papers/survey.ps

Якщо ви шукаєте інформацію про теорію, що стоїть за навчанням в Інтернеті, книга Чеса-Б'янчі та Лугосі є надійною довідкою.

Є хороший підручник з ICML 2008 Йорама Зінгера та Шая Шалева Шварца з теорії та практики онлайн-навчання.

Машинне навчання - Матеріали курсу - Стенфорд http://www.stanford.edu/class/cs229/materials.html

Відео-лекції з машинного навчання та штучного інтелекту http://freescienceonline.blogspot.com/2007/07/machine-learning-and-artificial.html

Гауссові процеси для машинного навчання http://www.gaussianprocess.org/gpml/