Чудові алгоритми, машинне навчання та відсутність лінійної алгебри

Я викладаю передовий курс алгоритмів і хочу включити деякі теми, пов'язані з машинним навчанням, які будуть цікаві моїм студентам. Як результат, я хотів би почути думку людей щодо найбільш цікавих / найбільших алгоритмічних результатів у машинному навчанні. Потенційно складне обмеження полягає в тому, що студенти не матимуть жодних попередніх знань про лінійну алгебру чи інші основні теми машинного навчання.

Це дійсно для того, щоб хвилювати їх щодо цієї теми та дати їм знати, що ML - це потенційно захоплююча дослідницька область для експертів з алгоритмів.

EDIT: Це підсумковий курс бакалаврату (оскільки у нас в Великобританії головне не є аспірантура). Вони заздалегідь виконали принаймні один базовий алгоритм і, мабуть, добре виконали його, щоб обрати передовий наступний курс. Поточний навчальний план прогресивного курсу має такі теми, як ідеальне хешування, фільтри Блюма, дерева Ван Емде Боас, лінійний прог., Бл. алгоритми для NP-важких проблем і т. д. Я не збираюся проводити більше однієї лекції виключно на ML, але якщо щось дійсно має відношення як до курсу алгоритмів, так і до ML, то, звичайно, воно також може бути включене.

Ви можете охопити прискорення . Це дуже розумно, легко здійснити, широко використовується на практиці і не потребує особливих необхідних знань для розуміння.

Якщо ви просто хочете розкрити їх апетит в одній лекції, може бути найвигіднішим представити потужний додаток. Наприклад, підтримуючі векторні машини та інші алгоритми машинного навчання використовуються в хіміоінформатиці для виявлення наркотиків.

Проблема навчання по суті полягає в тому, що: враховуючи поведінку, яку ми хочемо проявити, хімічна речовина, розробити структуру, яка демонструє таку поведінку, виводячи її з бази даних відомих структур, що виявляють подібну (або різницю) поведінку. Проблема навчання має додаткові зморшки: новий препарат повинен бути «віддалений» у світовій структурі від відомих раніше препаратів, щоб знайти патентне майно.

Одним із джерел є методи кластеризації та їх використання в обчислювальній хімії .

K-Means і KNN дуже потужні і не вимагають ніякої лінійної алгебри, крім обчислення відстаней точок.

Друга частина "Нейронних мереж та машинного навчання" Крістофера Бішопа (в MSR) розроблена за алгоритмами в ML. Єпископські підручники зазвичай використовуються для випускників (а пізніше і для студентів) підручників і надзвичайно добре написані.

Цей алгоритм використовує графік мінімальних скорочень для класифікації великої кількості незазначених зразків, використовуючи лише невелику кількість мічених зразків.

Її недооцінка. Я пояснив це декільком випадково вибраним студентам, і вони зрозуміли це.

Літ .: Blum, A., & Chawla, S. (2001). Навчання з маркованих та не маркованих даних за допомогою графіків мінкотів.

Самореклама Візуалізація алгоритму на youtube .

Я бачу, що максимізація очікування (ЕМ) не згадується, і це, безумовно, "там" у першій вершині: http://www.cs.uvm.edu/~icdm/algorithms/10Algorithms-08.pdf .

Алгоритми зміцнення навчання (особливо Q-Learning і SARSA) досить прості для розуміння та дуже потужні для вирішення деяких проблем навчання. Вони не вимагають ніяких передових знань з лінійної алгебри, крім доказів конвергенції та швидкості конвергенції.

Ви можете використовувати добре відоме опитування Littman та ін .: http://www.cs.cmu.edu/afs/cs/project/jair/pub/volume4/kaelbling96a-html/rl-survey.html

Ви можете висвітлити деякі алгоритми, які є класичними або з доброю інтуїцією.

Наприклад, C4.5 і CART, які є класичними алгоритмами дерева рішень.

Ви також можете охопити деякі ансамблеві методи (наприклад, AdaBoost (Boosting), Bagging), які мають дуже хороші показники в реальних програмах.

Крім того, глибоке навчання - це також хороша тема, бо дуже гаряче.

Рідні байеси та байєсівські алгоритми дерева рішень досить легко уявити, ніж починати з нейтральної мережі або svm

Генетичне програмування дійсно круто. Він використовує натхнення з біології і може бути застосований до величезної кількості проблем (наприклад, проблема n-queens і TSP).

Це не вимагає глибоких математичних навичок.

EDIT: Це вимагає лише способу оцінити, наскільки хорошим є потенційне рішення. Це можна використовувати, наприклад, для відгадування правила за рядом чисел, знаходження мінімумів / максимумів для багатовимірних задач та пошуку величезних просторів параметрів. Він підходить, коли вас не цікавить оптимальне рішення, але коли достатньо хорошого рішення буде. Я вважаю, що це було використано для пошуку хороших стратегій для ігор (створення замовлень у Starcraft 2 та оптимальної гри в Маріо).