Нещодавно в класі машинного навчання від професора Оріола Пухоля з UPC / Барселона він описав найпоширеніші алгоритми, принципи та концепції, які слід використовувати для широкого кола завдань, пов'язаних з машинним навчанням. Ось я поділюсь ними з вами і прошу вас:
- чи є якась комплексна рамка, яка відповідає завданням підходів або методів, пов'язаних з різними типами проблем, пов'язаних з машинним навчанням?
Як дізнатись простого гаусса? Ймовірність, випадкові величини, розподіли; оцінка, конвергенція та асимптотика, довірчий інтервал.
Як я дізнаюся суміш гаусів (MoG)? Ймовірність, очікування-максимізація (ЕМ); узагальнення, вибір моделі, перехресне підтвердження; k-засоби, приховані маркові моделі (HMM)
Як дізнатися будь-яку щільність? Параметрична та непараметрична оцінка, Соболєв та інші функціональні простори; l ́ 2 помилка; Оцінка щільності ядра (KDE), оптимальне ядро, теорія KDE
Як я прогнозую суцільну змінну (регресію)? Лінійна регресія, регуляризація, регресія хребта та LASSO; локальна лінійна регресія; оцінка умовної щільності.
Як передбачити дискретну змінну (класифікацію)? Класифікатор Байєса, наївний Байєс, генеративне та дискримінаційне; перцептрон, зменшення ваги, лінійна підтримуюча векторна машина; класифікатор і теорія найближчого сусіда
Яку функцію втрати я повинен використовувати? Максимальна теорія оцінки ймовірності; l -2 оцінка; Байєсова оцінка; мінімакс і теорія рішень, байєсіанство проти частотизму
Яку модель я повинен використовувати? AIC та BIC; Теорія Вапніка-Червоненського; теорія перехресної валідації; завантажувальна; Можливо, приблизно коректна теорія (PAC); Межі походження Гоффдінга
Як я можу дізнатися більш модні (комбіновані) моделі? Ансамблева теорія навчання; прискорення; мішок; укладання
Як я можу навчитися химернішим (нелінійним) моделям? Узагальнені лінійні моделі, логістична регресія; Теорема Колмогорова, узагальнені моделі добавок; кернелізація, відтворення просторів ядра Гільберта, нелінійна SVM, регресія Гауссова процесу
Як я можу навчитися химернішим (композиційним) моделям? Рекурсивні моделі, дерева рішень, ієрархічна кластеризація; нейронні мережі, поширення спини, мережі глибокої віри; графічні моделі, суміші НММ, умовні випадкові поля, максимальні граничні мережі Маркова; лінійно-лінійні моделі; граматики
Як зменшити чи відновити функції? Вибір особливостей та зменшення розмірності, обгорткові методи вибору особливостей; причинно-наслідкова кореляція, часткова кореляція, навчання структури Баєса
Як створити нові функції? аналіз основних компонентів (PCA), незалежний аналіз компонентів (ICA), багатовимірне масштабування, колективне навчання, контрольоване зменшення розмірності, метричне навчання
Як зменшити або відновити дані? Кластеризація, бі-кластеризація, обмежена кластеризація; правила асоціації та аналіз ринкових кошиків; ранжирування / порядкова регресія; аналіз зв’язку; реляційні дані
Як слід ставитися до часових рядів? ARMA; Моделі фільтрів Kalman і stat-space, фільтр для частинок; функціональний аналіз даних; виявлення точки зміни; перехресне підтвердження для часових рядів
Як я поводжусь з неідеальними даними? ковариантний зсув; дисбаланс класу; відсутні дані, неправильно відібрані дані, помилки вимірювань; виявлення аномалії, стійкість
Як оптимізувати параметри? Необмежена та обмежена / опукла оптимізація, без похідних методів, методи першого та другого порядку, підганяння; природний градієнт; пов'язана оптимізація та ЕМ
Як оптимізувати лінійні функції? обчислювальна лінійна алгебра, інверсія матриці для регресії, розклад сингулярного значення (SVD) для зменшення розмірності
Як оптимізувати обмеження? Опуклість, множники Лагранжа, умови Каруша-Куна-Таккера, методи точки в інтер'єрі, алгоритм SMO для SVM
Як я оцінюю глибоко вкладені суми? Точні умовиводи графічної моделі, варіативні межі по сумах, приблизні умовиводи графічної моделі, поширення очікування
Як я оцінюю великі суми та пошукові запити? Узагальнені проблеми з N-тілом (ВНП), ієрархічні структури даних, пошук найближчого сусіда, швидкий багаторазовий метод; Інтеграція Монте-Карло, Марківська мережа Монте-Карло, Монте-Карло SVD
Як мені лікувати ще більші проблеми? Паралельний / розподілений ЕМ, паралельний / розподілений ВНП; стохастичні субградієнтні методи, онлайн-навчання
Як все це застосувати в реальному світі? Огляд частин МЗ, вибір між методами, які слід використовувати для кожного завдання, попередні знання та припущення; дослідницький аналіз даних та візуалізація інформації; оцінка та інтерпретація, використовуючи довірчі інтервали та тест гіпотез, криві ROC; де проблеми дослідження в ML