Коли використовувати що - машинне навчання [закрито]


39

Нещодавно в класі машинного навчання від професора Оріола Пухоля з UPC / Барселона він описав найпоширеніші алгоритми, принципи та концепції, які слід використовувати для широкого кола завдань, пов'язаних з машинним навчанням. Ось я поділюсь ними з вами і прошу вас:

  • чи є якась комплексна рамка, яка відповідає завданням підходів або методів, пов'язаних з різними типами проблем, пов'язаних з машинним навчанням?

Як дізнатись простого гаусса? Ймовірність, випадкові величини, розподіли; оцінка, конвергенція та асимптотика, довірчий інтервал.

Як я дізнаюся суміш гаусів (MoG)? Ймовірність, очікування-максимізація (ЕМ); узагальнення, вибір моделі, перехресне підтвердження; k-засоби, приховані маркові моделі (HMM)

Як дізнатися будь-яку щільність? Параметрична та непараметрична оцінка, Соболєв та інші функціональні простори; l ́ 2 помилка; Оцінка щільності ядра (KDE), оптимальне ядро, теорія KDE

Як я прогнозую суцільну змінну (регресію)? Лінійна регресія, регуляризація, регресія хребта та LASSO; локальна лінійна регресія; оцінка умовної щільності.

Як передбачити дискретну змінну (класифікацію)? Класифікатор Байєса, наївний Байєс, генеративне та дискримінаційне; перцептрон, зменшення ваги, лінійна підтримуюча векторна машина; класифікатор і теорія найближчого сусіда

Яку функцію втрати я повинен використовувати? Максимальна теорія оцінки ймовірності; l -2 оцінка; Байєсова оцінка; мінімакс і теорія рішень, байєсіанство проти частотизму

Яку модель я повинен використовувати? AIC та BIC; Теорія Вапніка-Червоненського; теорія перехресної валідації; завантажувальна; Можливо, приблизно коректна теорія (PAC); Межі походження Гоффдінга

Як я можу дізнатися більш модні (комбіновані) моделі? Ансамблева теорія навчання; прискорення; мішок; укладання

Як я можу навчитися химернішим (нелінійним) моделям? Узагальнені лінійні моделі, логістична регресія; Теорема Колмогорова, узагальнені моделі добавок; кернелізація, відтворення просторів ядра Гільберта, нелінійна SVM, регресія Гауссова процесу

Як я можу навчитися химернішим (композиційним) моделям? Рекурсивні моделі, дерева рішень, ієрархічна кластеризація; нейронні мережі, поширення спини, мережі глибокої віри; графічні моделі, суміші НММ, умовні випадкові поля, максимальні граничні мережі Маркова; лінійно-лінійні моделі; граматики

Як зменшити чи відновити функції? Вибір особливостей та зменшення розмірності, обгорткові методи вибору особливостей; причинно-наслідкова кореляція, часткова кореляція, навчання структури Баєса

Як створити нові функції? аналіз основних компонентів (PCA), незалежний аналіз компонентів (ICA), багатовимірне масштабування, колективне навчання, контрольоване зменшення розмірності, метричне навчання

Як зменшити або відновити дані? Кластеризація, бі-кластеризація, обмежена кластеризація; правила асоціації та аналіз ринкових кошиків; ранжирування / порядкова регресія; аналіз зв’язку; реляційні дані

Як слід ставитися до часових рядів? ARMA; Моделі фільтрів Kalman і stat-space, фільтр для частинок; функціональний аналіз даних; виявлення точки зміни; перехресне підтвердження для часових рядів

Як я поводжусь з неідеальними даними? ковариантний зсув; дисбаланс класу; відсутні дані, неправильно відібрані дані, помилки вимірювань; виявлення аномалії, стійкість

Як оптимізувати параметри? Необмежена та обмежена / опукла оптимізація, без похідних методів, методи першого та другого порядку, підганяння; природний градієнт; пов'язана оптимізація та ЕМ

Як оптимізувати лінійні функції? обчислювальна лінійна алгебра, інверсія матриці для регресії, розклад сингулярного значення (SVD) для зменшення розмірності

Як оптимізувати обмеження? Опуклість, множники Лагранжа, умови Каруша-Куна-Таккера, методи точки в інтер'єрі, алгоритм SMO для SVM

Як я оцінюю глибоко вкладені суми? Точні умовиводи графічної моделі, варіативні межі по сумах, приблизні умовиводи графічної моделі, поширення очікування

Як я оцінюю великі суми та пошукові запити? Узагальнені проблеми з N-тілом (ВНП), ієрархічні структури даних, пошук найближчого сусіда, швидкий багаторазовий метод; Інтеграція Монте-Карло, Марківська мережа Монте-Карло, Монте-Карло SVD

Як мені лікувати ще більші проблеми? Паралельний / розподілений ЕМ, паралельний / розподілений ВНП; стохастичні субградієнтні методи, онлайн-навчання

Як все це застосувати в реальному світі? Огляд частин МЗ, вибір між методами, які слід використовувати для кожного завдання, попередні знання та припущення; дослідницький аналіз даних та візуалізація інформації; оцінка та інтерпретація, використовуючи довірчі інтервали та тест гіпотез, криві ROC; де проблеми дослідження в ML


Дійсно широкий. Я думаю, що кожне підпитання має бути окремим питанням, щоб мати змістовну відповідь.
Амір Алі Акбарі

2
Це питання можна кваліфікувати як занадто широке або не надто широке, залежно від того, як ви на нього дивитесь. Якщо питання передбачає детальний опис завдань і методів, це було б, безумовно, широким не лише для питання, але навіть для однієї книги. Однак я не думаю, що це питання передбачає таке тлумачення . Я вважаю, що це питання шукає рамки або систематику , узгоджуючи завдання з підходами чи методами ( алгоритми та концепції слід ігнорувати через проблеми деталізації). З цієї точки зору, ця відповідь не надто широка і, таким чином, є дійсною IMHO.
Олександр Блех

@AleksandrBlekh Це саме питання, яке ви згадуєте. Я редагую це для уточнення. Дякую
Хав'єрфдр

@Javierfdr: Ласкаво просимо.
Олександр Блех

@SeanOwen Я змінив головне питання. Скажіть, будь ласка, чи все ще широкий, і мені потрібно зробити це гостріше. Дякую!
Хав'єрфдр

Відповіді:


6

Я згоден з @geogaffer. Це дуже хороший список. Однак я бачу деякі проблеми із цим списком, як це сформульовано на даний момент. Наприклад, одне питання полягає в тому, що пропоновані рішення мають різний рівень деталізації - деякі з них представляють підходи , деякі - методи , інші - алгоритми , а інші - просто поняття (іншими словами, терміни в термінології доменної теми). Крім того, - і я вважаю, що це набагато важливіше вищесказаного - я думаю, що було б набагато корисніше, якби всі ці рішення у списку були організовані в рамках єдиної тематичної статистичної системи. Ця ідея надихнула, прочитавши чудову книгу Лізи Харлоу «Суть багатовимірного мислення». Отже, нещодавно я ініціював відповідне, хоч і дещо обмежене, обговорення на веб- сайті Cross StaliExchange . Не дозволяйте заголовку вас бентежити - мій натякнутий намір і сподіваюсь на створення єдиної рамки , як згадувалося вище.


Ця рамка, яку ви згадали, була б чудовою річчю! Чи написано щось подібне?
Хав'єрфдр

@Javierfdr: Нічого, про що я знаю. Проте я продовжую шукати.
Олександр Блех

@AleksandrBlekh, чим більше я думаю про це, тим більше я вважаю, що пошук статистичної бази є помилковим. Дивіться відповідь Френка Харрелла на ваше запитання, і мою відповідь на це. Але книга Гарлоу звучить дуже цікаво, і я збираюсь взяти її з бібліотеки цього тижня.
тіньтакер

1
@ssdecontrol: Я з повагою не згоден. Припускаючи, що такої рамки не існує (що, швидше за все, так і є зараз), і розуміючи, що створити її непросте завдання, я переконаний, що все-таки це можливо. Щодо відповідей, які ви згадали (я завжди їх читав), я читав і те, і інше, але вони не доводять, що створити такі рамки неможливо - просто важко, як я вже згадував. Це не те, що повинно заважати людям думати про це і навіть працювати над цим. Насолоджуйтесь книгою Харлоу.
Олександр Блех

3

Це хороший список, який охоплює багато. Я використовував деякі з цих методів з того часу, як раніше щось називали машинним навчанням, і я думаю, що ви побачите деякі з перелічених вами методів, які надходять із часу використання та виходу з нього. Якщо метод занадто довго не вподобався, може бути час для повторного перегляду. Деякі методи можуть приховувати різні назви, що випливають з різних галузей дослідження.

Одне з головних напрямків, якими я користувався ці методи, - це моделювання мінерального потенціалу, яке є геопросторовим і для того, щоб ви могли додати деякі додаткові категорії, що стосуються просторових та орієнтованих методів даних.

Якщо ви поставите своє широке запитання до конкретних полів, можливо, ви знайдете більше прикладів методів, які не є у вашому всебічному списку. Наприклад, два методи, які я бачив у мінеральному потенціалі, були ступінчастою регресією та вагою моделювання доказів. Я не статистик; можливо, вони будуть розглянуті в списку за лінійною регресією та методами Байєса.


1

Я думаю, що ваш підхід трохи відхилений.

"Яке значення розподілу Гаусса відповідає цим даним?" ніколи не є проблемою, тому "як я підходити до гаусса?" ніколи не є проблемою, яку ти насправді хочеш вирішити.

Різниця більш ніж семантична. Розглянемо питання "як я будую нові функції?" Якщо ваша мета - розробити індекс, ви можете використовувати якийсь факторний аналіз. Якщо ваша мета - просто зменшити простір функцій перед встановленням лінійної моделі, ви можете повністю пропустити крок і замість цього використовувати еластичну регресію сітки.

Кращим підходом було б скласти список актуальних завдань аналізу даних, які ви хочете вирішити . Питання типу:

Як передбачити, чи повернуться клієнти на мій веб-сайт для покупок?

Як дізнатися, скільки існує "основних" моделей покупок споживачів, і які вони?

Як побудувати індекс "мінливості" для різних предметів у своєму інтернет-магазині?

Також зараз ваш список включає величезну кількість матеріалів; набагато занадто багато, щоб "переглянути" та отримати більше, ніж розуміння на поверхневому рівні. Маючи на увазі фактичну мету, ви можете допомогти розібратися у своїх пріоритетах.


Я розумію, що ви кажете @ssdecontrol, насправді, вичерпний список вирішення типових проблем, як ви згадуєте, також може бути дуже корисним. Тепер основна відмінність між двома підходами полягає в тому, що те, що я пропоную, безпосередньо пов'язане з технічними питаннями, які ви можете задати собі, коли ви вже пробуєте альтернативи, і в цьому пункті ви вже зробили деякі припущення. Отже, якщо ви припустили що ваші особливості не є гауссовими, чи варто використовувати PCA для зменшення розмірності? Ні. Ваш підхід ширший: що використовувати для тьмяного. скорочення -> PCA, але припускають гауссові особливості. Thx
Хав'єрфдр

@Javierfdr мою думку про те, що технічні питання є відволіканням, якщо ви не маєте на увазі змістовного питання.
shadowtalker
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.