Якщо методи машинного навчання продовжують удосконалюватися, яка роль алгоритміки в майбутньому?

23

Давайте подивимось на майбутнє через 30 років. Будьмо оптимістичними та припустимо, що сфери, пов'язані з машинним навчанням, розвиваються так само швидко, як і те, що ми спостерігали за останні 10 років. Це було б чудово, але яка тоді буде роль традиційної алгоритміки в такому майбутньому?

Тут під «традиційною алгоритмом» я посилаюсь на звичайний процес, який ми дотримуємося в TCS: формалізувати чітко визначену обчислювальну задачу , розробити алгоритми вирішення проблеми та довести формальні гарантії ефективності .

Тепер, які сфери застосувань, в яких ми також повинні використовувати традиційний алгоритм проектування та аналізу в майбутньому, і малоймовірно, що будь-які досягнення машинного навчання зроблять традиційні алгоритми здебільшого неактуальними?

Спочатку це може здатися дурним питанням: Звичайно, нам потрібно буде мати можливість сортування, пошуку, індексації тощо в майбутньому! Звичайно, нам потрібно буде вміти ефективно робити перетворення Фур'є, множувати великі матриці, знаходити найкоротші шляхи, вирішувати задачі лінійної оптимізації!

Але знову ж таки, як тільки ви почнете глибше дивитися на програми, в яких ми традиційно використовуємо алгоритми, які ми розробляємо, зовсім не зрозуміло, що традиційне проектування та аналіз алгоритмів - це правильна відповідь на такі проблеми: У додатках, пов’язаних із пошуком , зазвичай нам цікаво знайти щось, що є близьким для людини в якомусь неясному погано визначеному сенсі (наприклад, семантична подібність), а не те, що є оптимальним в якомусь математичному сенсі (наприклад, мінімальна відстань редагування). У додатках, пов'язаних з плануванням маршруту, як правило, ми зацікавлені в пошуку маршрутів, які добре базуються на прикладах (наприклад, інші люди віддають перевагу), а не маршрутам, які є оптимальними в деякому математичному сенсі (наприклад, найкоротша відстань або найдешевша ціна). І як тільки у вас є якийсь розпливчастий, чітко визначений людський компонент на малюнку, можливо, нам буде краще намагатися навчити комп’ютер створювати хороші відповіді на основі прикладів, а не намагатися дозволити досліднику TCS придумати. з формальною обчислювальною проблемою, яку ми можемо вирішити за допомогою традиційного алгоритму проектування та аналізу.

Отже, які сфери застосування (бажано, реальні та прямі промислові програми), в яких абсолютно зрозуміло, що те, що ми робили в минулому в алгоритмі, також буде правильним (і єдино можливим способом) прогресу в галузі майбутнє?

Алгоритми, які використовуються як підпрограми в техніці машинного навчання, виглядають як очевидний майбутній кандидат, але це сильно залежить від конкретної методики машинного навчання, яку ми використовуємо, і, як ми бачили за останні десять років, це може швидко змінитися .

ds.algorithms soft-question machine-learning

— Юкка Суомела
джерело

2

Це, мабуть, залежить від того, чи відповідає проблема природно чистій задачі, яка може бути апроксимована в DTIME ( ) для деякого який не є ні великим, ні занадто малим, але не вважається приблизним у DTIME ( ). Якщо завдання є досить "легким" з точки зору алгоритмів, але вимагає гарантій у реальному часі, або важко, але не зрозуміло, як відмовитись від жорсткості, щоб вирішити його за допомогою позаштатних методів, то модель моделі базовий процес, запропонований машинним навчанням (та іншими статистичними методами), може бути просто найбільш практичним підходом.

n^{c}

$n^c$

c

$c$

n^{c - ε}

$n^{c-\varepsilon}$

— Андраш Саламон

4

Я скептично ставлюсь до точки зору, що підходи ексклюзивні. Чи є у нас підстави думати, що формально визначити проблеми, які вирішують алгоритми машинного навчання, не вдасться, і побудувати хороші теоретичні моделі, що аналізують їхню ефективність? Для цього можуть знадобитися кращі моделі для керованих даними алгоритмів (які я вважаю алгоритмами з високою описовою складністю), але чи є це перешкодою, яку неможливо подолати?

— Ніл Янг

6

Це питання, яке останнім часом переслідує мене, тому я радий, що ви його задали.
Однак мене менш цікавить класифікація прикладних областей, для яких машинне навчання буде домінувати в обчислювальному підході, ніж я впливаю на просування в галузі (традиційних) алгоритмів. Які дослідження "створених людиною алгоритмів" нас ще зацікавлять через 30 років? Справді, на це питання важче відповісти загалом, адже саме програма визначає, яка якість результату потрібна.

Я думаю, що алгоритми перерахування будуть перелічені серед тих, хто вижив. Продовжуватиметься тестувати всі входи до мікросхеми або провести вичерпний пошук. Об'єктна увага, тонко налаштована конструкція, необхідна для генерування кожного екземпляра об'єкта рівно (або принаймні) один раз; і підсилення будь-яких витрачених зусиль у часі (може бути експоненціальна кількість екземплярів, як функція опису об'єкта) - ці фактори скептично ставляться до того, що автоматизований процес навчання загального призначення може відповідати розумному, цільове рішення у цій галузі.

— Гара Прусс
джерело

4

Проблема з рішеннями машинного навчання полягає в тому, що не існує способу дізнатися, чи дійсно вони обчислили те, що ви хотіли.

Я очікую, що вони перейдуть у всі сфери, де неправильний результат не катастрофічний (тобто всюди, де ми зараз використовуємо евристику), або результат можна легко перевірити (проблеми пошуку, для яких ви знаєте, що рішення існує (тому що перевірка "там" немає рішення "може бути важким)).

Для решти доменів я б очікував, що алгоритми будуть формально доводитись (наприклад, використовуючи Coq / Gallina) часто зменшуючи. Сподіваємось, машинне навчання з часом зробить доведення речей у таких системах настільки ж простим, як на папері (або навіть простіше). Це навіть може дійти до того, що люди записують лише специфікацію, а алгоритм та доказ його коректності знаходять за допомогою машинного навчання. (Зверніть увагу, що сам алгоритм не використовує машинне навчання, але його та його коректність підтверджено за допомогою машинного навчання)

Тож ми можемо виявити, що ми пишемо лише допоміжних помічників, специфікацій програми та алгоритмів машинного навчання.

— xavierm02
джерело