Що відбувалося до навчання PAC


9

Я досліджую навчання на ПКС (теорія обчислювального навчання) як початківець, не маючи попередніх знань машинного навчання / ШІ. Я досліджую модель переважно з історичної точки зору.

Для цього найважливішими є звичайно результати на основі моделі. Там є достатньо паперів, які підтверджують ці результати. Але я також хочу написати щось про те, що відбувалося до вивчення PAC, як замалювати історичний контекст до того, куди прийшов Валіант з поняттям моделі PAC.

Жоден папір / опитування, який я до цього часу знайшов, це не підтверджує, і як особа, яка не має реальних знань машинного навчання, важко це дізнатися. Тому я задаю тут це м'яке запитання, тому що я вважаю, що є достатньо експертів, які можуть мені допомогти у цьому. Список літератури високо оцінений.

Коли я можу дослідити та вивчити те, що відбувалося перед PAC, я можу краще зрозуміти, чому академічний світ настільки захоплений моделлю PAC, що також є цікавим для документування в моїй історичній роботі!


4
Не весь академічний світ захоплений моделлю PAC. Деякі люди в машинному навчанні насправді не люблять (особливо більш прикладні).
Yuval Filmus

Відповіді:


8

Список літератури високо оцінений.

Очікується, що автор вирішить питання про контекст та актуальність його результатів на початку публікації. Я щойно скупився над вступом "Л. Валіан. Теорія навчального. Комунікації ОСБ, 27, 1984 р." знову, і з’ясував, що Валіант справді добре висвітлив ваше питання.

Оригінал паперу від Valiant є як у вільному доступі, так і не надто складним для читання. (За винятком розділу 7, який лише доводить, що автор також може вирішувати складні математичні проблеми, але не сприяє реальному змісту статті.) Читання принаймні його вступу буде кориснішим, ніж читання моєї занадто довгої відповіді на це питання, тому я пропоную по-справжньому спробувати.


Решта цієї відповіді намагається навести деякі уривки із вступу, які мають вказувати, чи може читання цього вступу відповісти на питання про історичний контекст. Зауважте, що автор має природну прерогативу бути упередженим щодо таких питань.

... така система, принаймні, була б дуже хорошим початком. По-перше, коли вивчаються найвідоміші приклади систем, які втілюють попередньо запрограмовані знання, а саме такі експертні системи, як DENDRAL та MYCIN , по суті не використовуються логічні позначення, що виходять за рамки пропонованого числення.

Ця інформація є цікавою для контексту, оскільки числення пропозицій значно слабкіше, ніж прогнозоване числення або різні системи теорії типів, які іноді використовуються сьогодні. (Хоча як не дивно, Prolog (1972) та ML (1973) серед інших були призначені як мета-мови для "таких" експертних систем, і, здається, виходять за рамки простої логіки пропозицій, наскільки я бачу. Також, реляційна модель ( 1969) для управління базами даних стверджується, що базується на логіці предиката.)

Мабуть, головне технічне відкриття, що міститься в роботі, полягає в тому, що при такому ймовірнісному розумінні навчання висококонвергентного навчання можливе для цілих класів булевих функцій. Це, мабуть, відрізняє цей підхід від більш традиційного, коли навчання розглядається як процес "спонукання" якогось загального правила від інформації, недостатньої для достовірного виведення.

Я повністю згоден тут. Важливо вміти пояснити, як ваше рішення здатне вирішити задану проблему, і в якому сенсі це рішення. В іншому випадку ви просто закінчите теореми "без вільного обіду", які не дозволяють вам відрізнити помилкову реалізацію сумнівного евристичного від правильної реалізації відповідної евристики.

Підсумовуючи це, цей документ намагається дослідити межі того, що можна вивчити, як це дозволено алгоритмічною складністю. Результати відрізняються від різноманітного складу попередньої роботи над навчанням, оскільки вони намагаються узгодити три згадані раніше властивості ((1) - (3)). Найбільш близьким до нашого підходу є література індуктивного висновку [...]. Існує велика робота над розпізнаванням та класифікацією візерунків, використовуючи статистичні та інші інструменти [...]. Навчання в різних менш формальних сенсах широко вивчається як галузь штучного інтелекту.

Властивості ((1) - (3)) полягали в тому, що (1) "машини можуть доказувати цілі означувані класи понять", які є (2) "відповідними і нетривіальними для загальних знань" та (3) "обчислювальними Процес вимагає лише можливої ​​(тобто поліноміальної) кількості кроків ".


4

Мовна ідентифікація в межі - це перша відома спроба захоплення поняття навчальності. Він був введений Голдом у 1967 році і є моделлю для індуктивного висновку, що стосується вивчення класів мов.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.