Яка різниця між навчанням і умовиводом?

Дослідження з машинного навчання часто трактують навчання та умовиводи як два окремі завдання, але мені не зовсім зрозуміло, у чому полягає відмінність. Наприклад, у цій книзі вони використовують статистику Баєса для обох видів завдань, але не дають мотивації для цього розрізнення. У мене є кілька розпливчастих ідей, про що це може бути, але я хотів би побачити чітке визначення, а можливо, також спростування чи розширення своїх ідей:

• Різниця між висновком значень прихованих змінних для певної точки даних та вивченням відповідної моделі для даних.
• Різниця між вилученням дисперсій (умовиводів) та вивченням інваріацій так, щоб можна було отримати відхилення (шляхом вивчення динаміки вхідного простору / процесу / світу).
• Невронауковою аналогією може бути короткочасна потенціація / депресія (сліди пам’яті) проти довгострокової потенціації / депресії.

Я згоден з відповіддю Ніла Г., але, можливо, це альтернативне фразування також допомагає:

Розглянемо налаштування простої моделі суміші Гаусса. Тут ми можемо розглядати параметри моделі як сукупність гауссових компонентів моделі суміші (кожен їх спосіб і відхилення, а також кожен вага в суміші).

Враховуючи набір параметрів моделі, висновок - це проблема ідентифікації того, який компонент, ймовірно, створив єдиний даний приклад, зазвичай у вигляді "відповідальності" за кожен компонент. Тут приховані змінні - це лише єдиний ідентифікатор, для якого компонента генерується даний вектор, і ми робимо висновок про той компонент, який, ймовірно, був. (У цьому випадку висновок простий, хоча у більш складних моделях він стає досить складним.)

Навчання - це процес, заданий набором зразків з моделі, ідентифікуючи параметри моделі (або розподіл за параметрами моделі), які найкраще відповідають даним даним: вибір засобів, відхилень та ваги Гаусса.

Алгоритм навчання очікування-максимізація можна вважати виконанням умовиводу для навчального набору, а потім вивчення найкращих параметрів з урахуванням цього висновку, а потім повторення. Висновок часто використовується в процесі навчання таким чином, але це також представляє незалежний інтерес, наприклад, вибирати, який компонент генерував дану точку даних в моделі Гауссової суміші, щоб визначитися з найбільш ймовірним прихованим станом у прихованій моделі Маркова, для імпульсування відсутніх значень у більш загальній графічній моделі, ....

Висновок - це вибір конфігурації на основі одного входу. Навчання - це вибір параметрів на основі деяких прикладів навчання.

У рамках моделі, заснованої на енергетиці (спосіб перегляду майже всіх архітектур машинного навчання), висновок вибирає конфігурацію, щоб мінімізувати енергетичну функцію , утримуючи параметри фіксованими; навчання вибирає параметри для мінімізації функції втрат .

Як вказує кон'югатприор, інші люди використовують різну термінологію для одного і того ж. Наприклад, Бішоп використовує "висновок" і "рішення", щоб означати навчання і умовивід відповідно. Причинно-наслідковий висновок означає навчання. Але які б терміни ви не вирішили, ці дві концепції відрізняються.

Неврологічна аналогія є закономірністю стрільби нейронів, це конфігурація; набір сильних з’єднань - це параметри.

Це схоже на класичну плутанину міжмовної дисципліни. ОП, здається, використовує неврологічну термінологію, де ці два терміни можуть мати різну конотацію. Але оскільки Cross Valified в основному стосується статистики та навчання машинінгу, я спробую відповісти на питання, що базується на загальному використанні цих термінів у цих галузях.

У класичній статистиці умовивід - це просто дістати те, що ви знаєте про вибірку, і скласти математичну заяву про населення, з якого воно (сподіваємось) є представником. З канонічного підручника Casella & Berger (2002): "Предмет теорії ймовірностей - це основа, на якій будується вся статистика ... за допомогою цих моделей статистики можуть робити висновки про сукупність, умовиводи на основі вивчення лише частина цілого ». Так у статистиці висновок конкретно пов'язаний з p-значеннями, тестовою статистикою та розподілом вибірки тощо.

Що стосується навчання, я думаю, що ця таблиця з Всесвітньої статистики Вассермана (2003) може бути корисною:

Дивно, що ніхто про це не згадував, але ви можете мати висновки лише у випадках, коли у вас є розподіл ймовірностей. Тут цитувати Вікі, де цитується словник Оксфорда:

Статистичний висновок - це процес використання аналізу даних для виведення властивостей базового розподілу ймовірностей (Оксфордський словник статистики)

https://en.wikipedia.org/wiki/Statistic_inference

У випадку традиційних нейронних мереж, k-NN або ванільних SVM у вас немає ані щільності ймовірності, ані припущень щодо будь-якої щільності, отже, статистичних висновків там немає. Тільки навчання / навчання. Однак для більшості (всіх?) Статистичних процедур можна використовувати як висновки, так і навчання, оскільки ці процедури мають певні припущення щодо розподілу населення.