Яка «основна» ідея машинного навчання для оцінки параметрів?

"Основна" ідея статистики для оцінки параметрів - максимальна ймовірність . Мені цікаво, яка відповідна ідея в машинному навчанні.

Qn 1. Було б справедливо сказати, що "фундаментальною" ідеєю в машинному навчанні для оцінки параметрів є: "Функції втрати"

[Примітка. Мені здається, що алгоритми машинного навчання часто оптимізують функцію втрат і, отже, вищезазначене питання.]

Qn 2: Чи є література, яка намагається усунути розрив між статистикою та машинним навчанням?

[Примітка: Можливо, шляхом пов’язання функцій втрат з максимальною ймовірністю. (наприклад, OLS еквівалентна максимальній ймовірності для нормально розподілених помилок тощо)]

Якщо статистика стосується максимальної ймовірності, то машинне навчання - це все, щоб мінімізувати втрати. Оскільки ви не знаєте втрати, яку ви понесете на майбутніх даних, ви мінімізуєте наближення, тобто емпіричну втрату.

Наприклад, якщо у вас є завдання прогнозування і оцінюється за кількістю прокласифікованих класифікацій, ви можете тренувати параметри так, щоб результатна модель створювала найменшу кількість підстав для класифікаційних даних. "Кількість неправильних класифікацій" (тобто втрата 0-1) - це важка функція втрат, з якою можна працювати, тому що вона не відрізняється, тому ви наближаєте її до гладкого "сурогату". Наприклад, втрата журналу є верхньою межею втрати 0-1, тому ви можете мінімізувати це натомість, і це виявиться таким же, як максимізація умовної вірогідності даних. З параметричною моделлю цей підхід стає рівнозначним логістичній регресії.

У структурованому завданні моделювання та наближенні втрат журналу до втрат 0-1 ви отримуєте щось відмінне від максимальної умовної ймовірності, замість цього ви максимізуєте добуток (умовної) граничної ймовірності.

Для кращого наближення збитків люди помітили, що модель навчання мінімізації втрат та використання цієї втрати як оцінки майбутньої втрати є надмірно оптимістичною оцінкою. Таким чином, для більш точного (справжнього зниження майбутніх втрат) вони додають термін корекції зміщення до емпіричних втрат і мінімізують це, це відоме як структуроване мінімізація ризику.

На практиці з'ясування правильного терміна виправлення зміщення може бути занадто важким, тому ви додаєте вираз "у дусі" терміна виправлення зміщення, наприклад, суму квадратів параметрів. Зрештою, майже всі параметричні підходи до класифікації під наглядом машинного навчання закінчують навчання моделі, щоб мінімізувати наступне

$\sum_{i} L(\textrm{m}(x_i,w),y_i) + P(w)$

де - ваша модель, параметризована вектором w , я приймається за всі точки даних { x i , y i } , L - деяке обчислювальне приближення вашої справжньої втрати, а P ( w ) - деякий термін корекції зміщення / регуляризації$\textrm{m}$$w$$i$$\{x_i,y_i\}$$L$$P(w)$

Наприклад, якщо ваш , y ∈ { - 1 , 1 } , типовим підходом буде нехай m ( x ) = знак ( w ⋅ x ) , L ( m ( x ) , y ) = - log ( y × ( x ⋅ w ) ) , P $x \in \{-1,1\}^d$$y \in \{-1,1\}$$\textrm{m}(x)=\textrm{sign}(w \cdot x)$$L(\textrm{m}(x),y)=-\log(y \times (x \cdot w))$ і вибираємо q шляхом перехресної перевірки$P(w)=q \times (w \cdot w)$$q$

Я дам деталізовану відповідь. Може надати більше цитат на вимогу, хоча це насправді не суперечливо.

• Статистика - це не все щодо максимальної ймовірності (log). Це анафема для принципових баязів, які просто оновлюють своїх плакатів або поширюють свої переконання за допомогою відповідної моделі.
• Багато статистики є відносно мінімізації втрат. І так багато машинного навчання. Емпірична мінімізація втрат має різний зміст у ML. Для чіткого, оповідного погляду перегляньте "Природу статистичного навчання" Вапніка
• Машинне навчання - це не все про мінімізацію втрат. По-перше, тому, що в ML є багато байесів; по-друге, тому що ряд застосувань в ML пов'язаний з тимчасовим навчанням та приблизним DP. Звичайно, є об'єктивна функція, але вона має зовсім інше значення, ніж у "статистичному" навчанні.

Я не думаю, що між полями є розрив, просто багато різних підходів, які певною мірою перекриваються. Я не відчуваю необхідності перетворювати їх на систематичні дисципліни з чітко визначеними відмінностями та подібністю, а враховуючи швидкість, з якою вони розвиваються, я думаю, що це все одно приречене підприємство.

Я не можу розмістити коментар (відповідне місце для цього коментаря), оскільки мені не вистачає репутації, але відповідь, прийнята як найкраща відповідь власника питання, не вистачає суті.

"Якщо статистика стосується максимальної ймовірності, то машинне навчання - це все, щоб мінімізувати втрати."

Ймовірність є функцією втрат. Максимізація ймовірності - це те саме, що мінімізувати функцію втрат: відхилення, яке в 2 рази перевищує функцію вірогідності журналу. Аналогічно пошук рішення з найменшими квадратами полягає у мінімізації функції втрат, що описує залишкову суму квадратів.

І ML, і статистика використовують алгоритми для оптимізації придатності певної функції (в найширшому розумінні) до даних. Оптимізація обов'язково включає мінімізацію деякої функції втрат.

Є тривіальна відповідь - немає оцінки параметрів у машинному навчанні! Ми не вважаємо, що наші моделі еквівалентні деяким прихованим фоновим моделям; ми ставимося як до реальності, так і до моделі як до чорних коробок і намагаємось похитнути модель моделі (тренуйтесь в офіційній термінології), щоб її вихід був подібний до випуску реальності.

Концепція не тільки вірогідності, але і всього вибору моделі, заснованої на даних тренінгу, замінюється оптимізацією точності (що б не було визначено; в принципі корисністю в бажаному використанні) на небачені дані; це дозволяє оптимізувати як точність, так і пригадування у парі. Це призводить до концепції здатності до узагальнення, що досягається різними способами залежно від типу навчального.

Відповідь на питання два дуже залежить від визначень; все-таки я вважаю, що непараметрична статистика - це те, що поєднує ці два.

Я не думаю, що існує принципова ідея щодо оцінки параметрів у машинному навчанні. Натовп МЛ із задоволенням максимізує ймовірність чи задність, доки алгоритми будуть ефективними та прогнозують "точно". Основна увага приділяється обчисленню, і результати статистики широко використовуються.

Якщо ви шукаєте фундаментальні ідеї взагалі, то в теорії обчислювального навчання PAC займає центральне місце; в статистичній теорії навчання структурна мінімізація ризиків ; а також є інші сфери (наприклад, див. Науку про передбачення) посаду Джона Ленгфорда в ").

Що стосується мостикової статистики / МЛ, то розподіл здається перебільшеним. Мені сподобалась відповідь гаппі на питання "Дві культури".

Ви можете переписати проблему з максимальною ймовірністю як проблему мінімізації втрат, визначивши втрату як негативну ймовірність журналу. Якщо ймовірність є результатом незалежних ймовірностей чи щільності ймовірності, втрата буде сумою незалежних доданків, які можна обчислити ефективно. Крім того, якщо стохастичні змінні зазвичай розподіляються, відповідна проблема мінімізації втрат буде проблемою з найменшими квадратами.

Якщо можливо створити проблему мінімізації втрат, переписавши максимізацію ймовірності, слід віддати перевагу створенню проблеми мінімізації втрат з нуля, оскільки це породжує проблему мінімізації втрат, що (сподіваємось) більше теоретично обґрунтований і менш спеціальний. Наприклад, ваги, наприклад, у зважених найменших квадратах, для яких зазвичай доводиться здогадуватися, просто вийдуть із процесу переписування вихідної проблеми максимізації ймовірності та вже матимуть (сподіваємось) оптимальні значення.