Чи використовуємо ми колись максимальну оцінку ймовірності?

Мені цікаво, чи максимальна оцінка вірогідності коли-небудь використовується в статистиці. Ми дізнаємось про концепцію, але цікаво, коли вона насправді використовується. Якщо припустити розподіл даних, ми знайдемо два параметри, один для середнього та один для дисперсії, але чи реально ви їх використовуєте в реальних ситуаціях?

Хтось може сказати мені простий випадок, у якому він використовується?

Мені цікаво, чи максимальна оцінка вірогідності коли-небудь використовується в статистиці.

Звичайно! Насправді досить багато - але не завжди.

Ми дізнаємось про концепцію, але цікаво, коли вона насправді використовується.

Коли у людей є параметрична модель розподілу, вони досить часто вибирають використовувати максимальну оцінку ймовірності. Коли модель правильна, існує ряд зручних властивостей оцінок максимальної вірогідності.

Для одного прикладу - використання узагальнених лінійних моделей досить поширене, і в цьому випадку параметри, що описують середнє значення, оцінюються за максимальною вірогідністю.

Може статися, що одні параметри оцінюються за максимальною вірогідністю, а інші - ні. Наприклад, розглянемо наддисперсну Poisson GLM - параметр дисперсії не буде оцінено за максимальною ймовірністю, оскільки MLE не корисний у цьому випадку.

Якщо припустити розподіл даних, ми знайдемо два параметри

Ну, іноді у вас може бути два, але іноді у вас є один параметр, іноді три-чотири і більше.

один для середнього і один для дисперсії,

Ви, можливо, думаєте про конкретну модель? Це не завжди так. Розглянемо оцінку параметра експоненціального розподілу чи розподілу Пуассона, або біноміального розподілу. У кожному з цих випадків є один параметр, а дисперсія є функцією параметра, який описує середнє значення.

Або розглянемо узагальнений гамма-розподіл , який має три параметри. Або бета-розподіл з чотирма параметрами , який має (можливо, не дивно) чотири параметри. Зауважимо також, що (залежно від конкретної параметризації) середнє значення або дисперсія або обидва можуть бути представлені не одним параметром, а функціями кількох з них.

Наприклад, гамма-розподіл, для якого є три параметризації, які бачать досить поширене використання - два найпоширеніших з яких мають як середнє, так і дисперсійне функції двох параметрів.

Як правило, в регресійній моделі, або в GLM, або в моделі виживання (серед багатьох інших типів моделі) модель може залежати від декількох предикторів, і в цьому випадку розподіл, пов'язаний з кожним спостереженням за моделлю, може мати один власний параметр (або навіть декілька параметрів), які пов'язані з багатьма змінними предиктора ("незалежні змінні").

Хоча максимізація оцінювачів ймовірності може виглядати підозріло, враховуючи припущення щодо розподілу даних, часто використовуються Квазі Максимальні Оцінювачі Ймовірності. Ідея полягає в тому, щоб почати з розподілу і вирішити для MLE, потім видалити явне припущення щодо розподілу і замість цього подивитися на те, як працює ваш оцінювач за більш загальних умов. Таким чином, Quasi MLE просто стає розумним способом отримання оцінки, і основна частина роботи виводить властивості оцінювача. Оскільки припущення щодо розподілу падають, квазі MLE, як правило, не має приємних властивостей ефективності.

$x_1, x_2, ..., x_n$$X$$X \sim N (\mu, \sigma^2)$$\hat\sigma^2 = n^{-1}\sum (x_i - \bar x)^2$ . Тоді ми можемо задавати питання, на кшталт яких умов$\hat\sigma^2$ послідовний оцінювач, чи є неупереджений (це не так), чи він кореневий n послідовний, який це асимптотичний розподіл тощо.

Максимальна оцінка ймовірності часто використовується в машинному навчанні для навчання:

• нейронні мережі, наприклад чи можна використовувати MLE для оцінки ваги нейронної мережі?
• лінійна, логістична регресія та багатокласова логістична регресія, наприклад чому коефіцієнти лінійної та логістичної регресії не можна оцінити за допомогою одного методу?
• умовне випадкове поле (CRF), наприклад https://www.coursera.org/learn/probabilistic-graphical-models-3-learning/lecture/oKJ1x/maximum-likelihood-for-conditional-random-fields
• прихована модель Маркова (HMM), наприклад https://en.wikipedia.org/w/index.php?title=Hidden_Markov_model&oldid=768811108#Learning

Зауважте, що в деяких випадках варто віддати перевагу регуляризації, яка іноді еквівалентна максимальній післяорієнтованій оцінці , наприклад, чому перо для Лассо еквівалентно подвійній експоненції (Лапласу)? .

Хтось може сказати мені простий випадок, у якому він використовується?

Дуже типовий випадок - у логістичній регресії. Логістична регресія - це техніка, яка часто використовується в машинному навчанні для класифікації точок даних. Наприклад, логістичну регресію можна використовувати для класифікації того, чи електронний лист є спамом чи не спамом, або класифікувати, чи є у людини захворювання чи ні.

Зокрема, модель логістичної регресії говорить про те, що ймовірність є точкою даних $x_i$ в 1 класі є наступним: $h_\theta(x_i) = P[y_i = 1] = \frac{1}{1+e^{-\theta^T x_i}}$

The parameter vector $\theta$ is typically estimated using MLE.

Specifically, using optimization methods, we find the estimator $\hat\theta$ such that the expression $-\sum_{i=1}^n y_i\log(h_\hat\theta(x_i)) + (1-y_i)\log(1-h_{\hat\theta}(x_i))$ is minimized. This expression is the negative log likelihood, so minimizing this is equivalent to maximizing the likelihood.

We are using MLE all the time, but we may not feel it. I will give two simple examples to show.

Example 1

If we observe coin flip result, with $8$ head out of $10$ flips (assuming iid. from Bernoulli), how to guess the parameter $\theta$ (prob of head) of the coin? We may say $\theta=0.8$, using "counting".

Why use counting? this is actually implicitly using MLE! Where the problem is

To solve the equation, we will need some calculus, but the conclusion is counting.

Example 2

How would we estimate a Gaussian distribution parameters from data? We use empirical mean as estimated mean and empirical variance as estimated variance, which is also coming from MLE!.

Some maximum likelihood uses in wireless communication:

• Decoding of digital data from noisy received signals, with or without redundant codes.
• Estimation of time-, phase-, and frequency-offsets in receivers.
• Estimation of the (parameters of the) propagation channel.
• Estimation of delay, angle of arrival, and Doppler shift (e.g., radar).
• Estimation of a mobile position (e.g., GPS).
• Estimation of clock offsets for synchronization of all kinds of distributed settings.
• A multitude of calibration procedures.