Порівнюючи максимальну оцінку ймовірності (MLE) та теорему Байєса

12

У теорії Байєса , а з книги, яку я читаю, називається ймовірність , але я припускаю , що це всього лише умовна ймовірність від дається , НЕ так?

p (y | x) = \frac{p (x | y) p (y)}{p (x)}

$p(y|x) = \frac{p(x|y)p(y)}{p(x)}$

p (x | y)

$p(x|y)$

x

$x$

y

$y$

В оцінці максимальної правдоподібності намагається максимізувати , НЕ так? Якщо так, я сильно плутаюсь, тому що це обидві випадкові величини, правда? Для максимального тільки з'ясувати , в ? Ще одна проблема: якщо ці 2 випадкові величини незалежні, то - просто , правда? Тоді максимізація - це максимізація . $p(x|y)$ $x,y$ $p(x|y)$ $\hat y$ $p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

А може, - це функція деяких параметрів , тобто , і MLE намагається знайти який може максимально збільшити ? Або навіть що - це фактично параметри моделі, а не випадкова величина, що збільшує ймовірність - це знайти ? $p(x|y)$ $\theta$ $p(x|y; \theta)$ $\theta$ $p(x|y)$ $y$ $\hat y$

ОНОВЛЕННЯ

Я початківець у машинному навчанні, і ця проблема викликає плутанину з речей, які я читала з підручника з машинного навчання. Ось він, враховуючи спостережуваний набір даних , цільовими значеннями є , і я намагаюся помістити модель на цей набір даних , тож я припускаю, що, даючи , має форму розподілу, яку називають параметризовану на , тобто , і я припускаю, що це ймовірність задньої , так? $\{x_1,x_2,...,x_n\}$ $\{y_1,y_2,...,y_n\}$ $x$ $y$ $W$ $\theta$ $p(y|x; \theta)$

Тепер для оцінки значення я використовую MLE. Гаразд, тут виникає моя проблема, я думаю, ймовірність , правда? Максимізація ймовірності означає, що я повинен вибрати правильний і ? $\theta$ $p(x|y;\theta)$ $\theta$ $y$

Якщо моє розуміння ймовірності неправильне, будь ласка, покажіть мені правильний шлях.

bayesian maximum-likelihood

— авокадо
джерело

Я думаю, що плутанина така: теорема Байєса - це лише маніпулювання умовними ймовірностями, які ви даєте на початку свого запитання. Байєсова оцінка використовує теорему Байеса , щоб зробити оцінки параметрів. Лише в останньому вступають у гру максимальну оцінку ймовірності (MLE) та параметр theta тощо.

— Жубарб

@ Беркан, ну я насправді намагаюся зрозуміти, що таке ймовірність, враховуючи .

x, y, θ

$x,y,\theta$

— авокадо

1

Я бачу, я б рекомендував вам ознайомитись із цим чудовим набором вступних слайдів лекції для оцінки параметрів.

— Жубарб

1

Ще одна чудова тема, яку варто прочитати, - це Оцінки емпіричних баєсів. Ми щойно дізналися про тих, хто в моєму класі :) biostat.jhsph.edu/~fdominic/teaching/bio656/labs/labs09/…

— bdeonovic

16

Я думаю, що основне непорозуміння випливає з питань, які ви задаєте в першій половині запитання. Я підходжу до цієї відповіді як протиставлення інфекційних парадигм MLE та Bayes. Дуже доступну дискусію про MLE можна знайти в главі 1 Гарі Кінга, Об'єднавча політична методологія. Байєсський аналіз даних Гельмана може надати детальну інформацію щодо байєсівської сторони.

У теоремі Байєса а з книги, яку я читаю, називається вірогідність, але я припускаю, що це просто умовна ймовірність задана , так?
$p (y | x) = \frac{p (x | y) p (y)}{p (x)}$ $p(y|x)=\frac{p(x|y)p(y)}{p(x)}$ $p(x|y)$ $x$ $y$

Ймовірність - це умовна ймовірність. Для байесівської формули ця формула описує розподіл параметра заданих даних та попереднього . Але оскільки це позначення не відображає вашого наміру, відтепер я буду використовувати ( , ) для параметрів, а для ваших даних. $y$ $x$ $p(y)$ $\theta$ $y$ $x$

Але ваше оновлення вказує на те, що спостерігається з деякого розподілу . Якщо розмістити наші дані та параметри у відповідних місцях у праві Байєса, ми виявимо, що ці додаткові параметри не створюють проблем для байесів: $x$ $p(x|\theta,y)$

p (θ | x, y) = \frac{p (x, y | θ) p (θ)}{p (x, y)}

$p(\theta|x,y)=\frac{p(x,y|\theta)p(\theta)}{p(x,y)}$

Я вважаю, що це вираз - це те, що ви хочете оновлювати.

Максимальна оцінка ймовірності намагається максимізувати , правда? $p(x,y|\theta)$

Так. MLE вважає, що Тобто, він розглядає термін як невідомий (і незрозуміла) константа. Навпаки, байєсівський умовивід трактує як нормалізуючу константу (так що ймовірності сум / інтегруються до одиниці) та як ключову інформацію: попередню. Ми можемо вважати способом стягнення штрафу за процедуру оптимізації за "блукання занадто далеко" від регіону, який, на наш погляд, є найбільш правдоподібним.

p (x, y | θ) \propto p (θ | x, y)

$p(x,y|\theta) \propto p(\theta|x,y)$

\frac{p (θ, y)}{p (x)}

$\frac{p(\theta,y)}{p(x)}$

p (x)

$p(x)$

p (θ, y)

$p(\theta,y)$

p (θ, y)

$p(\theta,y)$

Якщо так, я сильно плутаюсь, тому що є випадковими змінними, правда? Максимізувати - це просто з'ясувати ? $x,y,\theta$ $p(x,y|\theta)$ $\hat{\theta}$

У MLE вважається фіксованою величиною, яка невідома, але підлягає висновку, а не випадкова величина. Байєсівський умовивід трактує як випадкову змінну. Функції щільності байєсівської логічний висновок ставить ймовірність в і отримують функцію щільності ймовірності з , а не точкового резюме моделі, як і в ОМПЕ. Тобто, байєсівський висновок розглядає весь діапазон значень параметрів та ймовірність кожного. MLE стверджує, що є адекватним резюме даних, наданих моделлю. $\hat{\theta}$ $\theta$ $\hat{\theta}$

— Sycorax каже, що відновіть Моніку
джерело

1

Дякую за вашу відповідь, я оновлюю свою публікацію, будь ласка, дивіться моє оновлення.

— авокадо

Це оновлення докорінно змінило моє розуміння питання. Спочатку я думав, що ви розглядаєте як параметр, а як ваші дані. Тепер виявляється, що це дані, і вам цікаво побудувати модель, яка описує взаємозв'язок між і . Я можу змінити свою відповідь, коли матиму час.

y

$y$

x

$x$

(x, y)

$(x,y)$

x

$x$

y

$y$

— Sycorax каже, що повернеться Моніка

+1 Це все ще чудова відповідь: Я сподіваюся, що ви збережете це в цілому недоторканим, навіть якщо ви модифікуєте його відповідно до змін у питанні.

— whuber

Я оновив свою відповідь, щоб відобразити ваше оновлене запитання. Я сподіваюся, що ці деталі допоможуть. Я дійсно рекомендую посилатися на посилання, які я згадую. І я сподіваюся, @whuber все-таки схвалює. ;-)

— Sycorax повідомляє про відновлення Моніки

Дякую тобі за оновлення, тож ти маєш на увазі, хоча я підбираю форму розподілу для , я повинен ставитися до як до даних, що спостерігаються, коли я намагаюся оцінити ?

p (y | x)

$p(y|x)$

x, y

$x,y$

θ

$\theta$

— авокадо

3

Зазвичай - це функція параметра . Розглянемо наступне переформулювання теореми Байєса: $p(x|y)$ $y$

p (θ | x) = \frac{p (x | θ) p (θ)}{p (x)}

$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$

Або ще явніше (стосовно поняття ймовірності):

p (θ | x) = \frac{L (θ; x) p (θ)}{p (x)}

$p(\theta|x) = \frac{L(\theta;x)p(\theta)}{p(x)}$

Для конкретного прикладу розглянемо модель

X | θ \sim B i n o m i a l (θ) θ \sim B e t a (α, β)

$X|\theta \sim Binomial(\theta) \\ \theta \sim Beta(\alpha,\beta)$

— Девід Маркс
джерело

Отже, зазвичай не є випадковою змінною, а , правда?

y

$y$

x

$x$

— авокадо

Y, як правило, параметр на pdf X. У параметрі частості, y зазвичай є фіксованим значенням. У байєсівській обстановці Y - сама випадкова величина (як у прикладі, який я дав). X | Y також може бути умовною ймовірністю в тому сенсі, який ви маєте на увазі, я намагався дати вам мотивацію, чому ця кількість називається ймовірністю.

— Девід Маркс

Що стосується конкретного прикладу, наведеного у вашій відповіді, ви маєте на увазі, що насправді є випадковою змінною, але в розподілі вона приймається за параметр?

θ

$\theta$

X

$X$

— авокадо

Просто те, що щось є випадковою змінною, не означає, що вона не може бути параметром. Ласкаво просимо у чудовий світ байєсівської вірогідності :)

— Девід Маркс

0

"... називається ймовірністю ..." $p(x|y)$

$p(x|y)$ - ймовірність y заданого x . Сказати, якою є ймовірність, важливо. І так, це просто умовна ймовірність задана . $x$ $y$

"... якщо ці 2 випадкові величини незалежні, то - це просто , так? Тоді максимізація - це максимізація ..." $p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

Якщо вони незалежні, тобто , є постійним щодо . Будьте обережні, оскільки ви не вказуєте, до чого досягаєте максимуму, - з того, що ви писали раніше, я вважаю, що ви максимізуєте щодо . $p(x|y) = p(x)$ $p(x)$ $y$ $y$

... А може бути, - це функція деяких параметрів , тобто , і MLE намагається знайти який може максимально збільшити ? Або навіть що y - це фактично параметри моделі, а не випадкова величина, максимізація ймовірності - це знайти ? ... $p(x|y)$ $\theta$ $p(x|y;\theta)$ $\theta$ $p(x|y)$ $\hat{y}$

Представлення робить це абсолютно новою проблемою. Загалом, відповідь на більшість цього питання тут, здається, "це залежить". Ми могли б позначати параметри як якби хотіли, і максимізувати щодо них. Так само у нас може виникнути ситуація, коли ми максимізуємо щодо параметрів якби це був розумний спосіб наближення до проблеми. $\theta$ $y$ $p(x|y;\theta)$ $\theta$

— Пат
джерело

Причина, через яку я ввожу , це в книзі машинного навчання, яку я читаю, з даним набором даних , а - відповідне цільове значення, тому для пристосування моделі до цього набору даних я можу використовувати MLE для оцінки який параметр моделі, правда?

θ

$\theta$

x

$x$

y

$y$

θ

$\theta$

— авокадо

0

З посібника користувача STAN:

Якщо попередній рівномірний, задній режим відповідає максимальній оцінці ймовірності (MLE) параметрів. Якщо попередній не є рівномірним, задній режим іноді називають максимальною оцінкою заднього (MAP).

— Неєрав
джерело