MAP - це рішення

10

Я натрапив на ці слайди (слайд №16 та №17) на одному з онлайн-курсів. Викладач намагався пояснити, як Максимальна задня оцінка (MAP) насправді є рішенням , де є істинний параметр. $L(\theta) = \mathcal{I}[\theta \ne \theta^{*}]$ $\theta^{*}$

Може хтось, будь ласка, пояснить, як це випливає?

Редагувати: Додано слайди, якщо посилання перерветься.

— Медоїд
джерело

3

Переглядаючи слайди, якими ви поділилися, мені здається, що ідея полягає в тому, щоб пояснити, як оцінка MAP може бути використана для оцінки різних властивостей задньої частини, таких як середнє значення, режим та медіана. Я спробую пояснити це в контексті генеральних байесівських оцінювачів, представлених у книзі Стівена М. Кей «Основи статистичної обробки сигналів» .

Для початку розглянемо три типи ризику (тобто функції витрат), пов'язані з оцінкою параметра : $\theta$

$C(e) = e^2$

$C(e) = |e|$

$if -\delta < e < \delta, C(e)=0$ ; інакше $C(e)=1$

де $e = \theta - \hat{\theta}$ , в якому є розрахункове значення , і є істинним параметром. За байєсівською оцінкою, мета полягає в тому, щоб мінімізувати очікуваний ризик, тобто: $\hat{\theta}$ $\theta$

$E[C(e)]= \int_X \int_{\theta} C(e)p(X,\theta)d\theta dX = \int_X \left[\int_\theta C(e)p(\theta|X)d\theta\right] p(X)dX$

$\theta$ $\min_{\theta}\int_\theta C(e)p(\theta|X)d\theta$

Тепер, залежно від того, який ми обираємо, оцінювач надасть нам іншу властивість заднього. Наприклад, якщо ми обираємо перший випадок, , середнє мінімізація для - це середнє значення. Оскільки у вас є питання щодо функції індикатора , я торкнуся третього ризику, згаданого вище (який, якщо ви думаєте про це для , еквівалентний до використання індикатора). $C(e)$ $C(e) = e^2$ $\theta$ $\int_\theta C(e)p(\theta|X)d\theta$ $I[\hat{\theta}\ne \theta]$ $\delta\rightarrow 0$

Для випадку 3 вище:

$\int_\theta C(e)p(\theta|X)d\theta = \int_{-\infty}^{\hat{\theta}-\delta}p(\theta|X)d\theta + \int_{\hat{\theta}+\delta}^{\infty}p(\theta|X)d\theta = 1 - \int_{\hat{\theta}+\delta}^{\hat{\theta}+\delta}p(\theta|X)d\theta$

який для мінімізований, коли відповідає режиму заднього. $\delta \rightarrow 0$ $\hat{\theta}$

— іднавід
джерело

2

Дякую за чудове пояснення. Також майбутні читачі можуть прочитати приблизно те саме в подібному підручнику: Глава 5 « Machine_Learning a Probabilistic Perspective » Кевіна Мерфі

— honeybadger

Чи можете ви вказати деталі цього обмежуючого аргументу у ? Ви маєте на увазі обмеження процедури, коли переходить до нуля або межа задньої втрати?

δ

$\delta$

δ

$\delta$

— Сіань

Я маю на увазі межу очікування .

E [C (e)]

$E[C(e)]$

— idnavid

10

У конкретному випадку простір параметрів є кінцевим чи незліченним нескінченним задній збиток, пов'язаний із втратою індикатора, дорівнює ймовірності помилки і вона мінімізована, коли максимальна задня ймовірність коректності . Це означає, що є режимом заднього розподілу або MAP. $\Theta$

Θ = {θ_{1}, θ_{2}, \dots}

$\Theta=\{\theta_1,\theta_2,\ldots\}$

P (\hat{θ} \neq θ | x)

$\mathbb{P}(\hat{\theta}\ne\theta|x)$

P (\hat{θ} = θ | x)

$\mathbb{P}(\hat{\theta}=\theta|x)$

\hat{θ}

$\hat{\theta}$

Однак ця асоціація MAP та втрати є "народною теоремою", оскільки вона є невірною у більшості налаштувань, тобто вона не має значення для безперервних просторів параметрів, де для всіх , і це додатково суперечить результатам Друйхлета та Маріна (BA, 2007), які вказують, що ПДЧ в кінцевому рахунку залежить від вибору домінуючої міри. (Хоча міра Лебега неявно обрана як дефолт.) $0-1$ $\mathbb{P}(\hat{\theta}=\theta|x)=0$ $\hat{\theta}$

Наприклад, Еванс та Джанг опублікували архівний документ у 2011 році, де вони обговорювали зв'язок між MAP, найменшими відносними оцінками (або максимальною вірогідністю профілю) та функціями втрат. Суть справи полягає в тому, що ані оцінки MAP, ані MLE дійсно не виправдані теоретично-теоретичним підходом, принаймні, у просторі безперервних параметрів. І що домінуючий показник [довільно], обраний на просторі параметрів, впливає на значення MAP, як показали Druihlet та Marin у 2007 році. Вони починаються у кінцевому випадку з функцією втрати

L (θ, d) = I {Ψ (θ) \neq d) / π_{Ψ} (Ψ (θ))

$\mathrm{L}(\theta,d) = \mathbb{I}\{\Psi(\theta) \ne d) / \pi_\Psi(\Psi(\theta))$ де вони розглядають оцінку перетворення Ψ (θ) по d, обернено зваженому граничним до цього перетворення. У спеціальному випадку трансформації тотожності ця функція втрати призводить до MLE як Байєса. У загальному випадку оцінка Байєса є оцінкою максимальної ймовірності профілю (LRSE). Однак ця функція втрат не узагальнює для незмінно нескінченних (і очевидно безперервних) просторів параметрів, і в таких налаштуваннях автори можуть надати LRSE лише як обмеження процедур Байєса. Функція втрат, прийнята в обчислювальному випадку, наприклад,

L (θ, d) = I {Ψ (θ) \neq d} / max {η, π_{Ψ} (Ψ (θ))}

$\mathrm{L}(\theta,d) = \mathbb{I}\{\Psi(\theta) \ne d\} / \max\{\eta,\pi_\Psi(\Psi(\theta))\}$ при цьому пов'язане зменшення до нуля. У безперервному випадку індикатор більше не працює, тому вибір, зроблений авторами, полягає в тому, щоб дискретизувати простір by (Θ) конкретним вибором перегородки кульок, діаметр яких λ іде до нуля. У дусі Друйхлета та Маріна цей вибір залежить від метрики (та подальших умов регулярності). Крім того, сам LRSE залежить від обраної версії для густин (якщо не від домінуючої міри), якщо одна скрізь нав'язує рівність Байєса скрізь, коли і

max_{ψ} π_{ψ} (ψ | x) / π_{ψ} (θ)

$\max_{\psi}\pi_\psi(\psi|x)/\pi_\psi(\theta)$

π_{ψ} (ψ | x) / π_{ψ} (θ) = f (x | ψ) / m (x)

$\pi_{\psi}(\psi|x)/\pi_\psi(\theta)=f(x|\psi)/m(x)$

f (x | ψ) = \int_{{θ; Ψ (θ) = ψ}} f (x | θ) π (θ) d θ

$f(x|\psi)=\int_{\{\theta;\Psi(\theta)=\psi\}}f(x|\theta)\pi(\theta)\mathrm{d}\theta$

m (x) = \int f (x | θ) π (θ) d θ

$m(x)=\int f(x|\theta)\pi(\theta)\mathrm{d}\theta$ в дусі нашої парадоксальної папери Savage-Dickey .

Роберт Бассет та Хуліо Дериде опублікували документ у 2016 році, в якому обговорювали позицію ПДЧ в рамках байесівської теорії рішень.

"... ми надаємо контрприклад загальноприйнятому поняттю оцінювачів МАР як граничну оцінку Баєса, що має втрату 0-1".

Автори згадують мою книгу «Байєсівський вибір», де зазначено цю властивість без додаткових запобіжних заходів, і я повністю погоджуюся бути недбалим у цьому плані! Складність полягає в тому, що межа максимізаторів не обов'язково є максимальним межею. Документ містить приклад цього ефекту з попереднім, як зазначено вище, пов'язаним з розподілом вибірки, що не залежить від параметра. Запропоновані в ньому достатні умови полягають у тому, що задня щільність майже напевно є правильною або квазіконверсною.

Дивіться також альтернативну характеристику оцінок MAP за Бургером та Люккою як належних оцінок Баєса за іншим типом функцій втрат , хоча і досить штучним. Автори цього архівного документу починають з відстані на основі попереднього; називається відстань Брегмана, яка може бути квадратичною або ентропійною відстані залежно від попереднього. Визначення функції втрат, яка є сумішшю цієї відстані Брегмана та квадратичної відстані

| | K (\hat{u} - u) | |^{2} + 2 D_{π} (\hat{u}, u)

$||K(\hat u-u)||^2+2D_\pi(\hat u,u)$ виробляє MAP як оцінювач Байєса. Можна все ще замислюватися про домінуючу міру, але як функція втрат, так і отриманий оцінювач явно залежать від вибору домінуючої міри… (Втрата залежить від попереднього, але це не є недоліком як такого).

— Сіань
джерело

1

Я наведу короткий зміст тексту, згаданого про цю проблему, у главі 5, Байєсова статистика, машинне навчання: ймовірнісна перспектива - Мерфі .

Скажімо, ми спостерігали деякі дані , і ми хочемо коментувати задній розподіл параметрів . Тепер точкова оцінка режиму цього заднього розподілу, яка широко відома як MAP, має певні недоліки. $X$ $p(\theta|X)$

На відміну від середнього або медіанного значення, це "нетиповий" момент, в тому сенсі, що він не враховує всі інші бали під час оцінки. У разі оцінки середнього / медіани, ми враховуємо всі інші моменти.

Таким чином, як і очікувалося, у сильно перекошених задніх розподілах MAP (і, відповідно, MLE) насправді не представляє насправді заднього.

Отже, як ми підсумовуємо задню частину, використовуючи оцінку точки, наприклад Середня / Середня / Режим?

Тут люди використовують теорію рішень - по суті, функцію втрати яка є втратою, якщо правда а - це наша оцінка. Ми можемо вибирати різноманітні функції втрат, і наша мета полягає в тому, щоб мінімізувати очікуване значення функції втрати. $L(\theta, \hat{\theta})$ $\theta$ $\hat{\theta}$

Якщо функція втрати встановлена як , функція індикатора за всі часи, коли ми НЕ МОЖЕМО Оцініть правду, то мінімізація очікуваного значення функції втрати wrt дорівнює Максимізації цієї функції wrt . Звідси інтуїтивно можна здогадатися, що режим заднього розміру мінімізує очікуване значення функції втрат. Деталі цього розрахунку можна побачити у наведеній вище відповіді . $L(\theta, \hat{\theta})$ $\mathbb{I}(\hat{\theta}\ne\theta|x)$ $\theta$ $\mathbb{I}(\hat{\theta}=\theta|x)$ $\theta$

— Медоїд
джерело