Чому потрібно брати вибірку з заднього розподілу, якщо ми вже ЗНАЄМО задній розподіл?

Я розумію, що при використанні байєсівського підходу для оцінки значень параметрів:

Задній розподіл - це поєднання попереднього розподілу та розподілу ймовірності.
Ми моделюємо це, генеруючи вибірку з заднього розподілу (наприклад, використовуючи алгоритм Metropolis-Hasting для генерації значень, і приймаємо їх, якщо вони перевищують певний поріг ймовірності належати до заднього розподілу).
Після того, як ми створили цей зразок, ми використовуємо його для наближення заднього розподілу та таких речей, як його середнє значення.

Але я відчуваю, що я повинен щось нерозуміти. Здається, ми маємо задній розподіл, а потім вибірку з нього, а потім використовуємо цей зразок як апроксимацію заднього розподілу. Але якщо ми маємо задній розподіл для початку, чому нам потрібно взяти вибірку з нього, щоб наблизити його?

— Дейв
джерело

Це питання, ймовірно, було розглянуто вже на цьому форумі.

Коли ви заявляєте, що у вас "задній розподіл", що саме ви маєте на увазі? "Маючи" функцію яку я знаю, пропорційна задній, а саме наприклад, повністю штучна ціль $\theta$

π (θ | х) \propto π (θ) \times f (х | θ)

$\pi(\theta|x) \propto \pi(\theta) \times f(x|\theta)$

не каже мені, що таке

π (θ | х) \propto досвід {- | | θ - х | |^{2} - | | θ + х | |^{4} - | | θ - 2 х | |^{6}}, х, θ \in R^{18},

$\pi(\theta|x)\propto\exp\{-||\theta-x||^2-||\theta+x||^4-||\theta-2x||^6\},\ \ x,\theta\in\mathbb{R}^{18},$

заднє очікування функції , наприклад, , заднє середнє значення, яке працює як байєсівський оцінювач під стандартними втратами; $\theta$ $\mathbb{E}[\mathfrak{h}(\theta)|x]$
оптимальне рішення за довільною функцією корисності, рішення, яке мінімізує очікувані задні втрати;
діапазон невизначеності 90% або 95% щодо параметра (ив), підвектору параметра (и) або функції параметра (ів), він називається областю HPD ${год = год (θ); π^{год} (год) \geq \underline{год}}$ $\{h=\mathfrak{h}(\theta);\ \pi^\mathfrak{h}(h)\ge \underline{h}\}$
найбільш вірогідна модель вибору між встановленням певних компонентів параметрів (-ів) певних значень, а не збереження їх невідомими (і випадковими).

Це лише приклади багатьох застосувань заднього розподілу. У всіх випадках, окрім самих простих, я не можу дати відповіді, дивлячись на задню густину розподілу, і мені потрібно пройти через чисельні резолюції, такі як методи Монте-Карло та методи Маркова Монте-Карло.

— Сіань
джерело

Дуже дякую за відповідь Сіань. Я впевнений, що це відповідає на моє запитання, але я все ще маю труднощів зрозуміти це. Я маю рацію, що у нас є функція щільності ймовірності, відповідна задній (тобто, поєднуючи попереднє та ймовірність)? Чому ми не могли знайти 95% ІС безпосередньо з цього, а не з вибіркового заднього розподілу?

— Дейв

@Dave Я думаю, що ключовим тут є те, що ви маєте на увазі під "мати". Загалом у вас не буде рішення закритої форми, тому ви не будете "мати" функцію в корисному сенсі.

— чернець

@monk дякую за відповідь! Ви не хочете детальніше зупинитися на тому, що робить рішення закритої форми?

— Дейв

Припустимо, вашим попереднім є Beta (a, b), і ваша ймовірність є Binomial (n, p). Як ви обчислюєте очікувану величину задньої частини? Спробуйте опрацювати інтеграл продукту за допомогою ручки та паперу. Взагалі такий інтеграл буде чимось, що вимагає від комп'ютера точного значення. Крім того, ви можете виявити, що Beta є кон'югованим перед Binomial, і тому задній буде Beta (з легко обчислюваними параметрами). Але часто вам не пощастить. Вирізати визначення «закритої форми» важко, і про це варто прочитати самостійно.

— чернець

Так, у вас може бути аналітичний задній розподіл. Але основою байєсівського аналізу є маргіналізація щодо заднього розподілу параметрів, щоб отримати кращий результат прогнозування як з точки зору точності, так і з узагальнення. В основному, ви хочете отримати прогнозний розподіл, який має таку форму.

$p(x|D)=\int p(x|w) p(w|D)dw$

$p(w|D)$ $p(w|D)$ $p(x|w)$

— Карлссон Ю
джерело