Які фактори обумовлюють незрозумілість заднього розподілу?

У статистиці Байєса часто згадується, що задній розподіл є нерозв'язним, і тому слід застосовувати приблизний висновок. Які фактори обумовлюють цю внутрішньоздатність?

Проблема полягає головним чином у тому, що байєсівський аналіз включає інтеграли , часто багатовимірні в реалістичних задачах, і саме ці інтеграли, як правило, нерозбірливі аналітично (за винятком кількох спеціальних випадків, що вимагають використання спряжених пріорів).

Навпаки, значна частина не-байесівської статистики базується на максимальній вірогідності - знаходженні максимуму (зазвичай багатовимірної) функції, що передбачає знання її похідних , тобто диференціацію. Незважаючи на те, що чисельні методи використовуються у багатьох складніших проблемах, але без них можна пройти ще частіше, а числові методи можуть бути і простішими (навіть якщо на практиці можуть бути менш прості).

Тож я б сказав, що зводиться до того, що диференціація простежується більше, ніж інтеграція.

У мене була можливість задати Девіду Блею особисто це запитання, і він сказав мені, що непереборність у цьому контексті означає одну з двох речей:

1. Інтеграл не має рішення закритої форми. Це може бути, коли ми моделюємо деякі складні дані в реальному світі, і ми просто не можемо записати розподіл на папері.

2. Інтеграл обчислювально нерозв'язний. Він рекомендував мені сісти за ручку та папір і фактично опрацювати граничні докази байєсівської суміші гаївців. Ви побачите, що це обчислювально непереборно, тобто експоненціально. Він наводить хороший приклад цього в нещодавній роботі (Див. 2.1 Проблема приблизного умовиводу ).

FWIW, я вважаю, що цей вибір слова є заплутаним, оскільки (1) він перевантажений за значенням і (2) він вже широко використовується в CS для позначення лише обчислювальної інтрактабельності.

Насправді існує ряд можливостей:

1. $Y\sim \text{Bin}(n,\pi)$$\pi$$\text{Beta}(a,b)$$p(\pi|Y=y)$$\text{Beta}(a+y,b+n-y)$
2. $Y\sim \text{Bin}(n,\pi)$$\log \pi$$N(\mu, \sigma^2)$$p(\pi|Y=y) \propto p(y|\pi) p(\pi)$
3. $p(y|\pi)$$Y$$\pi$

Люди зазвичай мають на увазі щось на зразок (2), коли вони говорять про (аналітично) непростежуваному задньому плані та щось на зразок (3), коли говорять про непростежувану ймовірність. Це третій випадок, коли приблизне обчислення Байєса є одним із варіантів, тоді як у другому випадку методи MCMC, як правило, здійсненні (які, можливо, можна стверджувати, є певним чином приблизними). Я не зовсім впевнений, на яку з цих двох цитат ви посилаєтесь.

Простежуваність пов'язана із замкнутою формою виразу .

Кажуть, що проблеми є простежуваними, якщо їх можна вирішити через вираз закритої форми.

У математиці вираз закритої форми - це математичний вираз, який можна оцінити за скінченною кількістю операцій. Він може містити константи, змінні, певні «добре відомі» операції (наприклад, + - × ÷) та функції (наприклад, n-й корінь, експонент, логарифм, тригонометричні функції та зворотні гіперболічні функції), але, як правило, немає меж. Набір операцій та функцій, допущених у виразі закритої форми, може змінюватися залежно від автора та контексту.

Таким чином, нестабільність означає, що існує якась межа / нескінченність (наприклад, нескінченне підсумовування інтегралів), яку неможливо оцінити за допомогою обмеженої кількості операцій, і, таким чином, слід застосовувати методи наближення (як MCMC).

Стаття у Вікіпедії вказує на тезу Кобхема, яка намагається формалізувати цей «обсяг операцій», а отже, простежуваність.