Задні дуже відрізняються від попереднього та ймовірного

Якщо пріоритет і ймовірність сильно відрізняються один від одного, то іноді виникає ситуація, коли задній не схожий ні на один. Дивіться, наприклад, цю картинку, яка використовує звичайні розподіли.

Хоча це математично правильно, це, схоже, не відповідає моїй інтуїції - якщо дані не збігаються з моїми твердими переконаннями або даними, я б очікував, що жоден діапазон не пройде добре, і я б очікував або плоскої задньої частини над весь діапазон чи, можливо, бімодальний розподіл навколо попереднього та ймовірного (я не впевнений, що має більш логічний сенс). Я, звичайно, не сподівався на тісний задник навколо діапазону, який не відповідає ні моїм попереднім переконанням, ні даним. Я розумію, що в міру того, як буде зібрано більше даних, задній буде рухатися до ймовірності, але в цій ситуації це здається контрінтуїтивним.

Моє запитання: як моє розуміння цієї ситуації є хибним (чи воно недосконалим). Чи є задній "правильною" функцією для даної ситуації. А якщо ні, то як інакше це можна моделювати?

Для повноти пріоритет задається як а ймовірність як .N ( μ = 6,1 , σ = 0,4 $\mathcal{N}(\mu=1.5, \sigma=0.4)$$\mathcal{N}(\mu=6.1, \sigma=0.4)$

EDIT: Дивлячись на деякі відповіді, я відчуваю, що я не дуже добре пояснив ситуацію. Моя думка, байєсівський аналіз, здається, дає неінтуїтивний результат, враховуючи припущення в моделі. Я сподівався на те, що задня частина якимось чином "пояснить", можливо, погані модельні рішення, що, коли думати, точно не так. Я розкрию це питання у своїй відповіді.

Так, ця ситуація може виникнути і є особливістю ваших припущень моделювання, зокрема, нормальності в попередній моделі та моделі вибірки (вірогідність). Якби замість цього ви обрали дистрибутив Коші для свого попереднього, задній би виглядав набагато інакше.

prior = function(x) dcauchy(x, 1.5, 0.4)
like = function(x) dnorm(x,6.1,.4)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, 0, 8, col="red", axes=F, frame=T)
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

Я дещо не погоджуюся з відповідями, наданими дотепер - нічого дивного в цій ситуації немає. Ймовірність асимптотично нормальна в будь-якому випадку, і нормальний прийом взагалі не рідкість. Якщо ви зібрали обох разом з тим, що попередні та ймовірні не дають однакової відповіді, у нас є ситуація, про яку ми говоримо тут. Я зобразив це нижче з кодом від jaradniemi.

В 1 зазначаємо, що звичайним висновком такого спостереження було б те, що або а) модель структурно неправильна; б) дані неправильні; в) попередня - неправильна. Але щось точно не так, і ви б також це побачили, якби зробили кілька попередньо-прогностичних перевірок, які ви все одно повинні зробити.

1 Hartig, F .; Дайк, Дж .; Гіклер, Т.; Хіггінс, С.І .; О'Хара, РБ; Scheiter, S. & Huth, A. (2012) Підключення динамічних моделей рослинності до даних - обернена перспектива. J. Biogeogr., 39, 2240-2252. http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2699.2012.02745.x/ab Abstract

prior = function(x) dnorm(x,1,.3)
like = function(x) dnorm(x,-1,.3)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, -2, 2, col="red", axes=F, frame=T, ylim = c(0,2))
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

Мені здається, що відповідь, яку я шукав, коли дійшов до цього питання, найкраще узагальнений Лесаффром та Лоусоном у байєсівській біостатистиці

$$\frac{1}{\sigma^2} = w_{0} + w_{1}$$ $\mu$$\sigma$

Що підсумовує це для мене, і грубо окреслено в інших відповідях, це те, що випадок моделювання нормальних пріорів з нормальною ймовірністю може призвести до ситуації, коли задня частина точніша за будь-яку. Це контрінтуїтивно, але є особливим наслідком моделювання цих елементів таким чином.

$X_1$$X_0$$\mu \sim N(1.6, 0.4^2)$$X_1 \sim N(\mu, 0.4^2)$$X_1$$X_1$$\sqrt{0.4^2 + 0.4^2}=0.56$$2\phi(-(6.1-1.6)/0.56)=9.3\cdot 10^{-16}$$\mu$

$X_0 \sim N(\mu,0.4^2)$$X_0$$X_0$$X_1$$|X_1-X_0|>6.1-1.6$

$X_0$$X_1$

Поміркувавши над цим деякий час, мій висновок полягає в тому, що за поганих припущень моделювання, задній може бути результатом, який не відповідає ні попереднім переконанням, ні ймовірності. Звідси природний результат є заднім це НЕ , в загальному, до кінця аналізу. Якщо випадок, що задній повинен приблизно відповідати даним або він повинен бути розсіяним між попереднім та ймовірним (у цьому випадку), то це доведеться перевірити за фактом, ймовірно, за допомогою попередньо-передбачувальної перевірки чи чогось іншого подібний. Для включення цього в модель, здавалося б, потрібна здатність розміщувати ймовірності на ймовірнісних твердженнях, що, на мою думку, не можливе.

Я думаю, що це насправді цікаве питання. Спав на ній, я думаю, що у мене є відповідь. Ключове питання полягає в наступному:

• Ви трактували ймовірність як гауссовий PDF-файл. Але це не розподіл ймовірностей - це ймовірність! Більше того, ви не позначили чітко свою вісь. Ці речі разом поєднували все, що випливає.

$\mu$$\sigma$$P(\mu|\mu', \sigma')$$\mu'$$\sigma'$$P(X|\mu, \sigma)$$X$$P(\mu|X, \sigma, \mu', \sigma')$$\mu$

$\mu$$P(X|\mu)$

$\sigma'^2 = \sigma^2/N$. In other words, your prior is very informative, as its variance is going to be much lower than $\sigma^2$ for any reasonable value of $N$. It is literally as informative as the entire observed dataset $X$!

So, the prior and the likelihood are equally informative. Why isn't the posterior bimodal? This is because of your modelling assumptions. You've implicitly assumed a normal distribution in the way this is set up (normal prior, normal likelihood), and that constrains the posterior to give a unimodal answer. That's just a property of normal distributions, that you have baked into the problem by using them. A different model would not necessarily have done this. I have a feeling (though lack a proof right now) that a cauchy distribution can a have multimodal likelihood, and hence a multimodal posterior.

So, we have to be unimodal, and the prior is as informative as the likelihood. Under these constraints, the most sensible estimate is starting to sound like a point directly between the likelihood and prior, as we have no reasonable way to tell which to believe. But why does the posterior get tighter?

I think the confusion here comes from the fact that in this model, $\sigma$ is assumed to be known. Were it unknown, and we had a two dimensional distribution over $\mu$ and $\sigma$ the observation of data far from the prior might make a high value of $\sigma$ more probable, and so increase the variance of the posterior distribution of the mean too (as these two are linked). But we're not in that situation. $\sigma$ is treated as known here. A such adding more data can only make us more confident in our prediction of the position of $\mu$, and hence the posterior becomes narrower.

(A way to visualise it might be to imagine estimating the mean of a gaussian, with known variance, using just two sample points. If the two sample points are separated by very much more than the width of the gaussian (i.e. they're out in the tails), then that's strong evidence the mean actually lies between them. Shifting the mean just slightly from this position will cause an exponential drop off in the probability of one sample or another.)

In summary, the situation you have described is a bit odd, and by using the model you have you've included some assumptions (e.g. unimodality) into the problem that you didn't realise you had. But otherwise, the conclusion is correct.