Який взаємозв'язок між розміром вибірки та впливом попереднього на заднє?

Якщо у нас невеликий розмір вибірки, чи вплине попередній розподіл на задній розподіл сильно?

Так. Задній розподіл для параметра , заданий набором даних може бути записаний як$\theta$${\bf X}$

$$p(\theta | {\bf X}) \propto \underbrace{p({\bf X} | \theta)}_{{\rm likelihood}} \cdot \underbrace{p(\theta)}_{{\rm prior}}$$

або, як це частіше відображається в масштабі журналу,

$$\log( p(\theta | {\bf X}) ) = c + L(\theta;{\bf X}) + \log(p(\theta))$$

Логарифмічна функція правдоподібності, $L(\theta;{\bf X}) = \log \left( p({\bf X}|\theta) \right)$ , ваги з розміром вибірки , оскільки вона є функцією від даних, тоді як попередня щільність не робить. Отже, зі збільшенням розміру вибірки абсолютне значення $L(\theta;{\bf X})$ збільшується, поки $\log(p(\theta))$ залишається фіксованим (для фіксованого значення $\theta$ ), таким чином сума $L(\theta;{\bf X}) + \log(p(\theta))$ стає більш сильним впливом $L(\theta;{\bf X})$ зі збільшенням розміру вибірки.

Тому безпосередньо відповісти на ваше запитання - попередній розподіл стає все менш актуальним, оскільки він переважає ймовірність. Отже, для невеликого розміру вибірки попередній розподіл відіграє значно більшу роль. Це узгоджується з інтуїцією, оскільки, ви б очікували, що попередні технічні характеристики відіграватимуть більшу роль, коли не буде великої кількості даних, щоб спростувати їх, тоді як, якщо розмір вибірки дуже великий, сигнал, присутній у даних, буде переважувати будь- який апріор переконання були закладені в модель.

Ось спроба проілюструвати останній абзац у відмінній (+1) відповіді Макрона. Він показує два пріори для параметра у розподілі . Для кількох різних задні розподіли відображаються, коли спостерігається . У міру зростання обидва плакати стають все більш і більше зосередженими навколо .Б я н о м я л ( п , р ) п х = п / 2 п 1 /$p$${\rm Binomial}(n,p)$$n$$x=n/2$$n$$1/2$

Для різниця досить велика, але для різниці практично немає.$n=2$$n=50$

Два приори нижче: (чорний) та (червоний). Плакати мають ті ж кольори, що і пріорі, з яких вони походять.${\rm Beta(1/2,1/2)}$${\rm Beta(2,2)}$

(Зверніть увагу, що для багатьох інших моделей та інших пріорів, буде недостатньо для попереднього, що не має значення!)$n=50$