Як неправильне попереднє приведення до правильного заднього розподілу?

Ми знаємо, що у разі правильного попереднього розповсюдження,

$P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)}$

$\propto P(X \mid \theta)P(\theta)$ .

Звичайне обгрунтування цього кроку полягає в тому, що граничний розподіл , є постійним відносно і може бути ігнорований при виведенні заднього розподілу. $X$ $P(X)$ $\theta$

Однак, у випадку неправильного попереднього, як ви знаєте, що задній розподіл насправді існує? Здається, щось не вистачає в цьому, здавалося б, круговому аргументі. Іншими словами, якщо я припускаю, що заднє існує, я розумію механіку виведення задньої, але, здається, мені не вистачає теоретичного обгрунтування того, чому воно взагалі існує.

PS Я також визнаю, що бувають випадки, коли неправильний попередній привід призводить до неправильної задньої.

— jsk
джерело

Відповіді:

Ми, як правило, приймаємо афіші від неправильних пріорів якщо існує і є дійсним розподілом ймовірності (тобто, вона інтегрується рівно до 1 над підтримкою). По суті, це зводиться до є кінцевим. Якщо це так, то ми називаємо цю кількість і приймаємо її як задній розподіл, який ми хочемо. Однак важливо відзначити, що це НЕ задній розподіл, а також не умовний розподіл ймовірностей (ці два терміни є синонімами в контексті тут). $\pi(\theta)$

\frac{π (X ∣ θ) π (θ)}{π (X)}

$\frac{\pi(X \mid \theta) \pi(\theta)}{\pi(X)}$

π (X) = \int π (X ∣ θ) π (θ) d θ

$\pi(X) = \int \pi(X \mid \theta) \pi(\theta) \,d\theta$

π (θ ∣ X)

$\pi(\theta \mid X)$

Тепер я сказав, що ми приймаємо "задню" дистрибуцію від неналежних пріорів з огляду на вищезазначене. Причина, яку вони приймають, полягає в тому, що пріоритет все ще дасть нам відносні «бали» на просторі параметрів; тобто співвідношення вносить сенс у наш аналіз. Значення, яке ми отримуємо від неправильних пріорів, в деяких випадках може бути недоступним у власних приорах. Це потенційне виправдання для їх використання. Дивіться відповідь Серхіо для більш ретельного вивчення практичної мотивації для неправомірних пріорів. $\pi(\theta)$ $\frac{\pi(\theta_1)}{\pi(\theta_2)}$

Варто зазначити, що ця кількість також має бажані теоретичні властивості, Degroot & Schervish : $\pi(\theta \mid X)$

Неправильні пріори не є істинними розподілами ймовірностей, але якщо ми зробимо вигляд, що вони є, ми обчислимо задній розподіл, який наближається до позиціонерів, які ми отримали б за допомогою правильних спряжених пріорів із екстремальними значеннями попередніх гіперпараметрів.

Мене бентежить кілька речей у вашій відповіді. Ви кажете, що ми приймаємо плакатів, якщо вищесказане обмежено. Чи означає це, якщо цей інтеграл не є кінцевим, задній не буде кінцевим? Крім того, вам здається, ви маєте на увазі, що ми використовуємо заднє в цьому випадку, але це не реальна дистрибуція - це правильно? чи не буває випадків, коли це реальний розподіл? Крім того, яке відношення до пріорів стосується цього? Я не бачу зв'язку.

— Бен Елізабет Уорд

@BenElizabethWard Якщо існує, то інтеграл повинен існувати (і, таким чином, бути кінцевим). Протиположне так само: якщо не існує (нескінченно), то не існує. Коли він існує і є дійсним розподілом ймовірностей, є розподілом ймовірностей. Однак це не задній розподіл для із заданими вірогідністю даних . Задня для цього попереднього не існує. Ми приймаємо в нашому аналізі, оскільки це наближення.

π (θ ∣ X)

$\pi(\theta \mid X)$

π (X)

$\pi(X)$

π (X)

$\pi(X)$

π (θ ∣ X)

$\pi(\theta \mid X)$

π (θ ∣ X)

$\pi(\theta \mid X)$

π (θ)

$\pi(\theta)$

π (X ∣ θ)

$\pi(X \mid \theta)$

π (θ ∣ X)

$\pi(\theta \mid X)$

@BenElizabethWard Коефіцієнт був використаний, щоб продемонструвати, що попереднє все ще містить корисну інформацію, яку ми, можливо, не зможемо завантажити у відповідний попередній. Я відредагую свою відповідь, щоб включити цю.

@jsk не є розподілом ймовірностей, але визначення заднього розподілу вимагає, щоб був розподілом ймовірностей, тому обман називати задній розподілом коли це розподіл ймовірностей. Degroot & Schervish кажуть, що ".. ми обчислимо задні розподіли, які ..", за якими вони припускають, що ви погодилися "робити вигляд, що вони [неналежні пріорі] є [належними пріорами]", як це було виражено раніше в цитаті.

π (θ)

$\pi(\theta)$

π (θ)

$\pi(\theta)$

π (θ ∣ X)

$\pi(\theta \mid X)$

Щоб відповідь була повноцінною та самодостатньою, щоб майбутнім читачам не довелося читати цей обмін коментарями, ви хочете оновити свою відповідь?

— jsk

Є "теоретична" відповідь і "прагматична".

З теоретичної точки зору, коли пріоритет є неправильним, задній не існує (ну, подивіться на відповідь Метью щодо звукозапису), але може бути наближений обмежувальною формою.

Якщо дані містять умовно ідентичний зразок з розподілу Бернуллі з параметром , а має бета-розподіл з параметрами і , задній розподіл - це бета-розподіл з параметрами ( спостереження, успіхи ) та його середнє значення $\theta$ $\theta$ $\alpha$ $\beta$ $\theta$ $\alpha + s, \beta+n-s$ $n$ $s$ $(\alpha+s)/(\alpha+\beta+n)$ . Якщо ми використаємо неправильний (і нереальний) бета-розподіл до попередніх гіперапараметрів , і зробимо вигляд, що , отримаємо належний задній розмір, пропорційний , тобто pdf бета-розподілу з параметрами та $\alpha=\beta=0$ $\pi(\theta)\propto\theta^{-1}(1-\theta)^{-1}$ $\theta^{s-1}(1-\theta)^{n-s-1}$ $s$ $n-s$ крім постійного фактора. Це обмежувальна форма задньої частини бета-версії до параметрів та (Degroot & Schervish, приклад 7.3.13). $\alpha\to 0$ $\beta\to 0$

У звичайній моделі із середнім відома дисперсія та попереднього розподілу для , якщо попередня точність, , мала відносно точності даних, , то задній розподіл приблизно такий, як якщо : $\theta$ $\sigma^2$ $\mathcal{N}(\mu_0,\tau^2_0)$ $\theta$ $1/\tau^2_0$ $n/\sigma^2$ $\tau^2_0=\infty$ тобто задній розподіл приблизно такий, який був би результатом припущення, щопропорційний константі при, розподіл, який не є строго можливим, але обмежує форму задніх, оскільки підходівіснує (Gelman et al., p. 52).

p (θ ∣ x) \approx N (θ ∣ \bar{x}, σ^{2} / n)

$p(\theta\mid x)\approx \mathcal{N}(\theta\mid\bar{x},\sigma^2/n)$

p (θ)

$p(\theta)$

θ \in (- \infty, \infty)

$\theta\in(-\infty,\infty)$

τ_{0}^{2}

$\tau^2_0$

\infty

$\infty$

З "прагматичної" точки зору, коли б не було , тож якщо в , тоді $p(x\mid\theta)p(\theta)=0$ $p(x\mid\theta)=0$ $p(\theta)$ $p(x\mid\theta)\ne 0$ $(a,b)$ . Неправильні пріори можуть бути використані для представленнялокальноїповедінки попереднього розподілу в регіоні, де ймовірність помітна, скажімо, . Припускаючи, що для достатнього наближення a, наступні такі форми, як або $\int_{-\infty}^{\infty}p(x\mid\theta)p(\theta)d\theta=\int_a^b p(x\mid\theta)p(\theta)d\theta$ $(a,b)$ $f(x)=k, x\in(-\infty,\infty)$ лише над , що він належним чином дорівнює нулю за межами цього діапазону, ми впевнені, що використовувані пріори є правильними (Box і Tiao, p. 21 ). Отже, якщо попередній розподіл є але обмежений, це як би $f(x)=kx^{-1}, x\in(0,\infty)$ $(a,b)$ $\theta$ $\mathcal{U}(-\infty,\infty)$ $(a,b)$ , тобто . На конкретному прикладі це те, що відбувається вСтен: якщо для параметра не вказано жодного попереднього значення, то імпліцитно надається рівномірний при його підтримці, і це обробляється як множення ймовірності на постійну. $\theta\sim\mathcal{U}(a,b)$ $p(x\mid\theta)p(\theta)=p(x\mid\theta)k\propto p(x\mid\theta)$

— Серхіо
джерело

Чи можете ви сказати більше про те, чому вона не існує з теоретичної точки зору?

— jsk

Я не міг викласти кращого за Метью у своїй відповіді та коментарях.

— Серхіо

У прагматичному розділі що це? Також у цьому розділі, чи повинні деякі з

термінів бути ймовірністю

p (θ ∣ x)

$p(\theta \mid x)$

p (x ∣ θ)

$p(x\mid \theta)$

— jsk

P (θ) = k x^{- 1}

$P(\theta)=kx^{-1}$

x

$x$

P (θ) = k θ^{- 1}

$P(\theta)=k\theta^{-1}$

y

$y$

x

$x$

ξ (.)

$\xi(.)$

Однак, у випадку неправильного попереднього, як ви знаєте, що задній розподіл насправді існує?

Задній також може бути невідповідним. Якщо пріоритет є неправильним і ймовірність є плоскою (оскільки немає значущих спостережень), то задня дорівнює попередньому і також є неправильною.

Зазвичай у вас є деякі спостереження, і зазвичай ймовірність не є плоскою, тому заднє є правильним.

— Ніл Г
джерело