Нормалізуюча константа в теоремі Байєса

15

Я читав , що в правилі Байеса, знаменник з $\Pr(\textrm{data})$

Pr (parameters ∣ data) = \frac{Pr (data ∣ parameters) Pr (parameters)}{Pr (data)}

$\Pr(\text{parameters} \mid \text{data}) = \frac{\Pr(\textrm{data} \mid \textrm{parameters}) \Pr(\text{parameters})}{\Pr(\text{data})}$

називається нормою, що нормалізується . Що це саме? Яке його призначення? Чому це схоже на $\Pr(data)$ ? Чому це не залежить від параметрів?

probability bayesian

— любительська
джерело

4

Коли ви інтегруєте , ви інтегруєтесь за параметрами, і тому результат не має терміна залежно від параметрів, так само, як не залежить від .

f (data | params) f (params)

$f(\text{data}|\text{params})f(\text{params})$

\int_{x = 0}^{x = 2} x y d x = 2 y

$\int_{x=0}^{x=2}xy\;dx = 2y$

x

$x$

— Генрі

16

Знаменник отримують шляхом інтеграції параметрів із ймовірності приєднання, . Це гранична ймовірність даних, і, звичайно, це не залежить від параметрів, оскільки вони були інтегровані. $\Pr(\textrm{data})$ $\Pr(\textrm{data}, \textrm{parameters})$

Тепер, оскільки:

$\Pr(\textrm{data})$ не залежить від параметрів, за якими хочеться зробити висновок;
$\Pr(\textrm{data})$ загалом важко обчислити у закритій формі;

часто використовується наступна адаптація формули Бая:

$\Pr(\textrm{parameters} \mid \textrm{data}) \propto \Pr(\textrm{data} \mid \textrm{parameters}) \Pr(\textrm{parameters})$

В основному, - це не що інше, як "нормалізуюча константа", тобто константа, яка змушує задню щільність інтегруватися в одну . $\Pr(\textrm{data})$

— окрам
джерело

2

Що ви точно маєте на увазі під " інтегруванням параметрів"? Яке точне значення "інтеграції" в цей контекст?

— nbro

2

@nbro: я маю на увазі Pr (дані) = інтеграл над параметрами Pr (дані, параметри)

— ocram

2

Застосовуючи правило Байєса, ми зазвичай хочемо зробити висновок про "параметри", а "дані" вже задані. Таким чином, є постійною, і ми можемо вважати, що це просто нормалізуючий фактор. $\Pr(\textrm{data})$

— Різкий
джерело