Чому розподіл Діріхле є пріоритетним для багаточленного розподілу?

36

У алгоритмі теми теми LDA я бачив це припущення. Але я не знаю, чому обрав диріхлет? Я не знаю, чи можемо ми використовувати уніфікований розподіл по Multinomial як пару?

bayesian dirichlet-distribution conjugate-prior

— ColinBinWang
джерело

5

Рівномірний розподіл є особливим випадком розподілу диріхлету.

— Stumpy Joe Pete

60

Розподіл Діріхле - це кон'югат, що передує багаточленному розподілу. Це означає, що якщо попереднім розподілом багаточленних параметрів є Діріхлет, то задній розподіл також є розподілом Діріхле (з параметрами, відмінними від попередніх). Перевага цього полягає в тому, що (a) задній розподіл легко обчислити, і (b) в деякому сенсі можна кількісно оцінити, наскільки змінилися наші переконання після збору даних.

Звичайно, можна обговорити, чи є це вагомі причини для вибору конкретного попереднього, оскільки ці критерії не пов'язані з фактичними попередніми переконаннями ... Тим не менш, споріднені пріори популярні, оскільки вони часто є досить гнучкими та зручними у використанні з причин, зазначених вище .

Для особливого випадку мультиноміального розподілу нехай є вектором мультиноміальних параметрів (тобто ймовірностей для різних категорій). Якщо до збору даних, то, враховуючи спостереження у різних категоріях, $(p_1,\ldots,p_k)$

(p_{1}, \dots, p_{к}) \sim Діріхлет (α_{1}, \dots, α_{к})

$(p_1,\ldots,p_k)\sim \mbox{Dirichlet}(\alpha_1,\ldots,\alpha_k)$

(x_{1}, \dots, x_{k})

$(x_1,\ldots,x_k)$

(p_{1}, \dots, p_{к}) | (х_{1}, \dots, х_{к}) \sim Діріхлет (α_{1} + х_{1}, \dots, α_{к} + х_{к}) .

$(p_1,\ldots,p_k)\Big|(x_1,\ldots,x_k)\sim \mbox{Dirichlet}(\alpha_1+x_1,\ldots,\alpha_k+x_k).$

Рівномірний розподіл - це фактично особливий випадок розподілу Діріхле, відповідний випадку . Так є найменш інформативний попередній Джефріс , для якого . Той факт, що клас Діріхле включає ці природні «неінформативні» пріори, є ще однією причиною їх використання. $\alpha_1=\alpha_2=\cdots=\alpha_k=1$ $\alpha_1=\cdots=\alpha_k=1/2$

— MånsT
джерело

Таким чином, ми вибираємо дирихлетський розподіл для цих переваг

— ColinBinWang

1

+1: Ви можете чітко сказати, що ймовірність обов'язково є Діріхле, через що задній розподіл легко обчислити.

— Ніл Г

18

На додаток, а не протиріччя з відповіддю Мен Т , я просто зазначаю, що в байесовському моделюванні такого поняття немає як "попереднє"! Розподіл Диріхле є зручним вибором через (а) кон'югацію, (б) обчислення та (в) зв’язок з непараметричною статистикою (оскільки це дискретизована версія процесу Діріхле).

Однак (i) все, що раніше ви ставите на ваги мультином, є правомірною відповіддю на суб'єктивному рівні Байєса, і (ii) у разі наявності попередньої інформації немає ніяких причин, щоб це спростило розподіл Діріхле. Зауважимо також, що суміші та згортання розподілів Діріхле можна використовувати в якості пріорів.

— Сіань
джерело