Чи має бета-розподіл попередньо кон'югат?

34

Я знаю, що бета-розподіл пов'язаний з двочленним. Але що таке кон'югат перед бета-версією? Дякую.

beta-distribution conjugate-prior

25

Здається, ви вже відмовились від побратима. Тільки для запису, одне, що я бачив, як люди роблять (але не пам’ятаю, де саме, вибачте), - це така перемаралізація. Якщо $X_1,\dots,X_n$ є умовно ідентичними, заданими $\alpha,\beta$ , такими, що $X_i\mid\alpha,\beta\sim\mathrm{Beta}(\alpha,\beta)$ , пам’ятайте, що

E [X_{i} ∣ α, β] = \frac{α}{α + β} =: μ

$\mathbb{E}[X_i\mid\alpha,\beta]=\frac{\alpha}{\alpha+\beta} =: \mu$ і

V a r [X_{i} ∣ α, β] = \frac{α β}{(α + β)^{2} (α + β + 1)} =: σ^{2} .

$\mathbb{Var}[X_i\mid\alpha,\beta] = \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} =: \sigma^2 \, .$ Таким чином, ви можетеперемомеризуватиймовірність у вигляді

μ

$\mu$ та

σ^{2}

$\sigma^2$ і використовувати як попереднє

σ^{2} ∣ μ \sim U [0, μ (1 - μ)] μ \sim U [0, 1] .

$\sigma^2\mid\mu \sim \mathrm{U}[0,\mu(1-\mu)] \qquad \qquad \mu\sim\mathrm{U}[0,1] \, .$ Тепер ви готові обчислити задню частину та дослідити її улюбленим обчислювальним методом.

— Дзен
джерело

4

Ні, не MCMC це! Квадратура ця штука! лише 2 параметри - квадратура є «золотим стандартом» для невеликих розмірних плакатів, як часу, так і точності.

— ймовірністьлогічний

3

Інший варіант - розглянути

як міру точності, і знову використовувати

ψ = α + β

$\psi = \alpha + \beta$

як середнє значення. Це робиться весь час за допомогою процесів Диріхле, і бета-розподіл - особливий випадок. Тож, можливо, киньте гаму або нормальний журнал до

і рівномірно на

.

μ = \frac{α}{α + β}

$\mu = \frac{\alpha}{\alpha + \beta}$

ψ

$\psi$

μ

$\mu$

— хлопець

2

Безумовно, це не сполучено, правильно?

— хлопець

3

Точно ні!

— Дзен

Привіт @Zen Я зараз маю справу з цією проблемою, але я новачок у Bayesian, і я не впевнений, чи розумію цю ідею. Я зрозумів, що ти пропонуєш знайти

а потім використовуйте репараметризацію, але, звичайно, це була не ідея. Чи можете ви мені допомогти зрозуміти?

\int_{0}^{1} \frac{1}{μ (1 - μ} d μ

$\int_{0}^{1}{\frac{1}{\mu(1-\mu}}d\mu$

— Red Noise

23

Так, він має кон'югат, що передує експоненціальній сім'ї. Розглянемо три сімейства параметрів Для деяких значеньце інтегрується, хоча я не зовсім зрозумів, які (я вважаю, щоіповинні працювати -відповідає незалежним експоненціальним розподілам, тому це безумовно працює, і супутнє оновлення передбачає збільшення

π (α, β ∣ a, b, p) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{p} \exp (a α + b β) .

$\pi(\alpha, \beta \mid a, b, p) \propto \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right).$

(a, b, p)

$(a, b, p)$

p \geq 0

$p \ge 0$

a < 0, b < 0

$a < 0, b < 0$

p = 0

$p = 0$

p

$p$

p > 0

$p > 0$

\int_{0}^{\infty} \int_{0}^{\infty} {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{p} \exp (a α + b β) = ?

$\int_0^\infty \int_0^\infty \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right) = ?$ i.e. the normalizing constant doesn't have a cloed form.

— guy
джерело

Ah. That is problematic. I was going to look for an uninformative version of the conjugate prior anyway, so looks like I might as well start with uniform priors over the two parameters. Thanks.

— Brash Equilibrium

You don't need to normalize it if you're just comparing likelihoods…

— Neil G

I think you might be missing the action of

p

$p$ in your

\exp

$\exp$ term as well. It should probably be

p a α

$pa\alpha$ , etc.

— Neil G

@NeilG

p

$p$ is in the

\exp

$\exp$ , you just have to express things in terms of

\log Γ (\dots)

$\log \Gamma(\cdots)$ instead of

Γ (\dots)

$\Gamma(\cdots)$ . Doing

p a α

$pa\alpha$ is just a reparmetrization, it changes nothing. Not sure what you mean "just comparing likelihoods". You can't implement a Gibbs sampler with this prior without using something like Metropolis, which kills the advantage of conditional conjugacy, the normalizing constant depends on

a

$a$ and

b

$b$ which kills putting a prior on them or estimating them by likelihood methods, etc...

— guy

2

@NeilG integral is over

α

$\alpha$ and

β

$\beta$ since those are the random variables.

— guy

9

In theory there should be a conjugate prior for the beta distribution. This is because

the beta distribution is one of the exponential family distributions, and
in theory it should be possible to derive a prior. See, e.g., wikipedia, D Blei's lecture on exponential families.

However the derivation looks difficult, and to quote A Bouchard-Cote's Exponential Families and Conjugate Priors

An important observation to make is that this recipe does not always yields a conjugate prior that is computationally tractable.

Consistent with this, there is no prior for the Beta distribution in D Fink's A Compendium of Conjugate Priors.

— TooTone
джерело

3

The derivation is not difficult — See my answer: mathoverflow.net/questions/63496/…

— Neil G

3

I do not believe there is a "standard" (i.e., exponential family) distribution that is the conjugate prior for the beta distribution. However, if one does exist it would have to be a bivariate distribution.

I have no idea about this question, but I did find this handy conjugate prior map that seems to support your answer: johndcook.com/conjugate_prior_diagram.html

— Justin Bozonier

The conjugate prior is in the exponential family and has three parameters — not two.

— Neil G

1

@Neil, you are definitely right. I guess I should have said it would have to have at least two parameters.

-1: this answer is clearly wrong in the claim that "conjugate prior does not exist in the exponential family", as is demonstrated in the answer above...

— Jan Kukacka

3

Robert and Casella (RC) happen to describe the family of conjugate priors of the beta distribution in Example 3.6 (p 71 - 75) of their book, Introducing Monte Carlo Methods in R, Springer, 2010. However, they quote the result without citing a source.

Added in response to gung's request for details. RC state that for distribution $B(\alpha, \beta)$ , the conjugate prior is "... of the form

π (α, β) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} x_{0}^{α} y_{0}^{β}

$\pi(\alpha,\beta) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} x_0^{\alpha} y_0^{\beta}$

where $\{\lambda, x_0, y_0\}$ are hyperparameters, since the posterior is then equal to

π (α, β | x) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} (x x_{0})^{α} ((1 - x) y_{0})^{β} . "

$\pi(\alpha,\beta \vert x) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} (xx_0)^{\alpha} ((1-x)y_0)^{\beta}."$

The remainder of the example concerns importance sampling from $\pi(\alpha,\beta \vert x)$ in order to compute the marginal likelihood of $x$ .

— user37239
джерело

2

I don't have Robert's book available but the posterior is

π (α, β) \propto {(\frac{Γ (α + β)}{Γ (α) Γ (β)})}^{λ + 1} (x x_{0})^{α - 1} {(y_{0} (1 - x))}^{β - 1}

$\pi(\alpha, \beta) \propto \left( \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha) \Gamma(\beta)} \right)^{\lambda +1} (x x_0)^{\alpha-1} \left(y_0 (1-x) \right)^{\beta-1}$ . Robert also posted on this topic here mathoverflow.net/questions/20399/…

— Fred Schoen

1

I humbly recommend that the original poster updates the post to indicate that the posterior given in the textbook is incorrect, per Fred Schoen's comment (which is easily verified).

— RMurphy