Скільки сторін має штамп? Байєсівські умовиводи в JAGS

Проблема

Я хотів би зробити якийсь висновок у системі, аналогічній тому, щоб померти з невідомою кількістю сторін. Штамп прокочується кілька разів, після чого я хотів би зробити розподіл ймовірності за параметром, відповідним кількості сторін, що має штамб, θ.

Інтуїція

Якщо після 40 рулонів ви спостерігали 10 червоних, 10 блюзових, 10 зелених та 10 жовтих, здається, що θ має досягти максимальної позначки в 4, а ухили кочення кожної сторони - це розподіли, орієнтовані на 1/4.

θ має тривіальну нижню межу, що є числом різних сторін, що спостерігаються в даних.

Верхня межа досі невідома. Може бути п'ята сторона, яка, мабуть, мала б ухил. Чим більше даних ви спостерігаєте, що не вистачає п'ятої категорії, тим вище задня ймовірність θ = 4.

Підхід

Я використовував JAGS для подібних проблем (через R і rjags), що тут здається доречним.

Щодо даних, скажімо, obs <- c(10, 10, 10, 10)щоб відповідати спостереженням у наведеному вище прикладі.

Я думаю, що спостереження повинні моделюватися з багаточленним розподілом obs ~ dmulti(p, n), де p ~ ddirch(alpha)і n <- length(obs).

θ пов'язаний із кількістю категорій, на які мається на увазі alpha, тож як я можу моделювати, alphaщоб охопити різні можливі числа категорій?

Альтернативи?

Я досить новачок у байєсівських аналізах, тому, можливо, цілком гавкає неправильне дерево, чи є альтернативні моделі, які можуть дати різні уявлення про цю проблему?

Дуже дякую! Девід

r probability bayesian jags

— davipatti
джерело

Ця цікава проблема під назвою "вибірка виду", яка приділяла багато уваги протягом багатьох років і охоплює багато інших проблем з оцінкою (наприклад, повторне захоплення знаків). Досить сказати, JAGS не допоможе вам у цьому випадку - JAGS не може обробляти ланцюги Маркова зі змінним розміром через ітерації. Слід скористатися схемою MCMC, розробленою для таких проблем, як, наприклад, оборотний стрибок MCMC.

Ось один підхід, який підходить для конкретної моделі, яку ви описуєте, з якою я вперше зіткнувся в роботі Джеффа Міллера ( архівно ).

Частина I (оригінальне запитання)

Одне з припущень, яке я висловлю, полягає в тому, що спостереження даної категорії передбачає існування категорій меншого рангу. Тобто, спостереження за валкою на боці 9 передбачає наявність сторін 1-8. Це не повинно бути таким - категорії можуть бути довільними - але я припускаю це у своєму прикладі. Це означає, що 0 значень можна спостерігати, на відміну від інших проблем з оцінкою видів.

Скажімо, у нас є мультиноміальний зразок,

Y = {y_{1}, y_{2}, \dots, y_{m}, y_{m + 1}, \dots, y_{n}} \sim M ({p_{1}, p_{2}, \dots, p_{m}, p_{m + 1}, \dots, p_{n}})

$Y = \{y_1, y_2, \dots, y_m, y_{m+1}, \dots, y_{n} \} \sim \mathcal{M}(\{p_1, p_2, \dots, p_m, p_{m+1}, \dots, p_n\})$

де - максимальна спостережувана категорія, - (невідомо) кількість категорій, а всі дорівнює 0. Параметр кінцевий, і нам потрібен пріоритет для цього. Будь-який дискретний, власний попередній з підтримкою на буде працювати; візьмемо для прикладу нуль усічений Пуассон: $m$ $n$ $\{y_{m+1},\dots,y_{n}\}$ $n$ $[1, \infty)$

n \sim P (λ), n > 0

$n \sim \mathcal{P}(\lambda), n > 0$

Зручним пріоритетом для мультиноміальних ймовірностей є Діріхлет,

P = {p_{1}, \dots, p_{n}} \sim D ({α_{1}, \dots, α_{n}})

$P = \{ p_1, \dots, p_n \} \sim \mathcal{D}(\{ \alpha_1, \dots, \alpha_n \})$

А для простого припущення . $\alpha_1 = \alpha_2 = \dots = \alpha_n = \tilde{\alpha}$

Щоб зробити проблему більш зрозумілою, ми обмежуємо ваги:

p (Y | \tilde{α}, n) = \int_{P} p (Y | P, n) p (P | \tilde{α}, n) d P

$p(Y|\tilde{\alpha}, n) = \int_P p(Y|P, n)p(P|\tilde{\alpha}, n) dP$

Що в цьому випадку призводить до добре вивченого Діріхле-мультиномного розподілу. Мета полягає в тому, щоб оцінити умовний задній,

p (n | Y, \tilde{α}, λ) = \frac{p (Y | n, \tilde{α}) p (n | λ)}{p (Y | \tilde{α}, λ)}

$p(n|Y, \tilde{\alpha}, \lambda) = \frac{ p(Y|n, \tilde{\alpha}) p(n|\lambda) }{ p(Y|\tilde{\alpha}, \lambda) }$

Де я чітко припускаю, що і є фіксованими гіперпараметрами. Неважко помітити, що: $\tilde{\alpha}$ $\lambda$

p (Y | \tilde{α}, λ) = \sum_{n = 1}^{\infty} p (Y | n, \tilde{α}) p (n | λ)

$p(Y|\tilde{\alpha}, \lambda) = \sum_{n=1}^\infty p(Y|n, \tilde{\alpha}) p(n|\lambda)$

Де де . Ця нескінченна серія повинна сходитися досить швидко (доки хвіст на попередньому не надто важкий), і так легко наблизитись. Для усіченого Пуассона він має вигляд: $p(Y|n, \tilde{\alpha}) = 0$ $n < m$

p (Y | \tilde{α}, λ) = \frac{1}{(e^{λ} - 1)} \sum_{n = m}^{\infty} \frac{Γ (n \tilde{α}) \prod_{i = 1}^{n} Γ (y_{i} + \tilde{α})}{Γ (n \tilde{α} + \sum_{i = 1}^{n} y_{i}) Γ (\tilde{α})^{n}} \cdot \frac{λ^{n}}{n!}

$p(Y|\tilde{\alpha}, \lambda) = \frac{1}{(e^\lambda - 1)} \sum_{n=m}^\infty \frac{\Gamma(n\tilde{\alpha})\prod_{i=1}^n \Gamma(y_i + \tilde{\alpha})}{\Gamma(n\tilde{\alpha} + \sum_{i=1}^n y_i) \Gamma(\tilde{\alpha})^n} \cdot \frac{\lambda^n}{n!}$

Призводить до:

p (n | Y, \tilde{α}, λ) = \frac{Γ (n \tilde{α}) \prod_{i = 1}^{n} Γ (y_{i} + \tilde{α})}{Γ (n \tilde{α} + \sum_{i = 1}^{n} y_{i}) Γ (\tilde{α})^{n}} \cdot \frac{λ^{n}}{n!} \cdot {(\sum_{j = m}^{\infty} \frac{Γ (j \tilde{α}) \prod_{i = 1}^{j} Γ (y_{i} + \tilde{α})}{Γ (j \tilde{α} + \sum_{i = 1}^{j} y_{i}) Γ (\tilde{α})^{j}} \cdot \frac{λ^{j}}{j!})}^{- 1}

$p(n|Y,\tilde{\alpha}, \lambda) = \frac{\Gamma(n\tilde{\alpha})\prod_{i=1}^n \Gamma(y_i + \tilde{\alpha})}{\Gamma(n\tilde{\alpha} + \sum_{i=1}^n y_i) \Gamma(\tilde{\alpha})^n} \cdot \frac{\lambda^n}{n!} \cdot \left(\sum_{j=m}^\infty \frac{\Gamma(j\tilde{\alpha})\prod_{i=1}^j \Gamma(y_i + \tilde{\alpha})}{\Gamma(j\tilde{\alpha} + \sum_{i=1}^j y_i) \Gamma(\tilde{\alpha})^j} \cdot \frac{\lambda^j}{j!}\right)^{-1}$

Яка підтримка на . У цьому випадку MCMC не потрібен, оскільки нескінченний ряд у знаменнику правила Байєса можна наблизити без особливих зусиль. $[m, \infty)$

Ось неохайний приклад в R:

logPosteriorN <- function(max, Y, lambda, alpha){
    m <- length(Y)
    sumy <- sum(Y)
    pp <- sapply(1:max, function(j){
        prior <- log(lambda)*j - log(exp(lambda)-1) - lgamma(j+1)
        posterior <- lgamma(alpha*j) + sum(lgamma(Y + alpha)) - j*lgamma(alpha) - lgamma(sumy + j*alpha)
        if( j > m ) { posterior <- posterior + (j-m)*lgamma(alpha) } 
        else if( j < m ) { posterior = -Inf }
        prior + posterior
        })
    evidence <- log(sum(exp(pp))) # there's no check that this converges
    pp - evidence
}

## with even representation of sides
Y <- c(10, 10, 10, 10)
post <- logPosteriorN(30, Y, 10, 1.2)
plot(1:30, exp(post), pch=19, type="b")

## with uneven representation of sides
Y <- c(1, 2, 1, 0, 0, 2, 1, 0, 1)
post <- logPosteriorN(30, Y, 10, 1.2)
plot(1:30, exp(post), pch=19, type="b")

Ваша інтуїція правильна: рідкісний вибірки по категоріях призводить до більшої невизначеності щодо загальної кількості категорій. Якщо ви хочете розглянути як невідомий параметр, вам потрібно буде використовувати MCMC та чергувати оновлення та . $\tilde{\alpha}$ $n$ $\tilde{\alpha}$

Звичайно, це один підхід до оцінки. Ви легко знайдете інших (байєсівських та не-байезійських смаків), трохи зайнявшись пошуком.

Частина II (Відповідь на коментар)

$Y = \{y_1, \dots, y_m, y_{m+1}, \dots, y_n \}$ - частково спостережуваний багаточленний вектор з відповідними ймовірностями : $\Omega = \{\omega_1, \dots, \omega_m, \omega_{m+1}, \dots, \omega_n\}$

P r (Y | Ω, n) = \frac{Γ (\sum_{i = 1}^{n} y_{i} + 1)}{\prod_{i = 1}^{n} Γ (y_{i} + 1)} \prod_{i = 1}^{n} ω_{i}^{y_{i}}

$\mathrm{Pr}(Y|\Omega, n) = \frac{\Gamma(\sum_{i=1}^n y_i + 1)}{\prod_{i=1}^n \Gamma(y_i + 1) } \prod_{i=1}^n \omega_i^{y_i}$

Де , і але в іншому випадку індекси атрибутивні. Як і раніше, проблема полягає в тому, щоб визначити справжню кількість категорій , і ми почнемо з пріоритету з таких як нульовий усілений Пуассон: $y \in \mathbb{N}$ $y_1 \dots y_m > 0$ $y_{m+1} \dots y_n = 0$ $n$ $n$

P r (n | λ) = \frac{λ^{n}}{(\exp {λ} - 1) n!}, n \in Z^{+}

$\mathrm{Pr}(n|\lambda) = \frac{\lambda^{n}}{(\exp\{\lambda\} - 1)n!},~n \in \mathbb{Z}^+$

Так само, як і раніше, ми розглядаємо мультиноміальні ймовірності як Діріхлет, розподілений симетричним гіперпараметром , тобто для заданого , $\Omega$ $\tilde{\alpha}$ $n$

P r (Ω | \tilde{α}, n) = \frac{Γ (n \tilde{α})}{Γ (\tilde{α})^{n}} \prod_{i = 1}^{n} ω_{i}^{\tilde{α} - 1}

$\mathrm{Pr}(\Omega|\tilde{\alpha}, n) = \frac{\Gamma(n\tilde{\alpha})}{\Gamma(\tilde{\alpha})^n} \prod_{i=1}^n \omega_i^{\tilde{\alpha}-1}$

Інтегрування (маргіналізація) над вектором ймовірностей дає багаточлен Діріхле:

P r (Y | \tilde{α}, n) = \int P r (Y | Ω, n) P r (Ω | \tilde{α}, n) = \frac{Γ (n \tilde{α})}{Γ (\sum_{i = 1}^{n} y_{i} + n \tilde{α}) Γ (\tilde{α})^{n}} \prod_{i = 1}^{n} Γ (y_{i} + \tilde{α})

$\mathrm{Pr}(Y|\tilde{\alpha}, n) = \int \mathrm{Pr}(Y|\Omega, n) \mathrm{Pr}(\Omega|\tilde{\alpha}, n) = \frac{\Gamma(n \tilde{\alpha})} {\Gamma(\sum_{i=1}^n y_i + n \tilde{\alpha}) \Gamma(\tilde{\alpha})^n} \prod_{i=1}^n \Gamma(y_i + \tilde{\alpha})$

Ось де ми розходимося з моделлю в частині I вище. У частині I було неявне впорядкування категорій: наприклад, у однобічній штампі категорії (сторони) мають неявне впорядкування, а спостереження будь-якої категорії означає існування менших категорій . У ІІ частині ми маємо частково спостережуваний багаточленний випадковий вектор, який не має явного впорядкування. Іншими словами, дані являють собою не упорядкований розділ точок даних на спостережуваних категорій. Я позначаю не упорядкований розділ, який є результатом доповненого незабезпеченими категоріями, як . $n$ $i \in \{1 \dots n\}$ $j < i$ $m \leq n$ $Y$ $n-m$ $\mathcal{P}[Y]$

Ймовірність не упорядкованого розділу, обумовленого справжньою кількістю категорій , можна визначити, враховуючи кількість перестановок категорій, які призводять до одного і того ж розділу: $n$

P r (P [Y] | \tilde{α}, n) = \frac{n!}{(n - m)!} P r (Y | \tilde{α}, n)

$\mathrm{Pr}(\mathcal{P}[Y]|\tilde{\alpha}, n) = \frac{n!}{(n-m)!} \mathrm{Pr}(Y|\tilde{\alpha}, n)$

І це можна інтегрувати через щоб дати: $n$

P r (P [Y] | \tilde{α}, λ) = \sum_{j = m}^{\infty} P r (P [Y] | \tilde{α}, n) P r (n | λ)

$\mathrm{Pr}(\mathcal{P}[Y]|\tilde{\alpha}, \lambda) = \sum_{j=m}^{\infty} \mathrm{Pr}(\mathcal{P}[Y]|\tilde{\alpha}, n) \mathrm{Pr}(n|\lambda)$

Використовуючи правило Байєса для отримання posterior:

P r (n | P [Y], \tilde{α}, λ) = \frac{P r (P [Y] | n, \tilde{α}) P r (n | λ)}{P r (P [Y] | \tilde{α}, λ)}

$\mathrm{Pr}(n|\mathcal{P}[Y], \tilde{\alpha}, \lambda) = \frac{\mathrm{Pr}(\mathcal{P}[Y]|n, \tilde{\alpha}) \mathrm{Pr}(n|\lambda)}{\mathrm{Pr}(\mathcal{P}[Y]|\tilde{\alpha}, \lambda)}$

Просто підключіться до наведених вище визначень. Знову ж, знаменник - це нескінченний ряд, який швидко сходиться: у цій простій моделі MCMC не потребує адекватного наближення.

Змінюючи код R з частини I:

logPosteriorN_2 <- function(max, Y, lambda, alpha){
    m <- length(Y)
    sumy <- sum(Y)
    pp <- sapply(1:max, function(j){
        prior <- log(lambda)*j - log(exp(lambda)-1) - lgamma(j+1)
        likelihood <- lchoose(j, m) + lgamma(m + 1) + lgamma(alpha*j) + sum(lgamma(Y + alpha)) - j*lgamma(alpha) - lgamma(sumy + j*alpha)
        if( j > m ) { likelihood <- likelihood + (j-m)*lgamma(alpha) } 
        else if( j < m ) { likelihood = -Inf }
        prior + likelihood
        })
    evidence <- log(sum(exp(pp))) # there's no check that this converges
    pp - evidence
}

Y_1 <- rep(10, 15)
pos_1 <- logPosteriorN_2(50, Y_1, 6, 1)
plot(1:50, exp(pos_1))

— Нейт Папа
джерело

Велике спасибі за вашу дуже повну відповідь. (Вибачте за мою дуже повільну відповідь). Я повернувся до такого типу питань і все ще працюю над математикою. У моїй системі категорії не є порядковими, тому припущення, що спостереження даної категорії передбачає існування категорій меншого рангу, є недійсним.

— davipatti

@davipatti Відповів у другій частині.

— Нейт-папа