Мультиноміальна-Діріхле модель з гіперприорним розподілом за параметрами концентрації

10

Я спробую описати проблему якнайбільше загальної. Я моделюю спостереження як категоричне розподіл з параметром тети вектора ймовірності.

Тоді я припускаю, що тета вектора параметрів слідує за попереднім розподілом Діріхле з параметрами . $\alpha_1,\alpha_2,\ldots,\alpha_k$

Чи можливо тоді також накласти гіперприорний розподіл за параметрами ? Чи повинен це бути багатоваріантний розподіл, такий як категоричний та диріхлетовий розподіли? Мені здається, альфи завжди позитивні, тому гамма-гіперприор повинен працювати. $\alpha_1,\alpha_2,\ldots,\alpha_k$

Не впевнений, чи хтось намагався встановити такі (можливо) надпараметризовані моделі, але мені здається розумним думати, що альфа не слід фіксувати, а скоріше виходити з гамма-дистрибуції.

Будь ласка, спробуйте надати мені кілька посилань, розуміння того, як я міг би спробувати такий підхід на практиці.

— Днайел
джерело

Так, це можливо і це зроблено. Взагалі це називається ієрархічною моделлю Баєса. Переважно, цей пріоритет повинен враховувати можливі залежності.

@Procrastinator дякую. чи є у вас посилання на хороші баєсові ієрархічні моделі, що стосуються подібних моделей? Дякую.

— Днайел

@Procrastinator: Чи доручили вам отримати будь-які документи / доповіді чи ідеально практичні документи про застосування ієрархічних моделей Баєса?

— Жубарб

12

$\alpha_1 = \alpha_2 = ... \alpha_K$ $\alpha<1$ $\alpha>1$

У тих випадках, коли немає сильних очікувань ні на рідкісні, ні на щільні мультиноміальні розподіли, розміщення гіперприору над розподілом Діріхле надає вашій моделі деяку додаткову гнучкість вибору між ними.

\begin{array}{rcl} β & \sim & D i r i c h l e t (1) \\ λ & \sim & E x p o n e n t i a l (\cdot) \\ θ & \sim & D i r i c h l e t (β λ) \end{array}

$\begin{eqnarray} \beta &\sim &Dirichlet(1)\\ \lambda& \sim &Exponential(\cdot)\\ \theta& \sim &Dirichlet(\beta\lambda) \end{eqnarray}$

Додатковий Діріхле - це просто уникати нав'язування симетрії.

Я також бачив, як люди застосовують лише гіперматеріальні гамми до диріхле в контексті прихованих марківських моделей з розподілом багаточленних викидів, але я не можу знайти посилання. Крім того, схоже, я натрапив на подібні передумови, які використовуються в моделях тем.

— джерад
джерело

Спасибі велику відповідь! У мене є одне коротке спостереження Q, чи дозволить ця модель відрізнятись варіабельністю для кожного з тетів? У мене є це питання, оскільки параметр лямбда-параметри поділяється у всіх тетах, тому всі вони мають один і той же параметр масштабування, тому мені було цікаво, у випадку наддисперсії модель забезпечить таку гнучкість. Ваша інтуїція / знання тут дуже цінується! Дякую!

— Днайел

D i r i c h l e t (0.2, 0.2, 0.2, 0.2)

$Dirichlet(0.2, 0.2, 0.2, 0.2)$

θ

$\theta$

θ

$\theta$

β

$\beta$

4

Щоб продемонструвати розв’язання цієї гіперперіодичної проблеми, я реалізував ієрархічну модель гамма-Діріхле-багаточлен у PyMC3. Гамма до Діріхле визначається та відбирається на вибір у блозі Теда Даннінга .

Модель, яку я реалізував, можна знайти в цьому Gist, але також описана нижче:

Це баєсова ієрархічна (об'єднана) модель для рейтингів фільмів. Кожен фільм можна оцінювати за шкалою від нуля до п'яти. Кожен фільм оцінюється кілька разів. Ми хочемо знайти плавний розподіл рейтингів для кожного фільму.

Ми збираємося дізнатися попередній розподіл на найвищому рівні (гіперпріор) щодо рейтингів фільмів із даних. Кожен фільм матиме свою власну попередню програму, яка буде згладжена цим попереднім рівнем. Інший спосіб думати з цього приводу полягає в тому, що попередній рейтинг для кожного фільму буде зменшений у бік групового або розподіленого рівня.

Якщо фільм має нетиповий розподіл рейтингів, такий підхід зменшить рейтинги до чогось більшого, що відповідає очікуваному. Крім того, цей попередній досвід може бути корисним для завантаження фільмів з невеликим рейтингом, щоб дозволити їх змістовно порівнювати з фільмами з багатьма рейтингами.

Модель така:

$\gamma_{k=1...K} \sim Gamma(\alpha, \beta)$

$\theta_{m=1...M} \sim Dirichlet_M(c\gamma_1, ..., c\gamma_K)$

$z_{m=1...M,n=1...N_m} \sim Categorical_M(\theta_m)$

де:

$K$ $K = 6$
$M$
$N_m$ $m$
$\alpha = 1 / K$
$\beta$
$c$
$\gamma_k$ $k$
$\theta_m$ $K$
$z_{mn}$ $n$ $m$

— Бред Б
джерело

1

Це прямий байєсівський кон'югат попереднього моделювання. Природне продовження від бета-біноміальної моделі. Хороший ресурс для цього може бути з книги . А Posterior також є Діріхле, і, отже, моделювання диріхлету дасть необхідні підсумки

— Subbiah
джерело

1

Дякую. Мені знайома така книга, чудова довідка. Я спробував розглянути це, але вони не забезпечують такої багаточленної ієрархічної моделі безпосередньо, але у них є багато хороших ідей, які можна застосувати.

— Днайел

1

Диріхлет-мультиноміал - це сполучана модель, але оп-ція запитувала про (гіпер-) раніше параметри Діріхле. Ніякого стандартного кон'югату для розподілу Діріхле немає, хоча він повинен насправді існувати , оскільки він є членом родини експонентів.

— jerad