Навіщо використовувати бета-розподіл за параметром Бернуллі для ієрархічної логістичної регресії?

Зараз я читаю чудову книгу Крушке "Проведення байєсівського аналізу даних". Однак глава про ієрархічну логістичну регресію (глава 20) дещо заплутаний.

На рисунку 20.2 описана ієрархічна логістична регресія, де параметр Бернуллі визначений як лінійна функція на коефіцієнти, перетворені через сигмоподібну функцію. Це, мабуть, є ієрархічною логістичною регресією у більшості прикладів, які я бачив і в інших джерелах в Інтернеті. Наприклад - http://polisci2.ucsd.edu/cfariss/code/SIMlogit02.bug

Однак, коли предиктори номінальні, він додає шар в ієрархії - параметр Бернуллі тепер виводиться з бета-розподілу (мал. 20.5) з параметрами, визначеними mu і kappa, де mu - сигмоїдне перетворення лінійної функції коефіцієнтів , а kappa використовує гамму-попередник.

Це здається розумним і аналогічним прикладу перегортання монети з глави 9, але я не бачу, що стосується номінальних предикторів до додання бета-розподілу. Чому цього не зробили б у випадку метричних провісників і чому додано бета-розподіл для номінальних предикторів?

EDIT: Роз'яснення моделей, про які я маю на увазі. По-перше, логістична модель регресії з метричними предикторами (бета-версія раніше). Це схоже на інші приклади ієрархічної логістичної регресії, такі як приклад помилок вище:

y_{i} \sim Bernoulli (μ_{i}) μ_{i} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (M_{β}, T_{β})

$y_i \sim \operatorname{Bernoulli}(\mu_i) \\ \mu_i = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(M_\beta, T_\beta) \\$

Тоді приклад з номінальними предикторами. Ось де я не зовсім розумію роль "нижчого" рівня ієрархії (включення логістичного результату до бета-версії до двочлена) і чому він повинен відрізнятися, ніж метричний приклад.

z_{i} \sim Bin (θ_{i}, N) θ_{i} \sim Beta (a_{j}, b_{j}) a_{j} = μ_{j} κ b_{j} = (1 - μ_{j}) κ κ \sim Γ (S_{κ}, R_{κ}) μ_{j} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (0, τ_{β}) τ_{β} = 1 / σ_{β}^{2} σ_{β}^{2} \sim folded t (T_{t}, D F)

$z_i \sim \operatorname{Bin}(\theta_i, N) \\ \theta_i \sim \operatorname{Beta}(a_j, b_j) \\ a_j = \mu_j \kappa \\ b_j = (1- \mu_j) \kappa \\ \kappa \sim \Gamma(S_\kappa, R_\kappa) \\ \mu_j = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(0, \tau_\beta) \\ \tau_\beta = 1/\sigma_{\beta}^2 \\ \sigma_{\beta}^2 \sim \operatorname{folded t} (T_t, DF)$

— user4733
джерело

Відповіді:

Дві моделі, які ви порівнюєте, мають багато сторонніх особливостей, і я думаю, ви можете чітко переробити своє запитання в контексті двох спрощених моделей:

Модель 1:

\begin{aligned} y_{i} | μ_{i} & \sim Bern (μ_{i}) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \mu_i &\sim \operatorname{Bern}( \mu_i ) \\ \mu_i &\sim \pi(\mu_i) \end{align}$

Модель 2:

\begin{aligned} y_{i} | θ_{i} & \sim Bern (θ_{i}) \\ θ_{i} | μ_{i}, κ & \sim Beta (μ_{i} κ, (1 - μ_{i}) κ) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \theta_i & \sim \operatorname{Bern}( \theta_i ) \\ \theta_i | \mu_i,\kappa &\sim \operatorname{Beta}\big( \mu_i\kappa, (1-\mu_i)\kappa \big) \\ \mu_i&\sim \pi(\mu_i) \end{align}$

Ваші запитання: (1) яку роль відіграє бета-розподіл; і пов'язане з цим (2) чим (якщо взагалі є) модель 2 відрізняється від моделі 1?

На поверхні вони виглядають досить різними моделями, але насправді граничні розподіли в обох моделях однакові. Задній розподіл в Моделі 1 є тоді як граничний задній розподіл в моделі 2 становить: $\mu_i$ $\mu_i$

\begin{matrix} p (μ_{i} | y_{i}) \propto μ_{i}^{y_{i}} (1 - μ_{i})^{1 - y_{i}} π (μ_{i}) \end{matrix}

$\begin{gather} p(\mu_i|y_i) \propto \mu_i^{y_i}(1-\mu_i)^{1-y_i}\pi(\mu_i) \end{gather}$

μ_{i}

$\mu_i$

\begin{aligned} p (μ_{i} | y_{i}, κ) & \propto \int_{0}^{1} \frac{θ_{i}^{y_{i} + μ_{i} κ - 1} (1 - θ_{i})^{κ (1 - μ_{i}) - y_{i}}}{B (κ μ_{i}, κ (1 - μ_{i}))} d θ π (μ_{i}) \\ \propto \frac{B (y_{i} + μ_{i} κ, 1 - y_{i} + κ (1 - μ_{i})) π (μ_{i})}{B (κ μ_{i}, κ (1 - μ_{i}))} \\ \propto μ_{i}^{y_{i}} (1 - μ_{i})^{1 - y_{i}} π (μ_{i}) \end{aligned}

$\begin{align} p(\mu_i|y_i,\kappa) &\propto \int^1_0 \frac{\theta_i^{y_i + \mu_i\kappa - 1}(1-\theta_i)^{\kappa(1-\mu_i)-y_i}}{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} d\theta \,\pi(\mu_i) \\ &\propto \frac{B\big(y_i+\mu_i\kappa,1-y_i+\kappa(1-\mu_i)\big)\pi(\mu_i) }{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} \\ &\propto \mu_i^{y_i}(1-\mu_i)^{1-y_i} \pi(\mu_i) \end{align}$

Таким чином, будь-яка перевага, отримана від використання моделі 2, є обчислювальною. Перепараметризація ієрархічних моделей, таких як додавання до моделі 2, іноді може підвищити ефективність процедури вибірки; наприклад, шляхом введення умовно сполучених зв'язків між групами параметрів (див. відповідь Джека Таннера) або шляхом порушення кореляції між параметрами, що цікавлять (google "Розширення параметрів"). $\theta_i$

— jmtroos
джерело

Причиною виведення параметру Бернуллі з бета-розподілу є те, що бета є кон'югованою з двочленним. Використання попереднього розподілу кон'югату дає можливість вирішити закриту форму пошуку задньої частини.

EDIT: уточнення. Будь-яка модель буде працювати. Навіть із MCMC корисно мати споріднені пріори, оскільки це дозволяє використовувати спеціалізовані пробовідбірники для різних типів розподілів, які ефективніші, ніж загальні пробовідбірники. Наприклад, див. Посібник користувача JAGS сек. 4.1.1 та сек 4.2.

— Джек Таннер
джерело

У моєму запитанні може не вистачити контексту з книги, але ці аналізи проводяться за допомогою вибірки Гіббса, тому представлення задньої форми задньої форми не потрібно. У прикладі, з яким я пов'язаний, параметр Бернуллі не фіксується як бета-розподіл, а виникає в результаті сигмоїдної трансформації лінійних предикторів, які мають нормально розподілені коефіцієнти. Ось так, як Крушке подає попередній приклад (з метричними предикторами) також у розділі (параметр Бернуллі - це лише сигмоїдне перетворення лінійної функції з нормально розподіленими коефіцієнтами)

— user4733

@ user4733 Джек Таннер має рацію з приводу того, що бета є кон'югатом перед зразками Бернуллі. здається, більше, ніж збіг обставин, що його обрали. Так, ви можете робити вибірку Гіббса, щоб отримати задній розподіл, але в ієрархічній моделі є більше одного попереднього, і можливо, ви ставите пріоритет на гіперпараметр (параметр для сімейства попередніх розподілів. Це перед тим, якщо ви хочете. У цьому контексті може бути зручним використання попереднього кон'югату. Деякі ваші описи книги нас бентежать

— Майкл Р. Черник

Ви берете невеликі уривки, які створюють прогалини в нашій здатності розуміти, що відбувається. Вам потрібно краще описати модель та ієрархію пріорів, щоб ми допомогли (принаймні для мене)>

— Майкл Р. Черник

До ієрархічних моделей, які я маю на увазі, додано кілька описів. Сподіваємось, це допомагає.

— користувач4733