Чи можу я виконати вибірку великого набору даних під час кожної ітерації MCMC?

Проблема: Я хочу виконати вибірку Gibbs, щоб зробити деякий задній для великого набору даних. На жаль, моя модель не дуже проста, і тому вибірки є надто повільними. Я б розглядав варіативні чи паралельні підходи, але перш ніж піти так далеко ...

Запитання: Я хотів би знати, чи можу я випадково вибирати (із заміною) з мого набору даних під час кожної ітерації Гіббса, щоб у мене було менше примірників, на яких слід вчитися на кожному кроці.

Моя інтуїція полягає в тому, що навіть якщо я зміню зразки, я б не змінював щільності ймовірності, і тому зразок Гіббса не повинен помічати хитрість. Чи правий я? Чи є якісь посилання людей, які це зробили?

— Альберто
джерело

Як осторонь: інша ідея полягала б у тому, щоб зробити кілька аналізів на випадкових підпроборах великого набору даних. Таким чином ви також можете перехресно підтвердити.

— домисли

Я не можу відповісти на ваше точне запитання жодним авторитетом (хоча я підозрюю, що ви б тільки збільшували помилку наближення, що виникає з Монте-Карло), сумна правда полягає в тому, що це лише прикрий аспект аналізу Bayesian MCMC: вони обчислюються дорого. Коментар @conjectures - це чудова ідея, але насправді не стоїть в основі проблеми: занадто дорого, щоб намалювати всі ці зразки для кожної людини. Моя рекомендація - написати власний код C для важкої роботи (Rcpp в R, Cython в Python тощо), а також паралельно (коли немає залежностей від галузей).

@conjectures Це звучить як сумка маленьких завантажувальних приладів Майкла Джордана.

— jaradniemi

Я б запропонував змінити ваш пробовідбірник, щоб взагалі уникнути прихованого збільшення змінної. У вас більше не буде пробовідбірника Гіббса, але алгоритм Metropolis-Hastings з пропозицією, заснованою на нормальному наближенні до ймовірності, повинен спрацювати чудово. Дивіться розділ 16.4 другого видання Байєсівського аналізу даних.

— jaradniemi

Це сфера активних досліджень, яку я не знаю досить добре, щоб точно підвести для вас. Див., Наприклад, jmlr.org/proceedings/papers/v32/bardenet14.pdf та arxiv.org/pdf/1304.5299v4.pdf

— Andrew M

Щодо стратегій підсистеми: просто, наприклад, розгляньте два спостереження та і подумайте поставити деякі пріори середнього та дисперсія. Нехай , задній, який ми хочемо оцінити, є CO, розглянемо тепер біноміальну змінну . Якщо ми вибрали , якщо обрали , новий задній - де $X_1 \sim N(\mu_1, \sigma_1^2)$ $X_2 \sim N(\mu_2,\sigma_2^2)$ $\theta = (\mu_1, \mu_2, \sigma_1^2, \sigma_2^2)$

f (θ | X_{1}, X_{2}) \propto f (X_{1} | θ) f (X_{2} | θ) f (θ)

$f(\theta|X_1, X_2) \propto f(X_1|\theta)f(X_2 | \theta)f(\theta)$

δ \sim B (0.5)

$\delta \sim B(0.5)$

δ = 0

$\delta=0$

X_{1}

$X_1$

δ = 1

$\delta =1$

X_{2}

$X_2$

f (θ, δ | X_{1}, X_{2}) \propto f (X_{1}, X_{2} | δ, θ) f (θ) f (δ)

$f(\theta, \delta|X_1, X_2) \propto f(X_1, X_2|\delta,\theta)f(\theta)f(\delta)$

f (X_{1}, X_{2} | δ, θ) = f (X_{1} | θ)^{δ} f (X_{2} | θ)^{1 - δ}

$f(X_1, X_2|\delta,\theta) = f(X_1|\theta)^{\delta} f(X_2|\theta)^{1-\delta}$ і . Тепер, якщо ви хочете зробити вибірку з кроком Гіббса, ви повинні обчислити і тому що . Якщо ви в іншому випадку використовуєте Метрополіс Гастінгс, тоді ви пропонуєте новий стан і вам доведеться обчислити лише один між і , той, що пов'язаний із запропонованими станами, але ви повинні обчислити один між і

f (δ) = 0.5

$f(\delta) = 0.5$

δ

$\delta$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

P (δ = 1) = \frac{f (X_{1} | θ)}{f (X_{1} | θ) + f (X_{2} | θ)}

$P(\delta=1)= \frac{f(X_1|\theta) }{f(X_1|\theta) +f(X_2|\theta) }$

δ^{*}

$\delta^*$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$ навіть для останнього прийнятого стану . Тоді я не впевнений, що столиця дасть вам певну перевагу. Більше того, тут ми розглядаємо двоваріантний процес, але при мультиваріантному процесі відбір проб може бути дуже складним для мегаполісу.

δ

$\delta$

δ

$\delta$

— ніандра82
джерело