Запитання з тегом «metropolis-hastings»

Я намагався вивчити методи MCMC і натрапив на вибірку Metropolis Hastings, Gibbs, Importance та Rejection. Хоча деякі з цих відмінностей очевидні, тобто, як Гіббс є особливим випадком Метрополіса Гастінгса, коли ми маємо повну умову, інші менш очевидні, як, наприклад, коли ми хочемо використовувати MH у пробовідбірника Гіббса тощо. простий спосіб …

36 mcmc  monte-carlo  gibbs  metropolis-hastings  importance-sampling 

Коли я кодую імітацію Монте-Карло для якоїсь проблеми, і модель досить проста, я використовую дуже базовий вибірковий зразок підручника Гіббса. Коли неможливо використовувати вибірку Гіббса, я кодую підручник «Метрополіс-Гастінгс», про який я дізнався роки тому. Єдина думка, яку я йому приділяю, - це вибір стрибкового розподілу або його параметрів. Я …

21 bayesian  mcmc  gibbs  metropolis-hastings 

Я читаю про адаптивну MCMC (див., Наприклад, Розділ 4 Посібника Ланцюга Маркова Монте-Карло , ред. Брукс та ін., 2011; а також Andrieu & Thoms, 2008 ). Основний результат Робертса та Розенталя (2007) полягає в тому, що якщо схема адаптації задовольняє зникаючу умову адаптації (плюс деякі інші технічні характеристики), адаптивна MCMC …

20 simulation  mcmc  random-generation  metropolis-hastings 

Я щойно читав про вибірку Гіббса та алгоритм Metropolis Hastings і маю пару питань. Як я розумію, у випадку вибірки Гіббса, якщо у нас є велика багатоваріантна проблема, ми беремо вибірку з умовного розподілу, тобто вибірки однієї змінної, зберігаючи всі інші фіксованими, тоді як у MH ми робимо вибірку від …

20 bayesian  sampling  mcmc  gibbs  metropolis-hastings 

Я читав щоденник Крістіана Роберта сьогодні і мені дуже сподобався новий алгоритм «Метрополіс-Гастінгс», який він обговорював. Це здавалося простим і легким у виконанні. Щоразу, коли я кодую MCMC, я схильний дотримуватися дуже основних алгоритмів MH, таких як незалежні рухи або випадкові прогулянки за шкалою журналу. Які алгоритми МЗ люди звичайно …

20 mcmc  metropolis-hastings 

Існують різні види алгоритмів MCMC: Метрополіс-Гастінгс Гіббс Важливість / відбір вибірки (пов'язаний). Чому можна використовувати вибірку Гіббса замість Metropolis-Hastings? Я підозрюю, що трапляються випадки, коли висновок є більш простежуваним за допомогою відбору проб Гіббса, ніж з "Метрополіс-Гастінгсом", але мені не зрозуміло конкретики.

20 bayesian  simulation  mcmc  gibbs  metropolis-hastings 

Припустимо, у мене є функція g(x)g(x)g(x) яку я хочу інтегрувати ∫∞−∞g(x)dx.∫−∞∞g(x)dx. \int_{-\infty}^\infty g(x) dx. Звичайно, припустимо, що g(x)g(x)g(x) переходить до нуля в кінцевих точках, відсутність вибухів, хороша функція. Один з способів , який я смикав є використання алгоритму Метрополіс-Гастингса , щоб сформувати список зразків x1,x2,…,xnx1,x2,…,xnx_1, x_2, \dots, x_n з розподілу …

16 simulation  monte-carlo  metropolis-hastings  numerical-integration 

Я переглядав документацію Стен, яку можна завантажити тут . Мене особливо зацікавило їх реалізація діагностики Гельмана-Рубіна. Оригінальний документ Gelman & Rubin (1992) визначає потенційний коефіцієнт зменшення масштабу (PSRF) наступним чином: Нехай є ланцюжком го Маркова, відібраний загальний незалежних ланцюгів. Нехай - середнє значення з го ланцюга, а загальне середнє значення. …

16 mcmc  convergence  gibbs  metropolis-hastings  stan 

За останні кілька тижнів я намагався зрозуміти MCMC та алгоритм (и) Metropolis-Hastings. Кожен раз, коли я думаю, що це розумію, я усвідомлюю, що я помиляюся. Більшість прикладів коду, які я вважаю, реалізують он-лайн щось, що не відповідає опису. тобто: Вони кажуть, що вони реалізують Метрополіс-Гастінгс, але насправді реалізують метрополію з …

15 mcmc  metropolis-hastings 

Випадкова прогулянка Метрополіс-Хасітінгс із симетричною пропозицією q( х | у) = g( | у- х | )q(х|у)=г(|у-х|)q(x|y)= g(|y-x|) має властивість, що ймовірність прийняття П( a c c e p t y ) = хв { 1 , f( у) / ф( x ) }П(аccеpт у)=хв{1,f(у)/f(х)}P(accept\ y) = \min\{1, f(y)/f(x)\} не …

14 mcmc  metropolis-hastings 

Я намагаюся зрозуміти алгоритм Metropolis-Hastings, щоб написати код для оцінки параметрів моделі (тобто ). Відповідно до бібліографії алгоритм Метрополіс-Гастінгса має такі кроки:f(x)=a∗xf(x)=a∗xf(x)=a*x СтворитиYt∼q(y|xt)Yt∼q(y|xt)Y_t \sim q(y|x^t) Xt+1={Yt,xt,with probabilityρ(xt,Yt),with probability1−ρ(xt,Yt),Xt+1={Yt,with probabilityρ(xt,Yt),xt,with probability1−ρ(xt,Yt),X^{t+1}=\begin{cases} Y^t, & \text{with probability} \quad \rho(x^t,Y_t), \\ x^t, & \text{with probability} \quad 1-\rho(x^t,Y_t), \end{cases} деρ(x,y)=min(f(y)f(x)∗q(x|y)q(y|x),1)ρ(x,y)=min(f(y)f(x)∗q(x|y)q(y|x),1)\rho(x,y)=\min \left( \frac{f(y)}{f(x)}*\frac{q(x|y)}{q(y|x)},1 \right) Як я …

14 mcmc  metropolis-hastings 

Останні кілька днів я намагався зрозуміти, як працює Марківський ланцюг Монте-Карло (MCMC). Зокрема, я намагався зрозуміти і реалізувати алгоритм Metropolis-Hastings. Поки я думаю, що я цілком розумію алгоритм, але є кілька речей, які мені ще не зрозумілі. Я хочу використовувати MCMC для пристосування деяких моделей до даних. Через це я …

13 mcmc  metropolis-hastings 

Мені потрібно зробити моделювання, щоб оцінити інтеграл функції 3 параметрів, ми говоримо fff, яка має дуже складну формулу. Для його обчислення пропонується використовувати метод MCMC та реалізувати алгоритм Metropolis-Hastings для генерування значень, розподілених як , і було запропоновано використовувати 3 змінних нормальних як розподіл пропозицій. Читаючи кілька прикладів з цього …

13 mcmc  metropolis-hastings 

У mgcvпакеті Rє дві функції для встановлення тензорних взаємодій між продуктами: te()і ti(). Я розумію основний розподіл праці між двома (встановлення нелінійної взаємодії проти декомпозиції цієї взаємодії на основні ефекти та взаємодію). Чого я не розумію, це чому te(x1, x2)і ti(x1) + ti(x2) + ti(x1, x2)може давати (трохи) різні результати. …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Я зіткнувся з такою проблемою моделювання: заданий набір {ω1,…,ωd}{ω1,…,ωг}\{\omega_1,\ldots,\omega_d\} відомих реальних чисел, розподіл на {−1,1}d{-1,1}г\{-1,1\}^d визначається через P(X=(x1,…,xd))∝(x1ω1+…+xdωd)+П(Х=(х1,…,хг))∝(х1ω1+…+хгωг)+\mathbb{P}(X=(x_1,\ldots,x_d))\propto (x_1\omega_1+\ldots+x_d\omega_d)_+ де (z)+(z)+(z)_+ позначає позитивну частину zzz. Хоча я можу подумати про пробірник Metropolis-Hastings, націлений на цей розподіл, мені цікаво, чи існує ефективний прямий пробовідбірник, скориставшись великою кількістю нульових ймовірностей для зменшення …

9 simulation  algorithms  random-generation  computational-statistics  metropolis-hastings