MCMC на обмеженому просторі параметрів?

Я намагаюся застосувати MCMC до задачі, але мої пріори (в моєму випадку вони )) обмежені в області? Чи можу я використовувати звичайний MCMC і ігнорувати зразки, які потрапляють за межі зони обмеження (що в моєму випадку є [0,1] ^ 2), тобто повторно використовувати перехідну функцію, коли новий перехід випадає з обмеженої (обмеженої) області? $\alpha\in[0,1],\beta\in[0,1]$

— Купітор
джерело

Подивіться: xianblog.wordpress.com/tag/constrained-parameter-spaces

— Zen

@Zen, я не зовсім впевнений, але відповідь, запропонована Xian, полягає в тому, щоб підпробовувати, а замість MH використовувати пробник Gibbs і повторювати, якщо одне із значень розміру перевищує межу, я прав?

— Купітор

Якщо MH пропонує щось поза простором параметрів, ймовірність прийняття просто встановлюється на

і все працює добре. Я думаю , що MH просто інтерпретує

, як

(прояв

в теорії міри).

0

$0$

0 / 0

$0/0$

0

$0$

0 \cdot \infty = 0

$0 \cdot \infty = 0$

— хлопець

@guy, але згідно з дискусією на сторінці Xian (вище посилання від Дзен), схоже, що Гіббс має перевагу, не згадуючи жодної причини!

— Купітор

@Cupitor Я не бачу, щоб він це говорив. Я думаю, що сенс полягає в тому, що Габріель робив Метрополіс всередині Гіббса.

— хлопець

У вас є кілька приємних, більш-менш простих варіантів. Ваша форма попереднього сприяє їх спрощенню.

Варіант 1: Пробник незалежності. Ви можете просто встановити розподіл вашої пропозиції рівним рівномірним розподілом на одиницю площі, що гарантує, що зразки не потраплять за межі зони обмеження, як ви це називаєте. Потенційний мінус: якщо заднє зосереджене в дуже невеликій області одиниці квадрата, у вас може бути дуже низька швидкість прийняття. OTOH, важко генерувати випадкові числа швидше, ніж через розподіл U (0,1). Потенційний перелом: менше роботи для вас.

Варіант 2: Перетворіть ваші параметри на щось, що не обмежене, зробіть пропозиції щодо перетворених параметрів, а потім перетворіть параметри назад для використання у функціях вірогідності. Зауважте, що в цьому випадку пріоритет буде на перетворених параметрах, тому що саме для цього ви робите пропозиції, тож вам доведеться возитися з якобіаном перетворення, щоб отримати новий попередній. Зважаючи на аналіз, ви, звичайно, перетворите випадкові числа, згенеровані MCMC, у вихідні параметри. Потенційний недолік: більше початкової роботи для вас. Потенційний перелом: кращий рівень прийняття ваших пропозицій.

Варіант 3: Побудуйте розповсюдження пропозицій, окрім вибірки незалежності, яка знаходиться на одиничній площі. Це дозволяє зберегти єдину форму раніше, але ціною більшої складності при розрахунку ймовірностей пропозиції. Прикладом цього, якщо дозволити поточне значення одного з ваших параметрів, буде бета-розподіл з параметрами . Чим більший , тим більш концентрованою буде ваша пропозиція навколо поточного значення. Потенційний недолік: більше початкової роботи для вас. Потенційний потенціал: кращий рівень прийняття ваших пропозицій - але якщо ви робите $x$ $(nx, n(1-x))$ $n$ $n$ Занадто великий, і рухатися поруч з кутом, ви можете закінчити робити багато маленьких рухів у кутку, перш ніж вийти.

Варіант 4: Просто відхиліть будь-які пропозиції, що виходять за межі одиничної площі (напівсердечна пропозиція Сіану). Зауважте, що це не те саме, що просто генерувати іншу пропозицію; у цьому випадку ви відхиляєте пропозицію, а значить, ваше наступне значення для параметра є таким же, як поточне значення для параметра. Це працює, тому що це може статися, якщо б у вас була нульова попередня ймовірність для деякого регіону простору вашого параметра і генерувала випадкове число, яке впало в цій області. Потенційний мінус: якщо ви опинитесь біля кута, у вас може бути низька ймовірність прийняття і застрягти на деякий час. Потенційний перелом: менше роботи для вас.

Варіант 5: Створіть розширену задачу на площині, яка на одиничній площі є такою ж, як і фактична проблема, з якою ви стикаєтесь, зробіть все правильно, після того, як після обробки результатів вибірки MCMC викиньте всі зразки назовні одиничної площі. Потенційний перелом: Якщо створити цю розширену проблему дуже просто, це може бути меншою роботою для вас. Потенційний мінус: якщо ланцюг Маркова на деякий час скине десь поза площею одиниць, у вас можуть виникнути жахливі ймовірності прийняття, оскільки ви викинете більшість своїх зразків.

Без сумніву, є й інші варіанти, мені було б цікаво подивитися, що пропонують інші!

$n$

— джебмен
джерело

Голосуйте! Дякую за таку ґрунтовну відповідь, але є декілька моментів, які я намагаюся дотримуватися: 1) Насправді простір параметрів походить від прямокутного відрізка у квадраті, і тому його реально важко отримати рівномірним відбором. 2) Це насправді не здається досить хорошою ідеєю. Щоб дати просту ілюстрацію, уявіть собі розширити обмежений зразок, встановивши ймовірність зовнішньої площі до нуля! Я думаю, це зробить процес зближення дуже повільним, і це, мабуть, буде подібне до

— підсистеми

3) Проблема цієї ідеї полягає в тому, що ваша пропозиція не є зворотною, і тому може статися так, що отримана схема вибірки може вже не бути ергодичною!

— Купітор

4) це те, що я намагався і виглядає розумним (ІМХ!) 5) Це, здається, страждає від прикладу, про який я згадував у 2, і, як ви сказали, самі можуть дати жахливі показники прийняття!

— Купітор

(0, inf)

$(0,\inf)$

x \in (0, 1)

$x \in (0,1)$

β

$\beta$

α = 2.5

$\alpha=2.5$

(0.5, 1)

$(0.5,1)$

α = 3.2

$\alpha=3.2$

(0, 0.8)

$(0,0.8)$

α = 0.2

$\alpha=0.2$

(0.2, 0)

$(0.2,0)$