Результати оцінок Монте-Карло, отримані шляхом вибірки важливості

Я працював над вибіркою важливості досить близько протягом останнього року і маю декілька відкритих питань, з якими я сподівався отримати допомогу.

Мій практичний досвід щодо важливих схем відбору проб полягав у тому, що вони можуть періодично давати фантастичні оцінки з низькою дисперсією та низькою ухилом. Однак частіше вони схильні давати оцінки з високою помилкою, які мають низьку дисперсію вибірки, але дуже високу зміщення.

Мені цікаво, чи може хтось точно пояснити, які види факторів впливають на обґрунтованість оцінок вибірки важливості? Зокрема, мені цікаво:

1) Чи гарантується оцінка вибірки важливості для зближення до правильного результату, коли зміщення розподілу має таку ж підтримку, як і вихідний розподіл? Якщо так, то чому на практиці це здається так довго?

2) Чи існує кількісно виражена залежність між помилкою в оцінці, отриманій за допомогою вибірки важливості, та "якістю" розподілу зміщення (тобто наскільки вона відповідає нульовій дисперсії)

3) Частково на основі 1) та 2) - чи є спосіб кількісно оцінити "скільки", що ви повинні знати про розподіл, перш ніж вам було краще використовувати важливу схему вибірки, ніж простий метод Монте-Карло.

monte-carlo information-theory importance-sampling

— Берк У.
джерело

Відповіді:

Вибірка важливості має таку ж валідацію, як і базовий підхід Монте-Карло. По своїй суті, це основний Монте-Карло . Дійсно, це просто зміна еталонної міри, переходячи від до Таким чином, конвергенція гарантується законом великих чисел в обох випадках, тобто чи імітуєте ви з або з . Крім того, якщо додаток є кінцевим, також застосовується центральна гранична теорема і швидкість конвергенції є

\int h (x) f (x) d x

$\int h(x) f(x) \text{d}x$

\int h (x) \frac{f (x)}{g (x)} g (x) d x

$\int h(x) \dfrac{f(x)}{g(x)} g(x) \text{d}x$

f

$f$

g

$g$

\int h^{2} (x) \frac{f^{2} (x)}{g (x)} d x

$\int h^2(x) \dfrac{f^2(x)}{g(x)} \text{d}x$

O (1 / \sqrt{n})

$\text{O}(1/\sqrt{n})$ . Якщо це "займає так багато часу на практиці", це тому, що вищевказаний коефіцієнт дисперсії в CLT може бути досить великим. Але, і я наполягаю, швидкість така ж, як у звичайного Монте-Карло, .

O (1 / \sqrt{n})

$\text{O}(1/\sqrt{n})$

Якість розподілу відбору важливості, таким чином, безпосередньо пов'язана з вищевказаним коефіцієнтом дисперсії, який переходить до нуля для "розподілу нульової дисперсії", пропорційного . $|h(x)|f(x)$

— Сіань
джерело

Я підозрюю, враховуючи, що ОП повідомляє про невеликі оцінки дисперсій, які є упередженими, але, мабуть, мають невеликі розбіжності, що він може запитати про само нормовану вибірку важливості. Дивіться рент Радфорда Ніла на оцінці середньої гармонійної гармонії для гарного прикладу, який приймає те, що було б важливим для оцінки вибірки з відхиленням 0, і повертає нісенітницю. Я не впевнений, що це ніколи не трапляється на регулярній вибірці важливості, але це, звичайно, рідко.

— деніст

Навіть якби це не було наміром ОП, я був би зацікавлений у деяких вказівках, як зрозуміти, коли самонармалізація піде жахливо не так.

— деніст

@deinst Я не знав про процедуру саморегуляції та її підводні камені, тому дякую за це! У будь-якому випадку, я думаю, що питання можуть стосуватися властивостей моєї схеми ІС, тому я хотів би ще трохи вивчити цю ідею, якщо хтось із вас має ідеї.

— Берк У.

@deinst Схема IS, яку я використовую, призначена для роботи без розподілу вибірки під рукою. Спершу схема використовує процедуру MCMC для імітації точок з розподілу нульової дисперсії . Далі він використовує оцінку щільності ядра на для отримання . Маючи в руці, я можу випробувати нових очок формуючи свою оцінку IS як $ \ sum {h (y_i) f (y_i) / hat {g (y_i)} $

g (x)

$g(x)$

M

$M$

x_{1} . . x_{M}

$x_1..x_M$

g^{*} (x) = h (x) f (x) / \int h (x) f (x) d x

$g^*(x) = h(x)f(x)/\int{h(x)f(x)dx}$

x_{1} . . x_{M}

$x_1..x_M$

\hat{g (x)}

$\hat{g(x)}$

\hat{g (x)}

$\hat{g(x)}$

N

$N$

y_{1} . . . y_{N}

$y_1...y_N$

— Берк У.

Використання непараметричної оцінки вводить мінливість вищого порядку, ніж мінливість Монте-Карло, тому я б не радив.

— Сіань

Сіань висвітлював стандартні результати вибірки. Якщо ви запитуєте про самонармалізовану вибірку важливості, де ви знаєте лише і аж до якоїсь невідомої нормалізуючої константи, деякі методи обговорюються в главі 4 обох статистичних методів Сіань і Каселла Монте-Карло та введення Монте методи Карло R . Я впевнений, що Сіань може детальніше розповісти про це, ніж я можу, тож у певному сенсі ця відповідь - приманка ведмедя. $f$ $g$

При самонармалізованій вибірці важливості ви намагаєтеся наблизити , вибравши з розподілу, функція щільності якого пропорційна і обчислення Використовуючи метод дельти (в основному, беручи до лінійних членів ряду Тейлора ) і дозволяючи отримуємо і

δ = \int h (x) f (x) d x

$\delta=\int h(x)f(x)\text{d}x$

x_{1}, \dots, x_{n}

$x_1,\ldots,x_n$

g (x)

$g(x)$

\hat{δ} = \frac{\sum_{i = 1}^{n} h (x) f (x) / g (x)}{\sum_{i = 1}^{n} f (x) / g (x)} .

$\hat{\delta}=\frac{\sum_{i=1}^n h(x)f(x)/g(x)}{\sum_{i=1}^n f(x)/g(x)}.$

X / Y

$X/Y$

ω (X) = f (x) / g (X)

$\omega(X)=f(x)/g(X)$

E_{g} (\hat{δ}) \approx δ + \frac{δ {Var}_{g} (ω (X)) - {Cov}_{g} (ω (X), h (X) ω (X))}{n}

$E_g(\hat{\delta})\approx \delta + \frac{\delta \text{Var}_g(\omega(X))-\text{Cov}_g(\omega(X),h(X)\omega(X))}{n}$

{Var}_{g} (\hat{δ}) \approx \frac{{Var}_{g} (h (X) ω (X)) - 2 δ {Cov}_{g} (ω (X), h (X) ω (X)) + δ^{2} {Var}_{g} (ω (X))}{n} .

$\text{Var}_g(\hat{\delta})\approx\frac{\text{Var}_g(h(X)\omega(X))-2\delta\text{Cov}_g(\omega(X),h(X)\omega(X))+\delta^2\text{Var}_g(\omega(X))}{n}.$

Отже, щоб зрозуміти невелику зміщення та невелику дисперсію, ви хочете, щоб був малим і бути позитивним. На жаль, ці наближення не є ідеальними (і точно визначити відхилення та коваріації, ймовірно, буде настільки ж складно, як і вирішити початкову проблему). $\text{Var}_g(\omega(X))$ $\text{Cov}_g(\omega(X),h(X)\omega(X))$

— deinst
джерело

Дякую за це. Я трохи не впевнений у позначенні / не впевнений, чи є помилка друку. Для уточнення, що саме є та у вашому поясненні?

X / Y

$X/Y$

G

$G$

— Берк У.

@BerkUstun Столиця G - друкарська справа для малого, яку я негайно виправлю. X / Y - просто загальне співвідношення випадкових величин. IIRC все це пояснено в книзі Лю Монте-Карло (щось із науковою назвою)

— деніст

@deinst: Чудова точка! Дійсно, властивості самонармалізованих версій сильно відрізняються від властивостей об'єктивного оцінювача важливості вибірки. Теоретично для оцінки знаменника знадобиться окремий пробовідбірник.

— Сіань