Нижче, ніж очікувалося, охоплення вибірки важливості за допомогою моделювання

Я намагався відповісти на питання Оцінка інтеграла Важливість методу відбору проб в R . В основному користувачеві потрібно провести розрахунок

\int_{0}^{π} f (x) d x = \int_{0}^{π} \frac{1}{\cos (x)^{2} + x^{2}} d x

$\int_{0}^{\pi}f(x)dx=\int_{0}^{\pi}\frac{1}{\cos(x)^2+x^2}dx$

використання експоненціального розподілу як розподілу важливості

q (x) = λ \exp^{- λ x}

$q(x)=\lambda\ \exp^{-\lambda x}$

і знайдіть значення що дає кращу наближення до інтегралу (це ). Я переробка проблеми в якості оцінки середнього значення з над : інтеграл потім просто . $\lambda$ self-study $\mu$ $f(x)$ $[0,\pi]$ $\pi\mu$

Таким чином, нехай - pdf , і нехай : мета тепер - оцінити $p(x)$ $X\sim\mathcal{U}(0,\pi)$ $Y\sim f(X)$

μ = E [Y] = E [f (X)] = \int_{R} f (x) p (x) d x = \int_{0}^{π} \frac{1}{\cos (x)^{2} + x^{2}} \frac{1}{π} d x

$\mu=\mathbb{E}[Y]=\mathbb{E}[f(X)]=\int_{\mathbb{R}}f(x)p(x)dx=\int_{0}^{\pi}\frac{1}{\cos(x)^2+x^2}\frac{1}{\pi}dx$

використовуючи вибіркове значення. Я провів моделювання в R:

# clear the environment and set the seed for reproducibility
rm(list=ls())
gc()
graphics.off()
set.seed(1)

# function to be integrated
f <- function(x){
    1 / (cos(x)^2+x^2)
}

# importance sampling
importance.sampling <- function(lambda, f, B){
    x <- rexp(B, lambda) 
    f(x) / dexp(x, lambda)*dunif(x, 0, pi)
}

# mean value of f
mu.num <- integrate(f,0,pi)$value/pi

# initialize code
means  <- 0
sigmas <- 0
error  <- 0
CI.min <- 0
CI.max <- 0
CI.covers.parameter <- FALSE

# set a value for lambda: we will repeat importance sampling N times to verify
# coverage
N <- 100
lambda <- rep(20,N)

# set the sample size for importance sampling
B <- 10^4

# - estimate the mean value of f using importance sampling, N times
# - compute a confidence interval for the mean each time
# - CI.covers.parameter is set to TRUE if the estimated confidence 
#   interval contains the mean value computed by integrate, otherwise
# is set to FALSE
j <- 0
for(i in lambda){
    I <- importance.sampling(i, f, B)
    j <- j + 1
    mu <- mean(I)
    std <- sd(I)
    lower.CB <- mu - 1.96*std/sqrt(B)  
    upper.CB <- mu + 1.96*std/sqrt(B)  
    means[j] <- mu
    sigmas[j] <- std
    error[j] <- abs(mu-mu.num)
    CI.min[j] <- lower.CB
    CI.max[j] <- upper.CB
    CI.covers.parameter[j] <- lower.CB < mu.num & mu.num < upper.CB
}

# build a dataframe in case you want to have a look at the results for each run
df <- data.frame(lambda, means, sigmas, error, CI.min, CI.max, CI.covers.parameter)

# so, what's the coverage?
mean(CI.covers.parameter)
# [1] 0.19

Код в основному є простою реалізацією вибірки важливості, слідуючи позначенням, використовуваним тут . Потім вибірку важливості повторюють разів для отримання декількох оцінок , і кожен раз проводиться перевірка того, чи відповідає 95% інтервал фактичної середньої чи ні. $N$ $\mu$

Як бачите, для фактичне покриття становить всього 0,19. А збільшення до значень, таких як , не допомагає (охоплення ще менше, 0,15). Чому це відбувається? $\lambda=20$ $B$ $10^6$

r simulation exponential importance-sampling

— DeltaIV
джерело

Використання функції нескінченної важливості підтримки для інтеграла кінцевої підтримки не є оптимальним, оскільки частина моделювання використовується для імітації нулів, так би мовити. Принаймні, усічіть експоненцію на , що легко зробити та імітувати.

π

$\pi$

— Сіань

@ Xi'an впевнений, я згоден, якби мені довелося оцінити цей інтеграл за допомогою вибірки важливості, я б не використовував це розподіл важливості, але я намагався відповісти на початкове запитання, яке вимагало використання експоненціального розподілу. Моя проблема полягала в тому, що навіть якщо такий підхід є далеко не оптимальним, покриття все одно повинно зростати (в середньому) як . І це показав Грінпаркер.

B \to \infty

$B\to\infty$

— DeltaIV

Вибірка важливості досить чутлива до вибору розподілу важливості. Оскільки ви вибрали , для зразків, які ви малюєте, будете мати середнє значення з відхиленням . Це розподіл, який ви отримуєте $\lambda = 20$ rexp $1/20$ $1/400$

Однак інтеграл, який ви хочете оцінити, переходить від 0 до . Отже, ви хочете використовувати який дає вам такий діапазон. Я використовую . $\pi =3.14$ $\lambda$ $\lambda = 1$

Використовуючи я зможу дослідити повний інтегральний простір від 0 до , і, здається, буде витрачено лише кілька малюнків на . Тепер я повторно запускаю ваш код і лише . $\lambda = 1$ $\pi$ $\pi$ $\lambda = 1$

# clear the environment and set the seed for reproducibility
rm(list=ls())
gc()
graphics.off()
set.seed(1)

# function to be integrated
f <- function(x){
  1 / (cos(x)^2+x^2)
}

# importance sampling
importance.sampling <- function(lambda, f, B){
  x <- rexp(B, lambda) 
  f(x) / dexp(x, lambda)*dunif(x, 0, pi)
}

# mean value of f
mu.num <- integrate(f,0,pi)$value/pi

# initialize code
means  <- 0
sigmas <- 0
error  <- 0
CI.min <- 0
CI.max <- 0
CI.covers.parameter <- FALSE

# set a value for lambda: we will repeat importance sampling N times to verify
# coverage
N <- 100
lambda <- rep(1,N)

# set the sample size for importance sampling
B <- 10^4

# - estimate the mean value of f using importance sampling, N times
# - compute a confidence interval for the mean each time
# - CI.covers.parameter is set to TRUE if the estimated confidence 
#   interval contains the mean value computed by integrate, otherwise
# is set to FALSE
j <- 0
for(i in lambda){
  I <- importance.sampling(i, f, B)
  j <- j + 1
  mu <- mean(I)
  std <- sd(I)
  lower.CB <- mu - 1.96*std/sqrt(B)  
  upper.CB <- mu + 1.96*std/sqrt(B)  
  means[j] <- mu
  sigmas[j] <- std
  error[j] <- abs(mu-mu.num)
  CI.min[j] <- lower.CB
  CI.max[j] <- upper.CB
  CI.covers.parameter[j] <- lower.CB < mu.num & mu.num < upper.CB
}

# build a dataframe in case you want to have a look at the results for each run
df <- data.frame(lambda, means, sigmas, error, CI.min, CI.max, CI.covers.parameter)

# so, what's the coverage?
mean(CI.covers.parameter)
#[1] .95

Якщо ви пограєте з , ви побачите, що якщо ви зробите це дійсно невеликим (.00001) або великим, ймовірність покриття буде поганою. $\lambda$

Редагувати -------

Що стосується ймовірності покриття, що зменшується, коли ви переходите від до , то це просто випадкове виникнення, виходячи з того, що ви використовуєте реплікацій. Довірчий інтервал для ймовірності покриття при становить, $B = 10^4$ $B = 10^6$ $N = 100$ $B = 10^4$

.19 \pm 1.96 * \sqrt{\frac{.19 * (1 - .19)}{100}} = .19 \pm .0769 = (.1131, .2669) .

$.19 \pm 1.96*\sqrt{\dfrac{.19*(1-.19)}{100}} = .19 \pm .0769 = (.1131, .2669)\,.$

Тому ви не можете сказати, що збільшення значно знижує ймовірність покриття. $B = 10^6$

Насправді у вашому коді для того ж насіння змініть на , тоді при ймовірність покриття дорівнює .123, а при ймовірність покриття дорівнює . $N = 100$ $N = 1000$ $B = 10^4$ $B = 10^6$ $.158$

Тепер довірчий інтервал навколо .123 дорівнює

.123 \pm 1.96 \sqrt{\frac{.123 * (1 - .123)}{1000}} = .123 \pm .0203 = (.102, .143) .

$.123 \pm 1.96\sqrt{\dfrac{.123*(1 - .123)}{1000}} = .123 \pm .0203 = (.102, .143)\,.$

Таким чином, тепер при реплікацій ви отримуєте, що ймовірність покриття значно збільшується. $N = 1000$

— Грінпаркер
джерело

Так, я знаю, що покриття змінюється на : зокрема, найкраще покриття виходить для . Тепер я розумію, що оскільки значення ІС для вибірки базується на CLT, це асимптотичний результат. Таким чином, цілком може бути, що зміна впливає на кількість зразків, необхідних для наближення до "асимптотичного режиму", так би мовити. Але справа в тому, чому при покриття зменшується від розміру вибірки до розміру вибірки ? Безумовно, він повинен збільшитися, якщо поганий покрив був обумовлений лише високим значенням ?

λ

$\lambda$

0.1 < λ < 2

$0.1<\lambda<2$

λ

$\lambda$

λ = 20

$\lambda =20$

10^{4}

$10^4$

10^{6}

$10^6$

λ

$\lambda$

— DeltaIV

@DeltaIV Я змінив відповідь на це запитання. Суть полягає в тому, що - недостатньо реплікацій, щоб сказати щось із впевненістю.

N = 100

$N = 100$

— Greenparker

ах блискучий! Я не думав формувати інтервал довіри для самої пропорції покриття , а не просто для середнього. Так само, як нітпік, я б не використовував довірчий інтервал Wald для довірчого інтервалу пропорції. Однак, оскільки пропорція відмінна від 0 і 1, а кількість повторень (у вашому другому випадку ) відносно велика, ймовірно, використовуючи інтервал Вільсона або Джеффріса, це не мало би значного значення. Я зачекаю трохи, щоб побачити, чи є інші відповіді, але я б сказав, що ви повністю заслуговуєте на +100 :)

N = 1000

$N=1000$

— DeltaIV