Що означає усічений розподіл?

14

У дослідницькій статті про аналіз чутливості звичайної диференціальної моделі рівняння динамічної системи автор запропонував розподіл параметра моделі як нормальний розподіл (середнє = 1e-4, std = 3e-5), усічений до діапазону [0,5e -4 1,5е-4]. Потім він використовує зразки з цього усіченого розподілу для моделювання моделі. Що означає мати усічений розподіл та вибірку з цього усіченого розподілу?

Я міг би придумати два способи цього:

Вибірка з нормального розподілу, але ігноруйте всі випадкові значення, що виходять за межі зазначеного діапазону перед моделюванням.
Якось отримайте спеціальний розподіл "Урізана нормальна" і отримайте з неї зразки.

Це чинні та рівнозначні підходи?

Я вважаю, що у першому випадку, якби побудувати експериментальний cdf / pdf зразка, це не виглядало б як нормальне розподіл, оскільки криві не поширюються на $\pm\infty$ .

distributions simulation truncation

— Кавка
джерело

16

Урізати розподіл - обмежити його значення інтервалом та повторно нормалізувати щільність, щоб інтеграл у цьому діапазоні дорівнював 1.

Отже, урізати розподіл $N(\mu, \sigma^{2})$ на інтервал $(a,b)$ було б генерувати випадкову змінну, яка має щільність

p_{a, b} (x) = \frac{ϕ_{μ, σ^{2}} (x)}{\int_{a}^{b} ϕ_{μ, σ^{2}} (y) d y} \cdot I {x \in (a, b)}

$p_{a,b}(x) = \frac{ \phi_{\mu, \sigma^{2}}(x) }{ \int_{a}^{b} \phi_{\mu, \sigma^{2}}(y) dy } \cdot \mathcal{I} \{ x \in (a,b) \}$

де $\phi_{\mu, \sigma^{2}}(x)$ - щільність $N(\mu, \sigma^2)$ . Ви можете взяти вибірку з цієї щільності різними способами. Один із способів (найпростіший спосіб, що я можу придумати) - це створити $N(\mu, \sigma^2)$ значень і викинути ті, що випадають поза $(a,b)$ інтервал, як ви згадали. Отже, так, ці дві кулі, які ви перерахували, досягли б тієї ж мети. Також ви маєте рацію, що емпірична щільність (або гістограма) змінних цього розподілу не поширюватиметься на . Звичайно, це було б обмежено . $\pm \infty$ $(a,b)$

— Макрос
джерело

17

Моделювання з нормального розподілу поки результат не потрапить в інтервал , добре, коли ймовірність $\mathcal{N}(\mu,\sigma^2)$ $(a,b)$ досить великий. Якщо вона занадто мала, ця процедура занадто дорога, оскільки середня кількість розіграшів за один прийом становить .

ϱ = \int_{a}^{b} φ_{μ, σ^{2}} (x) d x

$\varrho = \int_a^b \varphi_{\mu,\sigma^2}(x)\,\text{d} x$

1 / ϱ

$1/\varrho$

Як описано в статистичних методах Монте-Карло (глава 2, приклад 2.2), а також у моєму документі arXiv , більш ефективним способом моделювання цієї усіченої норми є використання методу прийняття-відхилення на основі експоненціального розподілу . $\mathcal{E}(\alpha)$

Розглянемо, не втрачаючи загальності, випадок і . Коли , потенційним інструментальним розподілом є переведений експоненціальний розподіл, , з щільністю $\mu = 0$ $\sigma = 1$ $b=+\infty$ $\mathcal{E} (\alpha,{ a})$ Ставлення потім обмежена , якщо і в іншому випадку. Відповідна (верхня) межа є

g_{α} (z) = α e^{- α (z - a)} I_{z \geq a} .

$g_{\alpha}(z) = \alpha e^{- \alpha(z - {a})} \; \mathbb{I}_{z \geq {a }} \;.$

p_{a, \infty} (z) / g_{α} (z) \propto e^{- α (z - a)} e^{- z^{2} / 2}

$p_{a,\infty}(z)/g_{\alpha}(z) \propto e^{- \alpha(z - a )}e^{-z^{2}/2}$

\exp (α^{2} / 2 - α a)

$\exp(\alpha^{2}/2 - \alpha{a })$

α > a

$\alpha > a$

\exp (- a^{2} / 2)

$\exp(- a^{2}/2)$

Перший вираз мінімізується на

{\begin{cases} 1 / α \exp (α^{2} / 2 - α a) & if α > a, \\ 1 / α \exp (- a^{2} / 2) & otherwise. \end{cases}

$\begin{cases} 1/\alpha \; \exp (\alpha^{2}/2 - \alpha{a }) & \hbox{if } \alpha > a , \cr 1/\alpha \; \exp (- a^{2}/2) & \hbox{otherwise.} \cr \end{cases}$

тоді як

мінімізує другу межу. Оптимальним вибором

є (1).

α^{*} = \frac{1}{2} a + \frac{1}{2} \sqrt{a^{2} + 4}, (1)

$\begin{equation} \alpha^{*} = \frac{1}{2}a + \frac{1}{2} \sqrt{a^2 + 4}\;,\qquad (1) \end{equation}$

\tilde{α} = a

$\tilde\alpha = a$

α

$\alpha$

— Сіань
джерело

2

Можливо, мені чогось не вистачає, але що поганого в тому, щоб просто взяти

і дозволити

? Це не дає бажаного розподілу?

U \sim Unif (Φ (a), Φ (b))

$U \sim \text{Unif}(\Phi(a),\Phi(b))$

X = Φ^{- 1} (U)

$X = \Phi^{-1}(U)$

— bnaul

2

a

$a$

0

$0$

1

Сіань прав, @bnaul. Запуск qnormу циклі R - не дуже гарна ідея.

— Стефан Лоран

@ Xi'an: Це правда, але такі функції можуть бути спроектовані довільною точністю.

— Ніл Г

9

Вибірка з нормального розподілу, але ігноруйте всі випадкові значення, що виходять за межі зазначеного діапазону перед моделюванням.

Цей метод є правильним, але, як згадував @ Xi'an у своїй відповіді, це пройшло б тривалий час, коли діапазон малий (точніше, коли його міра при нормальному розподілі) мала.

$F^{-1}(U)$ $F$ $U\sim\text{Unif}(0,1)$ $F$ $G$ $(a,b)$ $G^{-1}(U)$ $U\sim\text{Unif}\bigl(G(a),G(b)\bigr)$

$G^{-1}$ $G^{-1}$ $G$ $G^{-1}$ is rather slow, and it is not highly precise for values of $a$ and $b$ outside the "range" of $G$ .

Simulate a truncated distribution using importance sampling

A possibility is to use importance sampling. Consider the case of the standard Gaussian distribution ${\cal N}(0,1)$ . Forget the previous notations, now let $G$ be the Cauchy distribution. The two above mentionned requirements are fulfilled for $G$ : one simply has $\boxed{G(q)=\frac{\arctan(q)}{\pi}+\frac12}$ and $\boxed{G^{-1}(q)=\tan\bigl(\pi(q-\frac12)\bigr)}$ . Therefore, the truncated Cauchy distribution is easy to sample by the inversion method and it is a good choice of the instrumental variable for importance sampling of the truncated normal distribution.

After a bit of simplifications, sampling $U\sim\text{Unif}\bigl(G(a),G(b)\bigr)$ and taking $G^{-1}(U)$ is equivalent to take $\tan(U')$ with $U'\sim\text{Unif}\bigl(\arctan(a),\arctan(b)\bigr)$ :

a <- 1
b <- 5
nsims <- 10^5
sims <- tan(runif(nsims, atan(a), atan(b)))

Now one has to calculate the weight for each sampled value $x_i$ , defined as the ratio $\phi(x)/g(x)$ of the two densities up to normalization, hence we can take

w (x) = \exp (- x^{2} / 2) (1 + x^{2}),

$w(x) = \exp(-x^2/2)(1+x^2),$ but it could be safer to take the log-weights:

log_w <- -sims^2/2 + log1p(sims^2)
w <- exp(log_w) # unnormalized weights
w <- w/sum(w)

The weighted sample $(x_i,w(x_i))$ allows to estimate the measure of every interval $[u,v]$ under the target distribution, by summing the weights of each sampled value falling inside the interval:

u <- 2; v<- 4
sum(w[sims>u & sims<v])
## [1] 0.1418

This provides an estimate of the target cumulative function. We can quickly get and plot it with the spatsat package:

F <- spatstat::ewcdf(sims,w)
# estimated F:
curve(F(x), from=a-0.1, to=b+0.1)
# true F:
curve((pnorm(x)-pnorm(a))/(pnorm(b)-pnorm(a)), add=TRUE, col="red")

ewcdf

# approximate probability of u<x<v:
F(v)-F(u)
## [1] 0.1418

Of course, the sample $(x_i)$ is definitely not a sample of the target distribution, but of the instrumental Cauchy distribution, and one gets a sample of the target distribution by performing weighted resampling, for instance using the multinomial sampling:

msample <- rmultinom(1, nsims, w)[,1]
resims <- rep(sims, times=msample)
hist(resims)

hist

mean(resims>u & resims<v)
## [1] 0.1446

Another method: fast inverse transform sampling

Olver and Townsend developed a sampling method for a broad class of continuous distribution. It is implemented in the chebfun2 library for Matlab as well as the ApproxFun library for Julia. I have recently discovered this library and it sounds very promising (not only for random sampling). Basically this is the inversion method but using powerful approximations of the cdf and the inverse cdf. The input is the target density function up to normalization.

The sample is simply generated by the following code:

using ApproxFun
f = Fun(x -> exp(-x.^2./2), [1,5]);
nsims = 10^5;
x = sample(f,nsims);

As checked below, it yields an estimated measure of the interval $[2,4]$ close to the one previously obtained by importance sampling:

sum((x.>2) & (x.<4))/nsims
## 0.14191

— Stéphane Laurent
джерело