Переваги Box-Muller перед зворотним методом CDF для імітації нормального розподілу?

Для моделювання нормального розподілу з набору рівномірних змінних існує кілька методик:

Алгоритм Box-Muller , в якому один відбирає дві незалежні рівномірні змінні на $(0,1)$ і перетворює їх у два незалежні стандартні нормальні розподіли за допомогою:
$Z_{0} = \sqrt{- 2 ln U_{1}} cos (2 π U_{0}) Z_{1} = \sqrt{- 2 ln U_{1}} sin (2 π U_{0})$ $Z_0 = \sqrt{-2\text{ln}U_1}\text{cos}(2\pi U_0)\\ Z_1 = \sqrt{-2\text{ln}U_1}\text{sin}(2\pi U_0)$
метод CDF , де можна прирівняти нормальний cdf $(F(Z))$ до уніфікованої змінної:
$F (Z) = U$ $F(Z) = U$ і вивести $Z = F^{- 1} (U)$ $Z = F^{-1}(U)$

Моє запитання: що обчислювально ефективніше? Я думаю, що останній метод - але більшість прочитаних робіт використовую Box-Muller - чому?

Додаткова інформація:

Зворотну сторону нормального CDF знають і задають:

F^{- 1} (Z) = \sqrt{2} \erf^{- 1} (2 Z - 1), Z \in (0, 1) .

$F^{-1}(Z)\; =\; \sqrt2\;\operatorname{erf}^{-1}(2Z - 1), \quad Z\in(0,1).$

Звідси:

Z = F^{- 1} (U) = \sqrt{2} \erf^{- 1} (2 U - 1), U \in (0, 1) .

$Z = F^{-1}(U)\; =\; \sqrt2\;\operatorname{erf}^{-1}(2U - 1), \quad U\in(0,1).$

normal-distribution simulation uniform

— користувач2350366
джерело

Що таке зворотний звичайний cdf? Його неможливо обчислити аналітично, лише якщо оригінальний CDF наближений з кусково-лінійною функцією.

— Артем Соболєв

Чи не ті двоє тісно пов’язані між собою? Я вважаю, що Box Muller - це особливий випадок для двовимірної генерації.

— ttnphns

Привіт, Бармалі, я додав більше інформації вище. Зворотний CDF має вираз - однак

повинен бути обчислений обчислювально - так що, можливо, саме тому поле Muller є кращим? Я припускав

{erf}^{- 1}

$\text{erf}^{-1}$

буде обчислений у таблицях пошуку, як і значення

та

? Отже, чи не так набагато дорожче обчислювально? Я, можливо, помиляюся.

{erf}^{1}

$\text{erf}^1$

sin

$\text{sin}$

cosine

$\text{cosine}$

— користувач2350366

Існують версії Box-Muller без гріха та косинусів.

— Сіань

@Dilip Для дуже низьких точних програм, таких як комп'ютерна графіка, синус і косинус, дійсно можна оптимізувати за допомогою відповідних таблиць пошуку. Однак для статистичних застосувань така оптимізація ніколи не використовується. Зрештою, обчислити

ніж

або

, насправді не важче , але в сучасних обчислювальних системах елементарні функції, пов'язані з

включаючи триггерні функції -, як правило, оптимізуються (

{erf}^{- 1}

$\text{erf}^{-1}$

\log

$\log$

sqrt

$\text{sqrt}$

\exp

$\exp$

були основними інструкціями ще на Intel Чіп 8087!), Тоді як erf або недоступний, або кодований на більш високому (= повільнішому) рівні.

\cos

$\cos$

\log

$\log$

— whuber

З чисто імовірнісної точки зору обидва підходи є правильними і, отже, рівнозначними. З алгоритмічної точки зору порівняння повинно враховувати як точність, так і витрати на обчислення.

Box-Muller покладається на рівномірний генератор і коштує приблизно стільки ж, скільки і цей рівномірний генератор. Як згадувалося в моєму коментарі, ви можете піти без синусоїдальних або косинусних дзвінків, якщо не без логарифму:

генерують поки $U_{1}, U_{2} \overset{iid}{\sim} U (- 1, 1)$ $U_1,U_2\stackrel{\text{iid}}{\sim}\mathcal{U}(-1,1)$ $S=U_1^2+U_2^2\le 1$
взяти і визначимо $Z=\sqrt{-2\log(S)/S}$ $X_{1} = Z U_{1}, X_{2} = Z U_{2}$ $X_1=ZU_1\,,\ X_2=Z U_2$

Загальний алгоритм інверсії вимагає виклику до зворотного нормального cdf, наприклад, qnorm(runif(N))у R, який може бути дорожчим, ніж зазначене вище, і, що ще важливіше, може бути невдалим у хвостах з точки зору точності, якщо тільки квантильна функція не кодується добре.

Слідкуйте за коментарями, зробленими whuber , порівнянням rnorm(N)та qnorm(runif(N))перевагою зворотного cdf, як у часі виконання:

> system.time(qnorm(runif(10^8)))
sutilisateur     système      écoulé
 10.137           0.120      10.251 
> system.time(rnorm(10^8))
utilisateur     système      écoulé
 13.417           0.060      13.472` `

і з точки зору прилягання до хвоста: введіть тут опис зображення

Після коментаря Radford Neal у своєму блозі , я хочу зазначити, що за замовчуванням rnormу R використовується метод інверсії, отже, вищезгадане порівняння відображається на інтерфейсі, а не на самому методі моделювання! Процитуйте документацію на RNG:

‘normal.kind’ can be ‘"Kinderman-Ramage"’, ‘"Buggy
 Kinderman-Ramage"’ (not for ‘set.seed’), ‘"Ahrens-Dieter"’,
 ‘"Box-Muller"’, ‘"Inversion"’ (the default), or ‘"user-supplied"’.
 (For inversion, see the reference in ‘qnorm’.)  The
 Kinderman-Ramage generator used in versions prior to 1.7.1 (now
 called ‘"Buggy"’) had several approximation errors and should only
 be used for reproduction of old results.  The ‘"Box-Muller"’
 generator is stateful as pairs of normals are generated and
 returned sequentially.  The state is reset whenever it is selected
 (even if it is the current normal generator) and when ‘kind’ is
 changed.

— Сіань
джерело

\log

$\log$

\sqrt{}

$\sqrt{}$

Φ^{- 1}

$\Phi^{-1}$

Φ^{- 1}

$\Phi^{-1}$

X_{1}

$X_1$

X_{2}

$X_2$

U_{i}

$U_i$

- 1

$-1$

1

$1$

0

$0$

1

$1$

R 3.0.2rowSums

S

$S$ qnorm(runif(N))InverseCDF[NormalDistribution[], #] &

Я згоден, qnorm(runif(N))навіть на 20% швидше, ніжrnorm(N)

— Сіань

Φ^{- 1}

$\Phi^{-1}$

\sin

$\sin$

\cos

$\cos$

Для порівняння, використовуючи i7-3740QM @ 2.7Ghz та R 3.12, для таких дзвінків:

RNGkind(kind = NULL, normal.kind = 'Inversion');At <- microbenchmark(A <- rnorm(1e5, 0, 1), times = 100L);RNGkind(kind = NULL, normal.kind = 'Box-Muller');Bt <- microbenchmark(B <- rnorm(1e5, 0, 1), times = 100L)

я отримую mean 11.38363 median 11.18718інверсію, а mean 13.00401 median 12.48802Box-Muller

— Аврахам