Це правильно ? (породження усіченої норми, багатоваріантної-гауссової)

Якщо тобто $X\in\mathbb{R}^n,~X\sim \mathcal{N}(\underline{0},\sigma^2\mathbf{I})$

$$f_X(x) = \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)$$

Я хочу аналогічну версію усіченого-нормального розподілу у багатовимірному випадку.

Точніше, я хочу створити обмежене нормою (до значення ) багатофакторне гауссова st коли$\geq a$$Y$

$$f_Y(y) = \begin{cases} c.f_X(y), \text{ if } ||y||\geq a \\[2mm] 0, \text{ otherwise }. \end{cases}$$ $c=\frac{1}{Prob\big\{||X||\geq a\big\}}$

---

Зараз я спостерігаю таке:

Якщо ,$x=(x_1,x_2,\ldots,x_n)$$||x||\geq a$

$\implies |x_n|\geq T\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

Тому, вибираючи $x_1,\ldots,x_{n-1}$ як зразки Гаусса, можна обмежити $x_n$ як зразок із усіченого нормального розподілу (за гауссовим хвостом $\geq T$ ) розподілу $\mathcal{N}_T(0,\sigma^2)$ , за винятком знаку, обраного випадковим чином з ймовірністю $1/2$ .

Тепер моє запитання таке:

Якщо я генерую кожен зразок вектора $(x_1,\ldots,x_n)$ з $(X_1,\ldots,X_n)$ як,

$x_1,\ldots,x_{n-1}\sim \mathcal{N}(0,\sigma^2)$

і

Z 1 ∼ { ± 1 мас. 1 / 2 } Z 2 ~ Н Т ( 0 , σ 2 ) Т ( х 1 , ... , х п - 1 ) ≜ $x_n = Z_1 *Z_2~$ де, , , (тобто a усічений-скалярний нормальний RV з$~Z_1\sim\{\pm1 ~\text{w.p.}~ 1/2\}$$Z_2\sim\mathcal{N}_T(0,\sigma^2)$$T(x_1,\ldots,x_{n-1})\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

Чи буде обмеженою нормою ( ) багатовимірною гауссовою? (тобто те саме, що визначено вище). Як я повинен перевірити? Будь-які інші пропозиції, якщо це не спосіб?≥ a $(X_1,X_2,\ldots,X_n)$$\geq a$$Y$

Редагувати:

Ось графік розсіяння точок у двовимірному випадку з нормою, прирізаною до значень вище "1"

Примітка. Нижче наведено кілька чудових відповідей, але обґрунтування того, чому ця пропозиція є неправильною, відсутня. Насправді, це головний момент цього питання.

Багатоваріантний нормальний розподіл сферично симетричний. Ви шукаєте розподілу усікає радіус нижче . Оскільки цей критерій залежить лише від довжини , усічений розподіл залишається сферично симетричним. Оскільки не залежить від сферичного кутаі мають розподіл , то , отже , може генерувати значення з усіченого розподілу всього за кілька простих кроків:ρ = | | X | | 2 a X ρ X / | | X | | $X$$\rho=||X||^2$$a$$X$$\rho$$X/||X||$χ ( n )$\rho\,\sigma$$\chi(n)$

1. Створіть .$X \sim \mathcal{N}(0,\mathbb{I}_n)$

2. Створіть як квадратний корінь розподілу усічений в .χ 2 ( d ) ( a / σ ) $P$$\chi^2(d)$$(a/\sigma)^2$

3. Нехай.$Y = \sigma P\, X/||X||$

На етапі 1 отримують у вигляді послідовності незалежних реалізацій стандартної нормальної змінної.$X$$d$

На етапі 2 легко створюється шляхом інвертування квантильної функції розподілу : генерувати однорідну змінну підтримувану в діапазоні (квантилів) між і і задаємо .F - 1 χ 2 ( d ) U F ( ( a / σ ) 2 ) 1 P = $P$$F^{-1}$$\chi^2(d)$$U$$F((a/\sigma)^2)$$1$$P = \sqrt{F(U)}$

Ось гістограма з таких незалежних реалізацій для в вимірах, усічена внизу при . Генерування зайняло близько однієї секунди, що підтверджує ефективність роботи алгоритму. σ P σ = 3 n = 11 a = $10^5$$\sigma P$$\sigma=3$$n=11$$a=7$

Червона крива - це щільність усіченого розподілу, масштабована на . Її близька відповідність гістограмі свідчить про обгрунтованість цієї методики.σ = $\chi(11)$$\sigma=3$

Щоб отримати інтуїцію для усікання, розглянемо випадок , у вимірах. Ось розсіювач проти (для незалежних реалізацій). На ній чітко видно отвір в радіусі :σ = 1 n = 2 Y 2 Y 1 10 4$a=3$$\sigma=1$$n=2$$Y_2$$Y_1$$10^4$$a$

Нарешті, зауважимо, що (1) компоненти повинні мати однакові розподіли (через сферичну симетрію) та (2), за винятком випадків, коли , що спільне розподіл не є нормальним. Справді, як виростає велика, швидке зниження (одновимірний) нормального розподілу викликає більшу частину ймовірності сферически усічений багатовимірне нормальне групуватися поблизу поверхні -сфери (радіуса ). Отже, граничний розподіл повинен наближати масштабований симетричний розподіл Beta зосереджений у інтервалі . Це видно в попередньому розсіювачі, де$X_i$$a=0$$a$$n-1$$a$$((n-1)/2,(n-1)/2)$$(-a,a)$$a=3\sigma$є вже великим у двох вимірах: точки обмежують кільце ( -сфера) радіусом .$2-1$$3\sigma$

Ось гістограми граничних розподілів з імітації розміру в вимірах з , (для яких апроксимуючий розподіл Beta є рівномірним):$10^5$$3$$a=10$$\sigma=1$$(1,1)$

Оскільки перші поля, описані у питанні, є нормальними (за побудовою), ця процедура не може бути правильною.$n-1$

---

Наступний Rкод генерував першу цифру. Він сконструйований так, щоб паралельні кроки 1-3 для генерації . Він був змінений , щоб генерувати другу цифру шляхом зміни змінних , , , і , а потім видачі команди ділянку після того, як був створений.$Y$adnsigmaplot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010")y

Покоління змінюється в коді для більш високого чисельного рішення: код фактично виробляє і використовує для обчислення .$U$$1-U$$P$

Той самий прийом моделювання даних згідно з передбачуваним алгоритмом, узагальнення його за допомогою гістограми та накладення гістограми може бути використаний для перевірки методу, описаного у питанні. Це підтвердить, що метод працює не так, як очікувалося.

a <- 7      # Lower threshold
d <- 11     # Dimensions
n <- 1e5    # Sample size
sigma <- 3  # Original SD
#
# The algorithm.
#
set.seed(17)
u.max <- pchisq((a/sigma)^2, d, lower.tail=FALSE)
if (u.max == 0) stop("The threshold is too large.")
u <- runif(n, 0, u.max)
rho <- sigma * sqrt(qchisq(u, d, lower.tail=FALSE)) 
x <- matrix(rnorm(n*d, 0, 1), ncol=d)
y <- t(x * rho / apply(x, 1, function(y) sqrt(sum(y*y))))
#
# Draw histograms of the marginal distributions.
#
h <- function(z) {
  s <- sd(z)
  hist(z, freq=FALSE, ylim=c(0, 1/sqrt(2*pi*s^2)),
       main="Marginal Histogram",
       sub="Best Normal Fit Superimposed")
  curve(dnorm(x, mean(z), s), add=TRUE, lwd=2, col="Red")
}
par(mfrow=c(1, min(d, 4)))
invisible(apply(y, 1, h))
#
# Draw a nice histogram of the distances.
#
#plot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010") # For figure 2
rho.max <- min(qchisq(1 - 0.001*pchisq(a/sigma, d, lower.tail=FALSE), d)*sigma, 
               max(rho), na.rm=TRUE)
k <- ceiling(rho.max/a)
hist(rho, freq=FALSE, xlim=c(0, rho.max),  
     breaks=seq(0, max(rho)+a, by=a/ceiling(50/k)))
#
# Superimpose the theoretical distribution.
#
dchi <- function(x, d) {
  exp((d-1)*log(x) + (1-d/2)*log(2) - x^2/2 - lgamma(d/2))
}
curve((x >= a)*dchi(x/sigma, d) / (1-pchisq((a/sigma)^2, d))/sigma, add=TRUE, 
      lwd=2, col="Red", n=257)

Я написав це, припускаючи, що ви не хочете, щоб точки, що мають || y || > а, який є аналогом звичайного одновимірного усічення. Однак ви написали, що хочете зберегти очки, маючи | y || > = а і викиньте інші. Тим не менш, очевидне коригування мого рішення може бути здійснено, якщо ви дійсно хочете зберегти точки, що мають | y || > = а.

Найпростішим способом, який, як правило, є дуже загальним методом, є використання Acceptance-Rejection https://en.wikipedia.org/wiki/Rejection_sampling . Це буде досить швидко, доки Prob (|| X ||> a) буде досить низьким, тому що тоді не буде багато відхилень.

Створіть вибіркове значення x з необмеженої багатоваріантної нормальної (навіть якщо ваша проблема стверджує, що багатоваріантна нормальна сферична, техніку можна застосовувати, навіть якщо її немає). Якщо || x || <= a, прийняти, тобто використовувати x, інакше відхилити його та створити новий зразок. Повторіть цей процес, поки у вас не буде стільки прийнятих зразків, скільки вам потрібно. Ефект застосування цієї процедури полягає в генерації y такої, що її щільність c * f_X (y), якщо || y || <= a, і 0, якщо || y || > a, за моєю корекцією до вступної частини вашого питання. Ніколи не потрібно обчислювати c; це фактично автоматично визначається алгоритмом на основі частоти, з якою відхиляються вибірки.

$$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}=\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{x_1^2+\ldots+x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$$ $$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$$ $$=\frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x_{-n}||^2+x_n^2>a^2}$$ $$=\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\qquad\qquad\qquad\qquad\qquad$$ $$\qquad\qquad\qquad\times\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)^{-1}}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{x_n^2>a-||x_{-n}||^2}$$ $$f_{X_{-n}}(x_{-n}) \propto \frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)$$ $x_n$

1. $X_n$$X_{-n}$
2. $X_{-n}$$\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)$

Єдиний спосіб я бачу, скориставшись цією властивістю, - це запустити пробник Gibbs, один компонент за одним, використовуючи усічені нормальні умовні розподіли.

Питання випливає з ідеї використання - основної умовно-декомпозиції спільних розподілів - для того, щоб намалювати векторні зразки.

$X$

$\text{Prob}(||X||>a) \triangleq T$$Y\triangleq X.\mathbb{I}_{||X||>a}$

$$f_Y(y) = \frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||y||^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{y_1^2+\ldots+y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right) \left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\right)\\ =\underbrace{\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right)}_{\text{Gaussians}} \underbrace{\left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{y_n^2>(a^2-y_1^2-\ldots y_{n-1}^2)}\right)}_{\text{Truncated Gaussian??}}$$

Найкоротша відповідь полягає в тому, що останній фактор не є усіченим гауссом, (що важливіше), навіть не розподілом.

---

Ось детальне пояснення того, чому саме зазначена факторизація має певний фундаментальний недолік. В одному реченні: будь-яка умовна факторизація заданого спільного розподілу повинна задовольняти деяким дуже фундаментальним властивостям, і вищевказана факторизація їх не задовольняє (див. Нижче).

$f_{XY}(x,y)=f_X(x)\cdot f_{Y|X}(y|x)$$f_X(x)$$X$$f_{Y|X}(y|x)$$Y$

1. $f(x,y)$$f_X(x)$
2. $f_{Y|X}(y|x)$$x$

$Y_n|(Y_1\ldots Y_{n-1})$

$(Y_1\ldots Y_{n-1})$

---

Така пропозиція алгоритму, ймовірно, є наслідком наступного помилкового уявлення: Після того, як розподіл природним чином виходить із спільного розподілу (наприклад, у гауссів вище), це призводить до умовної факторизації. ---- Це не так! ---- Інший (другий) фактор також повинен бути хорошим.

---

Примітка: Раніше @whuber є чудовою відповіддю, яка фактично вирішує проблему генерування багатовимірної гауссової норми усіченою нормою. Я приймаю його відповідь. Ця відповідь лише для того, щоб уточнити та поділитися власним розумінням та генезисом питання.