Як визначити кванти (ізолінії?) Багатоваріантного нормального розподілу

24

введіть тут опис зображення

Мене цікавить, як можна обчислити квантил багатофакторного розподілу. На малюнках я намалював 5% і 95% квантилів даного одновимірного нормального розподілу (зліва). Для правильного багатоваріантного нормального розподілу я уявляю, що аналогом був би ізолін, який оточує основу функції щільності. Нижче наводиться приклад моєї спроби обчислити це за допомогою пакету mvtnorm- але без успіху. Я припускаю, що це можна зробити, обчисливши контур результатів функції багатоваріантної щільності, але мені було цікаво, чи існує інша альтернатива ( наприклад , аналог qnorm). Спасибі за вашу допомогу.

Приклад:

mu <- 5
sigma <- 2 
vals <- seq(-2,12,,100)
ds <- dnorm(vals, mean=mu, sd=sigma)

plot(vals, ds, t="l")
qs <- qnorm(c(0.05, 0.95), mean=mu, sd=sigma)
abline(v=qs, col=2, lty=2)


#install.packages("mvtnorm")
require(mvtnorm)
n <- 2
mmu <- rep(mu, n)
msigma <- rep(sigma, n)
mcov <- diag(msigma^2)
mvals <- expand.grid(seq(-2,12,,100), seq(-2,12,,100))
mvds <- dmvnorm(x=mvals, mean=mmu, sigma=mcov)

persp(matrix(mvds,100,100), axes=FALSE)
mvqs <- qmvnorm(0.95, mean=mmu, sigma=mcov, tail = "both") #?

#ex. plot   
png("tmp.png", width=8, height=4, units="in", res=400)
par(mfcol=c(1,2))

#univariate
plot(vals, ds, t="l")
qs <- qnorm(c(0.05, 0.95), mean=mu, sd=sigma)
abline(v=qs, col=2, lty=2)

#multivariate
pmat <- persp(seq(-2,12,,100), seq(-2,12,,100), matrix(mvds,100,100), axes=FALSE, shade=TRUE, lty=0)
cont <- contourLines(seq(-2,12,,100), seq(-2,12,,100), matrix(mvds,100,100), levels=0.05^2)
lines(trans3d(cont[[1]]$x, cont[[1]]$y, cont[[1]]$level, pmat), col=2, lty=2)

dev.off()

— Марк у коробці
джерело

3

Рішення Mathematica подано (і проілюстровано для випадку 3D) на сайті mateica.stackexchange.com/questions/21396/… . Він визнає, що контурні рівні задаються розподілом на квадратні чі.

— whuber

@whuber - чи не проти ви продемонструвати, що ви маєте на увазі під "... еліпсоїд впевненості - це контур оберненої матриці коваріації"? Ура.

— Марк у коробці

2

Це найпростіше побачити в одному вимірі, де "матриця коваріації" (для розподілу вибірки) є число

, тому її обернена дорівнює

, що розглядається як квадратична карта на

через

. Контур на рівні

за визначенням - це набір

для якого

s^{2}

$s^2$

1 / s^{2}

$1/s^2$

R^{1}

$\mathbb{R}^1$

x \to x^{2} / s^{2}

$x\to x^2/s^2$

λ

$\lambda$

x

$x$

x^{2} / s^{2} = λ

$x^2/s^2=\lambda$ ; тобто

або рівнозначно

x^{2} = λ s^{2}

$x^2=\lambda s^2$

. Коли

- то

x = \pm \sqrt{λ} s

$x=\pm\sqrt{\lambda}s$

λ

$\lambda$

- квантиль

розподілу,

1 - α

$1-\alpha$

χ^{2} (1)

$\chi^2(1)$

є

квантиль

розподілу, звідки відновлюватися звичайним довірчі межі

\sqrt{λ}

$\sqrt{\lambda}$

1 - α

$1-\alpha$

t (1)

$t(1)$

.

\pm t_{1 - α; 1} s

$\pm t_{1-\alpha; 1}s$

— whuber

Ви можете використати першу формулу у цій відповіді, вибравши

в

щоб отримати відповідний еліпс

(червона пунктирна лінія у ваших графіках) для будь-якого

α

$\alpha$

(0, 1)

$(0,1)$

S_{α}

$S_\alpha$

x \in R^{2}

$\mathbf{x}\in \mathbb{R}^2$

— user603

25

Лінія контуру - це еліпсоїд. Причина полягає в тому, що ви повинні подивитися на аргумент експоненціалу в pdf багатофакторного нормального розподілу: ізолінії були б рядками з тим же аргументом. Тоді ви отримуєте де - матриця коваріації. Це саме рівняння еліпса; у найпростішому випадку і - діагональна, тому ви отримаєте

(x - μ)^{T} Σ^{- 1} (x - μ) = c

$({\bf x}-\mu)^T\Sigma^{-1}({\bf x}-\mu) = c$

Σ

$\Sigma$

μ = (0, 0)

$\mu=(0,0)$

Σ

$\Sigma$

Якщо

не діагональний, діагоналізуючи, ви отримуєте той самий результат.

{(\frac{x}{σ_{x}})}^{2} + {(\frac{y}{σ_{y}})}^{2} = c

$\left(\frac{x}{\sigma_x}\right)^2+\left(\frac{y}{\sigma_y}\right)^2=c$

Σ

$\Sigma$

Тепер вам доведеться інтегрувати pdf багатоваріантного всередині (або зовні) еліпса і вимагати, щоб це було рівним квантилеві, який ви хочете. Скажімо, ваші кванти не є звичайними, а в принципі еліптичними (тобто ви шукаєте область найвищої щільності, HDR, як вказує відповідь Тіма). Я міняв би змінні в pdf на , інтегруватись у кут, а потім для від до $z^2=(x/\sigma_x)^2+(y/\sigma_y)^2$ $z$ $0$ $\sqrt{c}$ Тоді ви замінюєте

1 - α = \int_{0}^{\sqrt{c}} d z \frac{z e^{- z^{2} / 2}}{2 π} \int_{0}^{2 π} d θ = \int_{0}^{\sqrt{c}} z e^{- z^{2} / 2}

$1-\alpha=\int_0^{\sqrt{c}}dz\frac{z\;e^{-z^2/2}}{2\pi}\int_0^{2\pi}d\theta=\int_0^{\sqrt{c}}z\;e^{-z^2/2}$

:

s = - z^{2} / 2

$s=-z^2/2$

\int_{0}^{\sqrt{c}} z e^{- z^{2} / 2} = \int_{- c / 2}^{0} e^{s} d s = (1 - e^{- c / 2})

$\int_0^{\sqrt{c}}z\;e^{-z^2/2}=\int_{-c/2}^{0}e^sds=(1-e^{-c/2})$

Тому в принципі потрібно шукати еліпс із центром у , з віссю над власними векторами та ефективним радіусом : $\mu$ $\Sigma$ $-2\ln\alpha$

(x - μ)^{T} Σ^{- 1} (x - μ) = - 2 \ln α

$({\bf x}-\mu)^T\Sigma^{-1}({\bf x}-\mu) = -2\ln{\alpha}$

— чудо
джерело

4

Ви запитували про багатоваріантне нормальне, але розпочали своє запитання з питання про "квантил багатоваріантного розподілу" взагалі. З формулювань вашого запитання та прикладу, здається, що вас цікавлять регіони найвищої щільності . Вони визначаються Hyndman (1996) наступним чином

$f(z)$ $X$ $100( 1 - \alpha )\%$ $R(f_\alpha)$ $X$ таким, що

$R (f_{α}) = {x : f (x) \geq f_{α}}$ $R(f_\alpha) = \{ x : f(x) \geq f_\alpha\}$
where $f_\alpha$ is the largest constant such that $\Pr(X \in R(f_\alpha)) \geq 1 - a$ .

HDR's can be obtained by integration but, as described by Hyndman, you can do it using a simpler, numerical method. If $Y = f(x)$ , then you can obtain $f_\alpha$ such that $\Pr(f(x) \geq f_\alpha) \geq 1 - \alpha$ simply by taking $\alpha$ quantile of $Y$ . It can be estimated using sample quantiles from a set of observations $y_1,...,y_m$ . The method applies even if we do not know $f(x)$ , but have only a set of i.i.d. observations. This method would work also for multimodal distributions.

Hyndman, R.J. (1996). Computing and graphing highest density regions. The American Statistician, 50(2), 120-126.

— Tim
джерело

2

The correct answer should be $-2*\ln(\alpha)$ . There was a mistake in the calculation above. The corrected version:

\int_{0}^{\sqrt{c}} z e^{- z^{2} / 2} = \int_{- c / 2}^{0} e^{s} d s = (1 - e^{- c / 2})

$\int_0^\sqrt{c} z e^{-z^2/2} =\int_{-c/2}^0e^sds=(1-e^{-c/2})$

— chunjiw
джерело

1

You could draw an ellipses corresponding to Mahalanobis distances.

library(chemometrics)
data(glass)
data(glass.grp)
x=glass[,c(2,7)]
require(robustbase)
x.mcd=covMcd(x)
drawMahal(x,center=x.mcd$center,covariance=x.mcd$cov,quantile=0.90)

Or with circles around 95%, 75%, and 50% of data

drawMahal(x,center=x.mcd$center,covariance=x.mcd$cov,quantile=c(0.95,.75,.5))

— daisy
джерело

4

Welcome to the site @user98114. Can you provide some text to explicate what this code is doing & how it resolves the OP's issue?

— gung - Reinstate Monica