Який розподіл суми неіідних гауссових змінних?

Якщо $X$ розподілено $N(\mu_X, \sigma^2_X)$ , $Y$ розподілено $N(\mu_Y, \sigma^2_Y)$ і $Z = X + Y$ , я знаю, що $Z$ розподілено $N(\mu_X + \mu_Y, \sigma^2_X + \sigma^2_Y)$ якщо X і Y незалежні.

Але що буде, якби X і Y не були незалежними, тобто $(X, Y) \approx N\big( (\begin{smallmatrix} \mu_X\\\mu_Y \end{smallmatrix}) , (\begin{smallmatrix} \sigma^2_X && \sigma_{X,Y}\\ \sigma_{X,Y} && \sigma^2_Y \end{smallmatrix}) \big)$

Чи вплине це на спосіб розподілу суми ? $Z$

normal-distribution mathematical-statistics

— JCWong
джерело

Просто хотілося б відзначити, що всі види спільних розподілів

інший , ніж двовимірним нормальним , що до сих пір

незначно нормально. І ця відмінність мала б величезну зміну у відповідях.

(X, Y)

$(X,Y)$

X

$X$

Y

$Y$

@ G.JayKerns Я погоджуюся, що якщо

є нормальними, але не обов'язково спільно нормальними, то

може мати поширення, відмінне від нормального. Але твердження ОП, що "

розподілено

якщо

незалежні". абсолютно правильно. Якщо

X

$X$

Y

$Y$

X + Y

$X+Y$

Z

$Z$

N (μ_{x} + μ_{y}, σ_{x}^{2} + σ_{y}^{2})

$N(\mu_x + \mu_y, \sigma^2_x + \sigma^2_y)$

X

$X$

Y

$Y$

X

$X$

Y

$Y$ є гранично нормальними (як сказано в першій частині речення) та незалежними (згідно з припущенням у другій частині речення), тоді вони також є спільними нормальними. У питанні про ОП нормальність суглобів передбачається явно, тому будь-яка лінійна комбінація

є нормальною.

X

$X$

Y

$Y$

— Діліп Сарват

@Dilip, дозвольте мені зрозуміти, що в питанні немає нічого поганого, і немає нічого поганого у вашій відповіді (+1) (або ймовірності, або (+1)). Я просто вказував, що якщо

залежні, то це не обов'язково, щоб вони були спільно нормальними, і не було зрозуміло, що ОП розглядала таку можливість. Крім того, я боюся (хоча я не витрачав багато часу на роздуми), що без якихось інших припущень (як, наприклад, спільної нормальності) питання може бути навіть невиправданим.

X

$X$

Y

$Y$

Як згадує @ G.JayKerns, ми, звичайно, можемо отримати всіляку цікаву поведінку, якщо розглядати нормально розподілені норми, але не спільно. Ось простий приклад: Нехай

бути стандартним нормальним і

з ймовірністю 1/2 кожне, незалежно від

. Нехай

. Тоді

також є нормальним нормальним, але

точно дорівнює нулю з вірогідністю 1/2 і дорівнює

з вірогідністю 1/2.

X

$X$

ε = \pm 1

$\varepsilon = \pm 1$

X

$X$

Y = ε X

$Y = \varepsilon X$

Y

$Y$

Z = X + Y

$Z = X+Y$

2 X

$2X$

— кардинал

Ми можемо отримати цілу різноманітність різних форм поведінки, розглядаючи біваріантну копулу, яка пов'язана з

через теорему Скляра . Якщо ми використовуємо копулу Гаусса, то отримуємо

спільно нормальні, і тому

нормально розподіляється. Якщо копула не є гауссова копула, то

все ще незначно розподілені як нормальні, але не є спільно нормальними, і тому сума не буде нормально розподілена.

(X, Y)

$(X,Y)$

(X, Y)

$(X,Y)$

Z = X + Y

$Z = X + Y$

X

$X$

Y

$Y$

— кардинальний

Відповіді:

Дивіться мій коментар щодо вірогідності відповіді на це питання . Тут , деявляє собоюковаріаціїзі. Ніхто не записує позадіагональні записи в матриці коваріації як як ви це зробили. Позадіагональні записи - це коваріації, які можуть бути негативними.

\begin{aligned} X + Y & \sim N (μ_{X} + μ_{Y}, σ_{X}^{2} + σ_{Y}^{2} + 2 σ_{X, Y}) \\ a X + b Y & \sim N (a μ_{X} + b μ_{Y}, a^{2} σ_{X}^{2} + b^{2} σ_{Y}^{2} + 2 a b σ_{X, Y}) \end{aligned}

$\begin{align*} X + Y &\sim N(\mu_X + \mu_Y,\; \sigma_X^2 + \sigma_Y^2 + 2\sigma_{X,Y})\\ aX + bY &\sim N(a\mu_X + b\mu_Y,\; a^2\sigma_X^2 + b^2\sigma_Y^2 + 2ab\sigma_{X,Y}) \end{align*}$

σ_{X, Y}

$\sigma_{X,Y}$

X

$X$

Y

$Y$

σ_{x y}^{2}

$\sigma_{xy}^2$

— Діліп Сарват
джерело

@Kodiologist Дякую! Я здивований, що друкарські помилки залишалися непоміченими більше 4 років.

— Діліп Сарват

$d$ $X\sim N_{d}(\mu,\Sigma)$ $\mu=(\mu_1,\dots,\mu_d)^T$ $\Sigma_{jk}=cov(X_j,X_k)\;\;j,k=1,\dots,d$

φ_{X} (t) = E [\exp (i t^{T} X)] = \exp (i t^{T} μ - \frac{1}{2} t^{T} Σ t)

$\varphi_{X}({\bf{t}})=E\left[\exp(i{\bf{t}}^TX)\right]=\exp\left(i{\bf{t}}^T\mu-\frac{1}{2}{\bf{t}}^T\Sigma{\bf{t}}\right)$

= \exp (i \sum_{j = 1}^{d} t_{j} μ_{j} - \frac{1}{2} \sum_{j = 1}^{d} \sum_{k = 1}^{d} t_{j} t_{k} Σ_{j k})

$=\exp\left(i\sum_{j=1}^{d}t_j\mu_j-\frac{1}{2}\sum_{j=1}^{d}\sum_{k=1}^{d}t_jt_k\Sigma_{jk}\right)$

For a one-dimensional normal variable $Y\sim N_1(\mu_Y,\sigma_Y^2)$ we get:

φ_{Y} (t) = \exp (i t μ_{Y} - \frac{1}{2} t^{2} σ_{Y}^{2})

$\varphi_Y(t)=\exp\left(it\mu_Y-\frac{1}{2}t^2\sigma_Y^2\right)$

Now, suppose we define a new random variable $Z={\bf{a}}^TX=\sum_{j=1}^{d}a_jX_j$ . For your case, we have $d=2$ and $a_1=a_2=1$ . The characteristic function for $Z$ is the basically the same as that for $X$ .

φ_{Z} (t) = E [\exp (i t Z)] = E [\exp (i t a^{T} X)] = φ_{X} (t a)

$\varphi_{Z}(t)=E\left[\exp(itZ)\right]=E\left[\exp(it{\bf{a}}^TX)\right]=\varphi_{X}(t{\bf{a}})$

= \exp (i t \sum_{j = 1}^{d} a_{j} μ_{j} - \frac{1}{2} t^{2} \sum_{j = 1}^{d} \sum_{k = 1}^{d} a_{j} a_{k} Σ_{j k})

$=\exp\left(it\sum_{j=1}^{d}a_j\mu_j-\frac{1}{2}t^2\sum_{j=1}^{d}\sum_{k=1}^{d}a_ja_k\Sigma_{jk}\right)$

If we compare this characteristic function with the characteristic function $\varphi_Y(t)$ we see that they are the same, but with $\mu_Y$ being replaced by $\mu_Z=\sum_{j=1}^{d}a_j\mu_j$ and with $\sigma_Y^2$ being replaced by $\sigma^2_Z=\sum_{j=1}^{d}\sum_{k=1}^{d}a_ja_k\Sigma_{jk}$ . Hence because the characteristic function of $Z$ is equivalent to the characteristic function of $Y$ , the distributions must also be equal. Hence $Z$ is normally distributed. We can simplify the expression for the variance by noting that $\Sigma_{jk}=\Sigma_{kj}$ and we get:

σ_{Z}^{2} = \sum_{j = 1}^{d} a_{j}^{2} Σ_{j j} + 2 \sum_{j = 2}^{d} \sum_{k = 1}^{j - 1} a_{j} a_{k} Σ_{j k}

$\sigma^2_Z=\sum_{j=1}^{d}a_j^2\Sigma_{jj}+2\sum_{j=2}^{d}\sum_{k=1}^{j-1}a_ja_k\Sigma_{jk}$

This is also the general formula for the variance of a linear combination of any set of random variables, independent or not, normal or not, where $\Sigma_{jj}=var(X_j)$ and $\Sigma_{jk}=cov(X_j,X_k)$ . Now if we specialise to $d=2$ and $a_1=a_2=1$ , the above formula becomes:

σ_{Z}^{2} = \sum_{j = 1}^{2} (1)^{2} Σ_{j j} + 2 \sum_{j = 2}^{2} \sum_{k = 1}^{j - 1} (1) (1) Σ_{j k} = Σ_{11} + Σ_{22} + 2 Σ_{21}

$\sigma^2_Z=\sum_{j=1}^{2}(1)^2\Sigma_{jj}+2\sum_{j=2}^{2}\sum_{k=1}^{j-1}(1)(1)\Sigma_{jk}=\Sigma_{11}+\Sigma_{22}+2\Sigma_{21}$

— probabilityislogic
джерело

+1 Thanks for taking the time to write out the details. Can this question be made part of the FAQ?

— Dilip Sarwate