Чи можливо мати пару гауссових випадкових величин, для яких спільний розподіл не є гауссовим?

Хтось задав мені це запитання в інтерв'ю для роботи, і я відповів, що їх спільний розподіл завжди гауссовий. Я думав, що я завжди можу написати двозначного гаусса їх засобами та дисперсією та коваріацією. Мені цікаво, чи може бути випадок, для якого спільна ймовірність двох гауссів не є гауссом?

Нормальний розподіл двовимірне - це виняток , а не правило!

Важливо визнати, що "майже всі" спільні розподіли з нормальними маргіналами - це не двовимірний нормальний розподіл. Тобто загальна точка зору на те, що спільні розподіли з нормальними маргіналами, які не є двоваріантними нормальними, якимось чином є "патологічними", трохи помилково.

Безумовно, багатоваріантна норма є надзвичайно важливою завдяки своїй стійкості в умовах лінійних перетворень, і тому привертає основну увагу в додатках.

Приклади

Корисно почати з деяких прикладів. На малюнку нижче представлені теплові карти з шести двовимірних розподілів, всі вони мають стандартні нормальні межі. Лівий і середній у верхньому ряду є двовимірними нормалами, решта - ні (як має бути видно). Вони описані далі нижче.

Голі кістки копул

Властивості залежності часто ефективно аналізуються за допомогою копул . Двовимірним копули це просто гарна назва для розподілу ймовірностей на одиницю площі з рівномірними маргінальними.$[0,1]^2$

Припустимо, - це двофазна копула. Тоді, безпосередньо з вищесказаного, ми знаємо, що , і , наприклад.C ( u , v ) ≥ 0 C ( u , 1 ) = u C ( 1 , v ) = $C(u,v)$$C(u,v) \geq 0$$C(u,1) = u$$C(1,v) = v$

Ми можемо побудувати біваріантні випадкові величини на евклідовій площині заздалегідь визначеними маргіналами простим перетворенням біваріантної копули. Нехай і призначені граничні розподіли для пари випадкових величин . Тоді, якщо є двовимірною копулою, - це функція розподілу біваріанта з маргіналами і . Щоб побачити цей останній факт, просто зауважте, що Цей же аргумент працює і для .F 2 ( X , Y ) C ( u , v ) F ( x , y ) = C ( F 1 ( x ) , F 2 ( y ) ) F 1 F $F_1$$F_2$$(X,Y)$$C(u,v)$

$$F(x,y) = C(F_1(x), F_2(y))$$ $F_1$$F_2$ $$\renewcommand{\Pr}{\mathbb P} \Pr(X \leq x) = \Pr(X \leq x, Y < \infty) = C(F_1(x), F_2(\infty)) = C(F_1(x),1) = F_1(x) \>.$$ $F_2$

Для безперервного і , теорема Скляр в стверджує оборотно припускає унікальність. Тобто, зважаючи на двовимірне розподіл з безперервними , , відповідна копула є унікальною (на відповідному просторі діапазону).$F_1$$F_2$$F(x,y)$$F_1$$F_2$

Біваріантна норма є винятковою

Теорема Склара говорить нам (по суті) про те, що існує лише одна копула, яка виробляє біваріантне нормальне розподіл. Це, влучно названий, копула Гаусса, яка має щільність на де чисельник є двовимірним нормальним розподілом з кореляцією оцінюється при і .$[0,1]^2$

$$c_\rho(u,v) := \frac{\partial^2}{\partial u \partial v} C_\rho(u,v) = \frac{\varphi_{2,\rho}(\Phi^{-1}(u),\Phi^{-1}(v))}{\varphi(\Phi^{-1}(u)) \varphi(\Phi^{-1}(v))} \>,$$ $\rho$$\Phi^{-1}(u)$$\Phi^{-1}(v)$

Але є багато інших копул, і всі вони дадуть біваріантний розподіл із нормальними маргіналами, що не є нормальним для двовимірного, використовуючи перетворення, описане в попередньому розділі.

Деякі деталі на прикладах

Зауважимо, що якщо - довільна копула з щільністю , відповідна біваріантна щільність зі стандартними нормальними маргіналами при перетворенні є $C(u,v)$$c(u,v)$$F(x,y) = C(\Phi(x),\Phi(y))$

$$f(x,y) = \varphi(x) \varphi(y) c(\Phi(x), \Phi(y)) \> .$$

Зауважимо, що, застосувавши копулу Гаусса у наведеному рівнянні, ми відновимо біваріантну нормальну щільність. Але, для будь-якого іншого вибору , ми не будемо.$c(u,v)$

Приклади на малюнку були побудовані наступним чином (переходячи через кожен рядок, по одному стовпцю за раз):

1. Двохмарне нормальне з незалежними компонентами.
2. Двовимірний нормальний з .$\rho = -0.4$
3. Приклад , наведений в цій відповіді на Діліп Sarwate . Видно, що його викликає копула з щільністю .$C(u,v)$$c(u,v) = 2 (\mathbf 1_{(0 \leq u \leq 1/2, 0 \leq v \leq 1/2)} + \mathbf 1_{(1/2 < u \leq 1, 1/2 < v \leq 1)})$
4. Згенеровано з копули Франка з параметром .$\theta = 2$
5. Згенеровано з копули Клейтона з параметром .$\theta = 1$
6. Згенеровано з асиметричної модифікації копули Клейтона з параметром .$\theta = 3$

Це правда, що кожен елемент багатоваріантного нормального вектора сам по собі нормально розподілений, і ви можете вивести їх засоби та відхилення. Однак це неправда, що будь-які дві випадкові величини Гаассі спільно нормально розподіляються. Ось приклад:

Редагувати: У відповідь на єдину думку про те, що випадкову змінну, яка є точковою масою, можна розглядати як звичайно розподілену змінну з , я змінюю свій приклад.$\sigma^2=0$

---

Нехай і нехай де - випадкова величина. Тобто кожен з вірогідністю .$X \sim N(0,1)$$Y = X \cdot (2B-1)$$B$${\rm Bernoulli}(1/2)$$Y = \pm X$$1/2$

Спочатку покажемо, що має стандартне нормальне розподіл. $Y$За законом повної ймовірності ,

$$P(Y \leq y) = \frac{1}{2} \Big( P(Y \leq y | B = 1) + P(Y \leq y | B = 0) \Big)$$

Далі,

$$P(Y \leq y | B = 0) = P(-X \leq y) = 1-P(X \leq -y) = 1-\Phi(-y) = \Phi(y)$$

де - це звичайний звичайний CDF . Аналогічно$\Phi$

$$P(Y \leq y | B = 1) = P(X \leq y) = \Phi(y)$$

Тому

$$P(Y \leq y) = \frac{1}{2} \Big( \Phi(y) + \Phi(y) \Big) = \Phi(y)$$

значить, CDF є , таким чином .$Y$$\Phi(\cdot)$$Y \sim N(0,1)$

Тепер ми покажемо, що не є спільно нормально розподіленими. $X,Y$Як зазначає @cardinal, одна характеристика багатоваріантної норми полягає в тому, що кожна лінійна комбінація її елементів нормально розподіляється. не мають цієї властивості, оскільки$X,Y$

$$Y+X = \begin{cases} 2X &\mbox{if } B = 1 \\ 0 & \mbox{if } B = 0. \end{cases}$$

Тому являє собою суміш випадкової величини і точкової маси при 0, тому її не можна нормально розподілити.$Y+X$$50/50$$N(0,4)$

Наступний пост містить конфігурацію доказів, лише щоб дати основні ідеї та розпочати роботу.

Нехай - дві незалежні гауссові випадкові величини і буде $z = (Z_1, Z_2)$$x = (X_1, X_2)$

$$x = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} Z_1 + \alpha_{12} Z_2\\ \alpha_{21} Z_1 + \alpha_{22} Z_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} & \alpha_{12}\\ \alpha_{21} & \alpha_{22} \end{pmatrix} \begin{pmatrix} Z_1 \\ Z_2 \end{pmatrix} = A z.$$

Кожен , але оскільки вони обидві лінійні комбінації однакових незалежних r.vs, вони спільно залежать.$X_i \sim N(\mu_i, \sigma_i^2)$

Визначення Пара r.vs як кажуть, є двовимірним, нормально розподіленим, якщо його можна записати у вигляді лінійної комбінації незалежної нормальної r.vs .$x = (X_1, X_2)$$x = Az$$z = (Z_1, Z_2)$

Лема Якщо є двовимірною гауссовою, то будь-яка інша лінійна комбінація їх знову нормальна випадкова величина.$x = (X_1, X_2)$

Доказ . Тривіальний, пропущений, щоб нікого не образити.

Властивість Якщо є неспорідненими, то вони незалежні та навпаки.$X_1, X_2$

Розподіл$X_1 | X_2$

Припустимо, - такі ж гауссові r.vs, як і раніше, але припустимо, що вони мають позитивну дисперсію та нульове значення для простоти.$X_1, X_2$

Якщо - підпростір, що охоплюється , нехай і .$\mathbf S$$X_2$$X_1^{\mathbf S} = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2$$X_1^{\mathbf S^\perp} = X_1 - X_1^{\mathbf S}$

$X_1$ і - лінійні комбінації , тому теж. Вони спільно гауссові, некоррельовані (доведіть це) та незалежні.$X_2$$z$$X_2, X_1^{\mathbf S^\perp}$

Розкладання виконується з

$$X_1 = X_1^{\mathbf S} + X_1^{\mathbf S^\perp}$$ $\mathbf{E}[X_1 | X_2] = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 = X_1^{\mathbf S}$

$$\begin{split} \mathbf{V}[X_1 | X_2] &= \mathbf{V}[X_1^{\mathbf S^\perp}] \\ &= \mathbf{E} \left[ X_1 - \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 \right]^2 \\ &= (1 - \rho)^2 \sigma^2_{X_1}. \end{split}$$

Тоді

$$X_1 | X_2 \sim N\left( X_1^{\mathbf S}, (1 - \rho)^2 \sigma^2_{X_1} \right).$$

Дві одновимірні гауссові випадкові величини є спільно гауссовими, якщо умови і теж гауссові.$X, Y$$X | Y$$Y|X$