Лінійність дисперсії

16

Я думаю, що дві наступні формули вірні:

V a r (a X) = a^{2} V a r (X)

$\mathrm{Var}(aX)=a^2 \mathrm{Var}(X)$ а a - постійне число якщо,незалежні

V a r (X + Y) = V a r (X) + V a r (Y)

$\mathrm{Var}(X + Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)$

X

$X$

Y

$Y$

Однак я не впевнений, що не так із наведеним нижче:

V a r (2 X) = V a r (X + X) = V a r (X) + V a r (X)

$\mathrm{Var}(2X) = \mathrm{Var}(X+X) = \mathrm{Var}(X) + \mathrm{Var}(X)$ що не дорівнює , тобто .

2^{2} V a r (X)

$2^2 \mathrm{Var}(X)$

4 V a r (X)

$4\mathrm{Var}(X)$

Якщо припустити, що - це вибірка, взята з популяції, я думаю, що ми завжди можемо вважати, що є незалежним від інших s. $X$ $X$ $X$

Отже, що не так з моєю плутаниною?

variance linearity fallacy

— lanselibai
джерело

8

Варіант не є лінійним - ваше перше твердження показує це (якби воно було, ви мали б

V a r (a X) = a V a r (X)

$Var(aX) = a Var(X)$ . З іншого боку, коваріація білінеарна.

— Бетмен

33

$\DeclareMathOperator{\Cov}{Cov}$ $\DeclareMathOperator{\Corr}{Corr}$ $\DeclareMathOperator{\Var}{Var}$

Проблема з вашим розсудом є

"Я думаю, що ми завжди можемо вважати, що незалежний від інших s". $X$ $X$

не залежить від . Символ використовується для позначення однієї і тієї ж випадкової величини. Після того, як ви знаєте значення першого яке відображатиметься у вашій формулі, це також фіксує значення другого для відображення. Якщо ви хочете, щоб вони посилалися на різні (і потенційно незалежні) випадкові величини, вам потрібно позначити їх різними літерами (наприклад, і $X$ $X$ $X$ $X$ $X$ $X$ ) або використовуючи підписки (наприклад, і ); остання часто (але не завжди) використовується для позначення змінних, отриманих з одного і того ж розподілу. $Y$ $X_1$ $X_2$

Якщо дві змінні і незалежні , то така ж , як : знаючи значення не дає ніякої додаткової інформації про значення . Але дорівнює якщо і іншому випадку: знаючи значення $X$ $Y$ $\Pr(X=a|Y=b)$ $\Pr(X=a)$ $Y$ $X$ $\Pr(X=a|X=b)$ $1$ $a=b$ $0$ $X$ дає вам повну інформацію про вартість . [Ви можете замінити ймовірності в цьому абзаці на кумулятивні функції розподілу, або, де це доречно, функції щільності ймовірностей, по суті того ж ефекту.] $X$

Інший спосіб бачити речі в тому , що якщо дві змінні незалежні , то вони мають нульову кореляцію (хоча нульова кореляція не означає незалежність !) , Але є цілком корелюють з собою, , так не може бути незалежним самого себе. Зауважимо, що оскільки коваріація задана $X$ $\Corr(X,X)=1$ $X$ , тоді $\Cov(X,Y)=\Corr(X,Y)\sqrt{\Var(X)\Var(Y)}$

Cov (X, X) = 1 \sqrt{Var (X)^{2}} = Var (X)

$\Cov(X,X)=1\sqrt{\Var(X)^2}=\Var(X)$

Більш загальна формула дисперсії суми двох випадкових величин

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

Зокрема, , так $\Cov(X,X) = \Var(X)$

Var (X + X) = Var (X) + Var (X) + 2 Var (X) = 4 Var (X)

$\Var(X+X) = \Var(X) + \Var(X) + 2\Var(X) = 4\Var(X)$

що таке саме, як ви б вивели із застосування правила

Var (a X) = a^{2} Var (X) ⟹ Var (2 X) = 4 Var (X)

$\Var(aX) = a^2 \Var(X) \implies \Var(2X) = 4\Var(X)$

Якщо вас цікавить лінійність, то вас може зацікавити біліарність коваріації. Для випадкових змінних , , і (незалежно чи незалежно) і констант , , $W$ $X$ $Y$ $Z$ $a$ $b$ і маємо $c$ $d$

Cov (a W + b X, Y) = a Cov (W, Y) + b Cov (X, Y)

$\Cov(aW + bX, Y) = a \Cov(W,Y) + b \Cov(X,Y)$

Cov (X, c Y + d Z) = c Cov (X, Y) + d Cov (X, Z)

$\Cov(X, cY + dZ) = c \Cov(X,Y) + d \Cov(X,Z)$

і в цілому,

Cov (a W + b X, c Y + d Z) = a c Cov (W, Y) + a d Cov (W, Z) + b c Cov (X, Y) + b d Cov (X, Z)

$\Cov(aW + bX, cY + dZ) = ac \Cov(W,Y) + ad \Cov(W,Z) + bc \Cov(X,Y) + bd \Cov(X,Z)$

Потім ви можете використовувати це, щоб довести (нелінійні) результати для дисперсії, яку ви написали у своєму дописі:

Var (a X) = Cov (a X, a X) = a^{2} Cov (X, X) = a^{2} Var (X)

$\Var(aX) = \Cov(aX, aX) = a^2 \Cov(X,X) = a^2 \Var(X)$

\begin{aligned} Var (a X + b Y) & = Cov (a X + b Y, a X + b Y) \\ = a^{2} Cov (X, X) + a b Cov (X, Y) + b a Cov (X, Y) + b^{2} Cov (Y, Y) \\ Var (a X + b Y) & = a^{2} Var (X) + b^{2} Var (Y) + 2 a b Cov (X, Y) \end{aligned}

$\begin{align} \Var(aX + bY) &= \Cov(aX + bY, aX + bY) \\ &= a^2 \Cov(X,X) + ab \Cov(X,Y) + ba \Cov (X,Y) + b^2 \Cov(Y,Y) \\ \Var(aX + bY) &= a^2 \Var(X) + b^2 \Var(Y) + 2ab \Cov(X,Y) \end{align}$

Останнє дає окремий випадок, коли , $a=b=1$

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

Коли і є некорельованими (що включає випадок, коли вони незалежні), то це зводиться до . Тож якщо ви хочете маніпулювати варіаціями "лінійним" способом (що часто є приємним алгебраїчним способом роботи), тоді замість цього працюйте з коваріаціями та використовуйте їх біліарність. $X$ $Y$ $\Var(X+Y) = \Var(X) + \Var(Y)$

— Срібна рибка
джерело

1

Так! Я думаю, ви на початку визначили, що плутанина була по суті нотаційною. Я вважаю це дуже корисним, коли одна книга (дуже явно, дехто може сказати наполегливо) пояснювала інтерпретацію та правила оцінки ймовірнісного твердження (так, наприклад, навіть якщо ви знаєте, що ви маєте на увазі

де

, це технічно неправильно, якщо ви думаєте кинути

в лайки (а

Pr (X + X = n)

$\Pr (X+X=n)$

X \sim Uniform (1..6)

$X \sim \text{Uniform}(1..6)$

n

$n$

X + X = 2 X

$X+X=2X$ ніколи не дасть непарний рулон); подія буде правильно виражена за допомогою

X_{1}, X_{2}

$X_1,X_2$

1

2+PRNG(6)+PRNG(6)

2 d 6 = d 6 + d 6

$2 \text{d}6 = \text{d}6 + \text{d}6$

@Vandermonde That's an interesting point. I initially considered mentioning the use of subscripts to distinguish between "different

X

$X$ s" but didn't bother - think I might edit it in now. The argument that "you'd never get an odd total score if the sum was

2 X

$2X$ " is very clear and convincing to someone who can't see the need to distinguish: thanks for sharing it.

— Silverfish

0

Another way of thinking about it is that with random variables $2X \neq X + X$ .

$2X$ would mean two times the value of the outcome of $X$ , while $X + X$ would mean two trials of $X$ . In other words, it's the difference between rolling a die once and doubling the result, vs rolling a die twice.

— Benjamin
джерело

+1 This is a perfectly clear and correct answer. Welcome to our site!

— whuber

Thanks @whuber!

— Benjamin