Чи коваріація, рівна нулю, передбачає незалежність для бінарних випадкових величин?

Якщо $X$ і $Y$ - дві випадкові величини, які можуть приймати лише два можливі стани, то як я можу показати, що $Cov(X,Y) = 0$ передбачає незалежність? Це суперечить тому, що я дізнався ще в той день, коли $Cov(X,Y) = 0$ не означає незалежності ...

Підказка говорить, що починати з $1$ і $0$ як можливих станів і узагальнювати звідти. І я можу це зробити і показати $E(XY) = E(X)E(Y)$ , але це не означає незалежності ???

Вигляд плутаний, як це зробити математично, я думаю.

Для бінарних змінних їх очікуване значення дорівнює ймовірності того, що вони дорівнюють одиниці. Тому

$$E(XY) = P(XY = 1) = P(X=1 \cap Y=1) \\ E(X) = P(X=1) \\ E(Y) = P(Y=1) \\ $$

Якщо двоє мають нульову коваріацію, це означає $E(XY) = E(X)E(Y)$ , що означає

$$P(X=1 \cap Y=1) = P(X=1) \cdot P(Y=1)$$

Неважливо бачити, що всі інші спільні ймовірності також множуються, використовуючи основні правила щодо незалежних подій (тобто, якщо $A$ і $B$ незалежні, то їх доповнення є незалежними тощо), що означає, що функція спільної маси факторизована, що є визначенням з двох випадкових змінних, незалежних.

Як кореляція, так і коваріантність вимірюють лінійну асоціацію між двома заданими змінними, і вона не зобов'язана виявляти будь-яку іншу форму асоціації.

Тож ці дві змінні можуть бути пов'язані декількома іншими нелінійними способами, а коваріація (і, отже, кореляція) не може відрізняти від незалежного випадку.

Як дуже дидактичні, штучний і не реалістичний приклад, можна вважати таке , що Р ( Х = х ) = 1 / 3 для ї = - 1 , 0 , 1 , а також розглянути Y = Х 2 . Зауважте, що вони не тільки пов'язані, але одне є функцією іншого. Тим не менше, їх коваріація дорівнює 0, оскільки їх асоціація є ортогональною відносно асоціації, яку коваріація може виявити.$X$$P(X=x)=1/3$$x=−1,0,1$$Y=X^2$

EDIT

Дійсно, як вказував @whuber, вищенаведена оригінальна відповідь насправді була коментарем щодо того, як твердження не є універсальним, якщо обидві змінні не були неодмінно дихотомічними. Моє ліжко!

Тож давайте математику. (Місцевий еквівалент фільму Барні Стінсона "Костюм!")

Конкретний випадок

Якщо обидва і Y були дихотомічними, то можна без втрати спільності припустити, що обидва припускають лише значення 0 і 1 з довільними ймовірностями p , q і r, заданими P ( X = 1 ) = p ∈ [ 0 , 1 ] P ( Y = 1 ) = q ∈ [ 0 , 1 ] P ( X = 1 , $X$$Y$$0$$1$$p$$q$$r$ які характеризують повністю спільний розподілXіY. Звертаючись до підказки @ DilipSarwate, зауважте, що цих трьох значень достатньо для визначення спільного розподілу(X,Y), оскільки P ( X = 0 , Y = 1

$$\begin{align*} P(X=1) = p \in [0,1] \\ P(Y=1) = q \in [0,1] \\ P(X=1,Y=1) = r \in [0,1], \end{align*}$$ $X$$Y$$(X,Y)$ (З боку бічної ноти, звичайно,rзобов'язаний дотримуватися якp-r∈[0,1],q-r∈[0,1], такі1-p-q-r∈ $$\begin{align*} P(X=0,Y=1) &= P(Y=1) - P(X=1,Y=1) = q - r\\ P(X=1,Y=0) &= P(X=1) - P(X=1,Y=1) = p - r\\ P(X=0,Y=0) &= 1 - P(X=0,Y=1) - P(X=1,Y=0) - P(X=1,Y=1) \\ &= 1 - (q - r) - (p - r) - r = 1 - p - q - r. \end{align*}$$ $r$$p-r\in[0,1]$$q-r\in[0,1]$$1-p-q-r\in[0,1]$ beyond $r\in[0,1]$, which is to say $r\in[0,\min(p,q,1-p-q)]$.)

Notice that $r = P(X=1,Y=1)$ might be equal to the product $p\cdot q = P(X=1) P(Y=1)$, which would render $X$ and $Y$ independent, since

$$\begin{align*} P(X=0,Y=0) &= 1 - p - q - pq = (1-p)(1-q) = P(X=0)P(Y=0)\\ P(X=1,Y=0) &= p - pq = p(1-q) = P(X=1)P(Y=0)\\ P(X=0,Y=1) &= q - pq = (1-p)q = P(X=0)P(Y=1). \end{align*}$$

Yes, $r$ might be equal to $pq$, BUT it can be different, as long as it respects the boundaries above.

Well, from the above joint distribution, we would have

$$\begin{align*} E(X) &= 0\cdot P(X=0) + 1\cdot P(X=1) = P(X=1) = p \\ E(Y) &= 0\cdot P(Y=0) + 1\cdot P(Y=1) = P(Y=1) = q \\ E(XY) &= 0\cdot P(XY=0) + 1\cdot P(XY=1) \\ &= P(XY=1) = P(X=1,Y=1) = r\\ Cov(X,Y) &= E(XY) - E(X)E(Y) = r - pq \end{align*}$$

Now, notice then that $X$ and $Y$ are independent if and only if $Cov(X,Y)=0$. Indeed, if $X$ and $Y$ are independent, then $P(X=1,Y=1)=P(X=1)P(Y=1)$, which is to say $r=pq$. Therefore, $Cov(X,Y)=r-pq=0$; and, on the other hand, if $Cov(X,Y)=0$, then $r-pq=0$, which is to say $r=pq$. Therefore, $X$ and $Y$ are independent.

General Case

About the without loss of generality clause above, if $X$ and $Y$ were distributed otherwise, let's say, for $a<b$ and $c<d$,

$$\begin{align*} P(X=b)=p \\ P(Y=d)=q \\ P(X=b, Y=d)=r \end{align*}$$ then $X'$ and $Y'$ given by $$X'=\frac{X-a}{b-a} \qquad \text{and} \qquad Y'=\frac{Y-c}{d-c}$$ would be distributed just as characterized above, since $$X=a \Leftrightarrow X'=0, \quad X=b \Leftrightarrow X'=1, \quad Y=c \Leftrightarrow Y'=0 \quad \text{and} \quad Y=d \Leftrightarrow Y'=1.$$ So $X$ and $Y$ are independent if and only if $X'$ and $Y'$ are independent.

Also, we would have

$$\begin{align*} E(X') &= E\left(\frac{X-a}{b-a}\right) = \frac{E(X)-a}{b-a} \\ E(Y') &= E\left(\frac{Y-c}{d-c}\right) = \frac{E(Y)-c}{d-c} \\ E(X'Y') &= E\left(\frac{X-a}{b-a} \frac{Y-c}{d-c}\right) = \frac{E[(X-a)(Y-c)]}{(b-a)(d-c)} \\ &= \frac{E(XY-Xc-aY+ac)}{(b-a)(d-c)} = \frac{E(XY)-cE(X)-aE(Y)+ac}{(b-a)(d-c)} \\ Cov(X',Y') &= E(X'Y')-E(X')E(Y') \\ &= \frac{E(XY)-cE(X)-aE(Y)+ac}{(b-a)(d-c)} - \frac{E(X)-a}{b-a} \frac{E(Y)-c}{d-c} \\ &= \frac{[E(XY)-cE(X)-aE(Y)+ac] - [E(X)-a] [E(Y)-c]}{(b-a)(d-c)}\\ &= \frac{[E(XY)-cE(X)-aE(Y)+ac] - [E(X)E(Y)-cE(X)-aE(Y)+ac]}{(b-a)(d-c)}\\ &= \frac{E(XY)-E(X)E(Y)}{(b-a)(d-c)} = \frac{1}{(b-a)(d-c)} Cov(X,Y). \end{align*}$$ So $Cov(X,Y)=0$ if and only $Cov(X',Y')=0$.

=D

IN GENERAL:

The criterion for independence is $F(x,y) = F_X(x)F_Y(y)$. Or

$$f_{X,Y}(x,y)=f_X(x)\,f_Y(y)\tag 1$$

"If two variables are independent, their covariance is $0.$ But, having a covariance of $0$ does not imply the variables are independent."

This is nicely explained by Macro here, and in the Wikipedia entry for independence.

$\text {independence} \Rightarrow \text{zero cov}$, yet

$\text{zero cov}\nRightarrow \text{independence}.$

Great example: $X \sim N(0,1)$, and $Y= X^2.$ Covariance is zero (and $\mathbb E(XY)=0$, which is the criterion for orthogonality), yet they are dependent. Credit goes to this post.

---

IN PARTICULAR (OP problem):

These are Bernoulli rv's, $X$ and $Y$ with probability of success $\Pr(X=1)$, and $\Pr(Y=1)$.

$\begin{align}\mathrm{cov}(X,Y)&=\mathrm E[XY] - \mathrm E[X]\,\mathrm E[Y]\\[2ex] &\underset{*}{=} \Pr(X=1 \cap Y=1) - \Pr(X=1)\, \Pr(Y=1)\\[2ex] &\implies \Pr(X=1 , Y=1) = \Pr (X=1)\,\Pr(Y=1). \end{align}$

This is equivalent to the condition for independence in Eq. $(1).$

---

$(*)$:

$$\mathrm E[XY]\quad \underset{**}{=} \quad \displaystyle \sum_{\text{domain X, Y}} \Pr(X=x\cap Y=y)\, x\,y \underset{\neq\,0\text{ iff } x \times y\neq 0}= \Pr(X=1 \cap Y=1).$$

$(**)$: by LOTUS.

---

As pointed out below, the argument is incomplete without what Dilip Sarwate had pointed out in his comments shortly after the OP appeared. After searching around, I found this proof of the missing part here:

If events $A$ and $B$ are independent, then events $A^c$ and $B$ are independent, and events $A^c$ and $B^c$ are also independent.

Proof By definition,

$A$ and $B$ are independent $\iff P(A\cap B) = P(A)P(B).$

But $B=(A\cap B) + ( A^c \cup B)$, so $P(B)= P(A\cap B) + P(A^c \cup B)$, which yields:

$\small P(A^c \cap B) = P(B) - P(A\cap B) = P(B) - P(A)\,P(B) = P(B) \left[1 - P(A)\right] = P(B)\,P( A^c).$

Repeat the argument for the events $A^c$ and $B^c,$ this time starting from the statement that $A^c$ and $B$ are independent and taking the complement of $B.$

Similarly. $A$ and $B^c$ are independent events.

So, we have shown already that

$$\Pr(X=1 , Y=1) = \Pr (X=1)\,\Pr(Y=1)$$ and the above shows that this implies that $$\Pr(X=i , Y=j) = \Pr (X=i)\,\Pr(Y=j), ~~i, j \in \{0,1\}$$ that is, the joint pmf factors into the product of marginal pmfs everywhere, not just at $(1,1)$. Hence, uncorrelated Bernoulli random variables $X$ and $Y$ are also independent random variables.