Закон сумарної дисперсії як теорема Піфагора

Припустимо, що і мають кінцевий другий момент. У просторі Гільберта випадкові величини з другим кінцевим моментом (із внутрішнім твором $X$ $Y$ $T_1,T_2$ визначеним $E(T_1T_2)$ , $||T||^2=E(T^2)$ ), ми можемо інтерпретувати $E(Y|X)$ як проекція $Y$ на простір функцій $X$ .

Відомо також, що Закон сумарної варіації читає

V a r (Y) = E (V a r (Y | X)) + V a r (E (Y | X))

$Var(Y)=E(Var(Y|X)) + Var(E(Y|X))$

Чи є спосіб інтерпретувати цей закон з точки зору геометричної картини вище? Мені сказали, що закон є таким самим, як теорема Піфагора для прямокутного трикутника зі сторонами $Y, E(Y|X), Y-E(Y|X)$ . Я розумію, чому трикутник прямокутний, але не те, як теорема Піфагора захоплює Закон сумарної варіації.

variance conditional-expectation

— рентренхеймстер
джерело

Відповіді:

Я припускаю, що вам подобається розглядати прямокутний трикутник як такий, що $E[Y\mid X]$ і $Y - E[Y\mid X]$ є некорельованими випадковими змінними. Для некорельованих випадкових величин $A$ і $B$ ,

\begin{matrix} (1) & var (A + B) = var (A) + var (B), \end{matrix}

$\operatorname{var}(A+B) = \operatorname{var}(A) + \operatorname{var}(B),\tag{1}$ і так, якщо ми встановимо

A = Y - E [Y ∣ X]

$A = Y - E[Y\mid X]$ і

B = E [Y ∣ X]

$B = E[Y\mid X]$ так що

A + B = Y

$A+B = Y$ , отримаємо, що

\begin{matrix} (2) & var (Y) = var (Y - E [Y ∣ X]) + var (E [Y ∣ X]) . \end{matrix}

$\operatorname{var}(Y) = \operatorname{var}(Y-E[Y\mid X]) + \operatorname{var}(E[Y\mid X]).\tag{2}$ Залишилося показати, що

- це те саме, що

так що ми можемо повторно вказати

як

яка є загальною дисперсійною формулою.

var (Y - E [Y ∣ X])

$\operatorname{var}(Y-E[Y\mid X])$

E [var (Y ∣ X)]

$E[\operatorname{var}(Y\mid X)]$

(2)

$(2)$

\begin{matrix} (3) & var (Y) = E [var (Y ∣ X)] + var (E [Y ∣ X]) \end{matrix}

$\operatorname{var}(Y) = E[\operatorname{var}(Y\mid X)] + \operatorname{var}(E[Y\mid X])\tag{3}$

Загальновідомо, що очікуване значення випадкової величини є , тобто . Отже, ми бачимо, що $E[Y\mid X]$ $E[Y]$ $E\biggr[E[Y\mid X]\biggr] = E[Y]$ звідси випливає, що , тобто Нехай позначає випадкову змінну

Е [А] = Е [Y - Е [Y ∣ Х]] = Е [Y] - Е [Е [Y ∣ Х]] = 0,

$E[A] = E\biggr[Y - E[Y\mid X]\biggr] = E[Y] - E\biggr[E[Y\mid X]\biggr] = 0,$

var (A) = E [A^{2}]

$\operatorname{var}(A) = E[A^2]$

\begin{matrix} (4) & вар (Y - Е [Y ∣ Х]) = Е [(Y - Е [Y ∣ Х])^{2}] . \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E\left[(Y-E[Y\mid X])^2\right].\tag{4}$

C

$C$

щоб ми могли записати, що

Але,

де

(Y - E [Y ∣ X])^{2}

$(Y-E[Y\mid X])^2$

\begin{matrix} (5) & вар (Y - Е [Y ∣ Х]) = Е [С] . \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E[C].\tag{5}$

E [C] = E [E [C ∣ X]]

$E[C] = E\biggr[E[C\mid X]\biggr]$

Тепер,враховуючи,що

, умовний розподіл

має середнє

і так

Іншими словами,

E [C ∣ X] = E [(Y - E [Y ∣ X])^{2} | X] .

$E[C\mid X] = E\biggr[(Y-E[Y\mid X])^2{\bigr\vert} X\biggr].$

X = x

$X = x$

Y

$Y$

E [Y ∣ X = x]

$E[Y\mid X=x]$

Е [(Y - Е [Y ∣ Х = х])^{2} | Х = х] = вар (Y ∣ Х = х) .

$E\biggr[(Y-E[Y\mid X=x])^2{\bigr\vert} X=x\biggr] = \operatorname{var}(Y\mid X = x).$

так щовипадкова величина

є просто

. Отже,

E [C ∣ X = x] = var (Y ∣ X = x)

$E[C\mid X = x] = \operatorname{var}(Y\mid X = x)$

E [C ∣ X]

$E[C\mid X]$

var (Y ∣ X)

$\operatorname{var}(Y\mid X)$

\begin{matrix} (6) & Е [С] = Е [Е [С ∣ Х]] = Е [вар (Y ∣ Х)], \end{matrix}

$E[C] = E\biggr[E[C\mid X]\biggr] = E[\operatorname{var}(Y\mid X)], \tag{6}$ що при заміні на

показує, що

Це робить праву частину

саме того, що нам потрібно, і тому ми довели формулу загальної дисперсії

(5)

$(5)$

вар (Y - Е [Y ∣ Х]) = Е [вар (Y ∣ Х)] .

$\operatorname{var}(Y-E[Y\mid X]) = E[\operatorname{var}(Y\mid X)].$

(2)

$(2)$

(3)

$(3)$

— Діліп Сарват
джерело

Y - E (Y | X)

$Y-E(Y|X)$

v a r (Y - E (Y | X)) = E [Y - E (Y | X)]^{2}

$var(Y-E(Y|X))=E[Y-E(Y|X)]^2$

E v a r (Y | X) = E [E ((Y - E (Y | X))^{2} | X)] = E [Y - E (Y | X)]^{2}

$Evar(Y|X)=E[E((Y-E(Y|X))^2|X)]=E[Y-E(Y|X)]^2$

E [(Y - E [Y | X])^{2}]

$E\bigr[(Y-E[Y|X])^2\bigr ]$

Діліп, багато вірогідників правильно трактували б рівняння @ mpiktas як написане; зайвий набір дужок часто скидається. Можливо, мої очі мене обманюють, але я вважаю, що його позначення цілком узгоджуються. Я радий допомогти виправити речі, якщо бажаєте. :-)

— кардинал

E X

$EX$

E X

$\mathbb EX$

X

$X$

E X^{2}

$EX^2$

v a r \dots

$var\ldots$

Заява:

$T_1$ $T_2$ $\langle T_1,T_2\rangle = 0$ ,

\begin{matrix} (1) & | | Т_{1} + Т_{2} | |^{2} = | | Т_{1} | |^{2} + | | Т_{2} | |^{2} . \end{matrix}

$||T_1+T_2||^2 = ||T_1||^2 + ||T_2||^2 \tag{1}.$ Або іншими словами, для ортогональних векторів довжина квадрата суми - це сума довжин квадрата.

Наш випадок:

У нашому випадку $T_1 = E(Y|X)$ і $T_2 = Y - E[Y|X]$ є випадковими змінними, норма квадрата є $||T_i||^2 = E[T_i^2]$ і внутрішній продукт $\langle T_1,T_2\rangle = E[T_1T_2]$ . Переклад $(1)$ на статистичну мову дає нам:

\begin{matrix} (2) & Е [Y^{2}] = Е [{Е (Y | Х)}^{2}] + Е [(Y - Е [Y | Х])^{2}], \end{matrix}

$E[Y^2] = E[\{E(Y|X)\}^2] + E[(Y - E[Y|X])^2] \tag{2},$ оскільки

E [T_{1} T_{2}] = Cov (T_{1}, T_{2}) = 0

$E[T_1T_2] = \operatorname{Cov}(T_1,T_2) = 0$ . Якщо ми змінимося, ми можемо зробити це схожим на ваш заявлений Закон про повну варіацію

(2)

$(2)$ від ...

Відняти $(E[Y])^2$ з обох боків, роблячи ліву сторону $\operatorname{Var}[Y]$ ,
Помітивши з правого боку це $E[\{E(Y|X)\}^2] - (E[Y])^2 = \operatorname{Var}(E[Y|X])$ ,
Зауваживши це $E[(Y - E[Y|X])^2] = E[E\{(Y - E[Y|X])^2\}|X] = E[\operatorname{Var}(Y|X)]$ .

Детальніше про ці три кулі точки див. У публікації @ DilipSarwate. Він пояснює це все набагато детальніше, ніж я.

— Тейлор
джерело