Узагальнення Закону ітераційних очікувань

43

Нещодавно я натрапив на цю особу:

E [E (Y | X, Z) | X] = E [Y | X]

$E \left[ E \left(Y|X,Z \right) |X \right] =E \left[Y | X \right]$

Я, звичайно, знайомий з більш простою версією цього правила, а саме з тим, що $E \left[ E \left(Y|X \right) \right]=E \left(Y\right)$ але я не зміг знайти виправдання для його узагальнення.

Я був би вдячний, якби хтось міг вказати мені на не дуже технічну довідку щодо цього факту, а ще краще, якщо хтось міг би викласти простий доказ цього важливого результату.

self-study conditional-probability conditional-expectation

— ДжонК
джерело

2

Якби

y

$y$ сам був обумовлений деяким

x

$x$ то чи не випадало б це саме з простої версії?

— Мехрдад

36

ІНФОРМАЦІЙНЕ ЛІКУВАННЯ

Ми повинні пам’ятати, що позначення, де ми обумовлені випадковими змінними, є неточними, хоча й економічними, як позначення. Насправді ми обумовлюємо сигма-алгебру, яку генерують ці випадкові величини. Іншими словами, $E[Y\mid X]$ означає $E[Y\mid \sigma(X)]$ . Це зауваження може здатися неприйнятним у "Неофіційному лікуванні", але воно нагадує нам, що наші кондиціонуючі сукупності є колекціями наборів (а коли ми обумовлюємо одне значення, то це однократний набір). А що містять ці набори? Вони містять інформаціюз яким можливими значеннями випадкової величини $X$ поставляють нам про те, що може статися з реалізацією $Y$ .
Внесення поняття Інформація дозволяє нам подумати про (і використовувати) Закон Ітераційних Очікувань (іноді його називають "Властивістю вежі") дуже інтуїтивно зрозумілим чином:
сигма-алгебра, породжена двома випадковими змінними, принаймні як великий, як той, що генерується однією випадковою змінною: $\sigma (X) \subseteq \sigma(X,Z)$ у відповідному множинно-теоретичному значенні. Отже, інформація про $Y$ міститься в $\sigma(X,Z)$ принаймні настільки ж велика, як відповідна інформація у $\sigma (X)$ .
Тепер, як умовне натяк, встановіть $\sigma (X) \equiv I_x$ і $\sigma(X,Z) \equiv I_{xz}$ . Тоді LHS рівняння, яке ми дивимось, можна записати

Описуючи усно наведене вище вираз ми маємо: «що таке очікування {очікуване значення з урахуванням даних }враховуючищо ми маємо наявну інформацію тільки?»

E [E (Y | I_{x z}) | I_{x}]

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right]$

Y

$Y$

I_{x z}

$I_{xz}$

I_{x}

$I_x$

Чи можемо ми якось «врахувати» ? Ні - ми знаємо лише . Але якщо ми використовуємо те, що маємо (як ми зобов'язані виразом, який ми хочемо розв'язати), то ми по суті говоримо речі про під оператором очікувань, тобто ми говоримо " ", не більше - ми щойно вичерпали нашу інформацію. $I_{xz}$ $I_x$ $Y$ $E(Y\mid I_x)$

Звідси

E [E (Y | I_{x z}) | I_{x}] = E (Y | I_{x})

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right] = E\left(Y|I_{x} \right)$

Якщо хтось іншого не зробить, я повернусь для офіційного лікування.

(Трохи більше) ФОРМАЛЬНЕ ЛІКУВАННЯ

Давайте подивимось, як дві дуже важливі книги теорії ймовірностей, "Вірогідність і міра П. Біллінгслі" (3-е видання-1995) та Д. Вільямса "Імовірність з Мартингейлами" (1991), трактують питання доведення "Закону ітерованих очікувань":
Біллінгслі присвячує доведення рівно трьох рядків. Вільямс, і я цитую, каже

"(властивість вежі) практично не відповідає визначенню умовного очікування".

Це один рядок тексту. Доказ Біллінглі не менш непрозорий.

Вони, звичайно, праві: це важливе і дуже інтуїтивне властивість умовного очікування походить по суті безпосередньо (і майже негайно) з його визначення - єдиною проблемою є, я підозрюю, що це визначення зазвичай не викладається або, принаймні, не підкреслюється, поза вірогідністю або виміряти теоретичні кола. Але для того, щоб показати у (майже) трьох рядках, що існує Закон повторених очікувань, нам потрібно визначення умовного очікування, а точніше його визначальної властивості .

Нехай імовірнісний простір , і інтегрована випадкова величина . Нехай є суб - алгебра , . Тоді існує функція яка вимірювана, інтегрується і (це визначальна властивість) $(\Omega, \mathcal F, \mathbf P)$ $Y$ $\mathcal G$ $\sigma$ $\mathcal F$ $\mathcal G \subseteq \mathcal F$ $W$ $\mathcal G$

E (W \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in G [1]

$E(W\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal G \qquad [1]$

де індикаторна функція безлічі . Ми говоримо, що є ("версія") умовного очікування заданого , і пишемо $1_{G}$ $G$ $W$ $Y$ $\mathcal G$ Критичне деталь відзначити, що умовне математичне сподівання, має таке ж значенняяк очікується робить,не тільки по всій ,але в кожному підмножині з . $W = E(Y\mid \mathcal G) \;a.s.$
$Y$ $\mathcal G$ $G$ $\mathcal G$

(Я зараз спробую представити, як властивість Tower випливає з визначення умовного очікування).

- міряна випадкова величина. Розглянемо тепер деякі суб - алгебра, скажімо . Тоді . Отже, аналогічно, як і раніше, маємо умовне очікування заданого , скажімо, $W$ $\mathcal G$ $\sigma$ $\mathcal H \subseteq \mathcal G$ $G\in \mathcal H \Rightarrow G\in \mathcal G$ $W$ $\mathcal H$ що характеризується $U=E(W\mid \mathcal H) \;a.s.$

E (U \cdot 1_{G}) = E (W \cdot 1_{G}) \forall G \in H [2]

$E(U\cdot\mathbb 1_{G}) = E(W\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [2]$

Оскільки , рівняння і дають нам $\mathcal H \subseteq \mathcal G$ $[1]$ $[2]$

E (U \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in H [3]

$E(U\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [3]$

Але це визначальне властивість умовного очікування даного . $Y$ $\mathcal H$ Отже, ми маємо право писати Оскільки ми також побудували , ми лише довели властивість Вежі, або загальну форму Закону відмінених очікувань - у вісім рядків. $U=E(Y\mid \mathcal H)\; a.s.$
$U = E(W\mid \mathcal H) = E\big(E[Y\mid \mathcal G]\mid \mathcal H\big)$

— Алекос Пападопулос
джерело

6

Y

$Y$

σ (X, Z)

$\sigma(X,Z)$

σ (X)

$\sigma(X)$

Дякую вам обом, куб.см @whuber. Це дуже корисна теорема.

— JohnK

@ whuber Дякуємо, що помітили це - та за пропозицію.

— Алекос Пападопулос

24

Те, як я розумію умовне очікування та навчаю своїх учнів, полягає в наступному:

$E[Y|\sigma(X)]$ $\sigma(X)$

$E[Y|\sigma(X)]$ $E[Y|X]$ $Y$ $E[Y|\sigma(X,Z)]$ $\sigma(X,Z)$ . Очікування - оператор усереднення (оператор «розмивання»?). Екран може містити багато предметів, але зображення, зроблене вами за допомогою камери з низькою роздільною здатністю, неодмінно знищить деталі, наприклад, на небі може бути НЛО, який можна побачити неозброєним оком, але це не так з'являються у вашій фотографії, зробленій (iphone 3?)

$\sigma(X,Z)=\sigma(Y)$ $E[Y|\sigma(Y)]=Y$

$E[E[Y|\sigma(X,Z)]|\sigma(X)]$ $\sigma(X)$ $\sigma(X,Z)$ $\sigma(X,Z)$ $\sigma(X)$

$E[E[Y|X,Z]|X]=E[Y|X]$ $E[E[Y|X]|X,Z]=E[Y|X]$ ще. Це тому, що: якщо ваше перше фото зроблене iphone 1 (тобто низькою роздільною здатністю), а тепер ви хочете використовувати кращу камеру (наприклад, iphone 3) для створення ще однієї фотографії на першій фотографії, тоді ви не можете може покращити якість першої фотографії.

— КевінКім
джерело

2

любити це! :) чудове пояснення.

— jessica

1

@jessica Я радий, що це допомагає :-) Знадобилось час, щоб придумати це пояснення

— KevinKim

21

$E\left[E[Y \mid X]\right] = E[Y]$ $X$ $g(X)$ $Y$ $X$ $Y$ $Y$ $Y$ $X$ $Y$ $p_{X,Y}(x,y)$

\begin{aligned} E [Y] & = \sum_{y} y \cdot p_{Y} (y) & definition \\ = \sum_{y} y \cdot \sum_{x} p_{X, Y} (x, y) & write in terms of joint pmf \\ = \sum_{y} y \cdot \sum_{x} p_{Y ∣ X} (y ∣ X = x) \cdot p_{X} (x) & write in terms of conditional pmf \\ = \sum_{x} p_{X} (x) \cdot \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) & interchange order of summation \\ = \sum_{x} p_{X} (x) \cdot E [Y ∣ X = x] & inner sum is conditional expectation \\ = E [E [Y ∣ X]] & RV E [Y ∣ X] has value E [Y ∣ X = x] when X = x \end{aligned}

$\begin{align} E[Y] &= \sum_y y\cdot p_Y(y) &\scriptstyle{\text{definition}}\\ &= \sum_y y \cdot \sum_x p_{X,Y}(x,y) &\scriptstyle{\text{write in terms of joint pmf}}\\ &= \sum_y y \cdot \sum_x p_{Y\mid X}(y \mid X=x)\cdot p_X(x) &\scriptstyle{\text{write in terms of conditional pmf}}\\ &= \sum_x p_X(x)\cdot \sum_y y \cdot p_{Y\mid X}(y \mid X=x) &\scriptstyle{\text{interchange order of summation}}\\ &= \sum_x p_X(x)\cdot E[Y \mid X = x] &\scriptstyle{\text{inner sum is conditional expectation}}\\ &= E\left[E[Y\mid X]\right] &\scriptstyle{\text{RV}~E[Y\mid X]~\text{has value}~E[Y\mid X=x]~\text{when}~X=x} \end{align}$

X

$X$

E [Y ∣ X]

$E[Y\mid X]$

X

$X$

Y

$Y$

Y

$Y$

$E\left[E[Y \mid X, Z] \mid X\right]$ $h(X,Z)$ $X$ $Z$ $E[Y\mid X]$ $E[Y\mid X]$ $X$ $x$

\begin{aligned} E [Y ∣ X = x] & = \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) \\ = \sum_{y} y \cdot \frac{p_{X, Y} (x, y)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{X, Y, Z} (x, y, z)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \cdot p_{X, Z} (x, z)}{p_{X} (x)} \\ = \sum_{z} \frac{p_{X, Z} (x, z)}{p_{X} (x)} \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot E [Y ∣ X = x, Z = z) \\ = E [E [Y ∣ X, Z] ∣ X = x] \end{aligned}

$\begin{align} E[Y \mid X = x] &= \sum_y y\cdot p_{Y\mid X}(y\mid X = x)\\ &= \sum_y y \cdot \frac{p_{X,Y}(x,y)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{X,Y,Z}(x,y,z)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{Y\mid X,Z}(y \mid X=x, Z=z)\cdot p_{X,Z}(x,z)}{p_X(x)}\\ &= \sum_z \frac{p_{X,Z}(x,z)}{p_X(x)}\sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot \sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot E[Y \mid X=x, Z=z)\\ &= E\left[E[Y\mid X,Z]\mid X = x\right] \end{align}$

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

X

$X$

Z

$Z$

X

$X$

X

$X$

x

$x$

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

Z

$Z$

X

$X$

$x$ $X$ $E[Y\mid X]$ $X$ $Y$ $E\left[E[Y \mid X,Z]\mid X\right]$

— Діліп Сарват
джерело