Як оптимально розподілити нічиї при розрахунку декількох очікувань

Припустимо, ми хочемо обчислити деяке очікування:

E_{Y} E_{X | Y} [f (X, Y)]

$E_YE_{X|Y}[f(X,Y)]$

Припустимо, ми хочемо наблизити це за допомогою моделювання Монте-Карло.

E_{Y} E_{X | Y} [f (X, Y)] \approx \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x^{r, s}, y^{r})

$E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r)$

Але припустимо , що це дорого брати проби з обох розподілів, так що ми тільки можемо собі дозволити зробити фіксоване число . $K$

Як ми повинні виділити ? Приклади включають нічиї до кожного розподілу, або в крайньому випадку, один малюнок у зовнішньому та малює у внутрішньому, навпаки тощо ... $K$ $K/2$ $K-1$

Моя інтуїція підказує мені, що це буде пов'язане з дисперсією / ентропією розподілів відносно один одного. Припустимо , що зовнішня одна точка маси, то розподіл , що зводить до мінімуму MC помилка буде нічия 1 з і намалювати з . $K$ $Y$ $K-1$ $X|Y$

Сподіваємось, це було зрозуміло.

— вовчиці на вулиці
джерело

Виправлено це для вас

— wolfsatthedoor

"Навпаки" та ваш коментар до відповіді @ Xi'ans, схоже, вказують на те, що ви вважаєте за можливе скласти зовнішню змінну більше разів, ніж внутрішню змінну, але як це могло мати сенс - чи не все це омтери, для яких Внутрішні намальовані даремно?

0

$0$

— Juho Kokkala

Досить справедливо, мінімум один розіграш на зовнішній, я думаю. Або ви могли б подумати про її програмування, щоб зберегти нічию, я думаю

— wolfsatthedoor

@robertevansanders Будь ласка, підтвердьте, чи правильне тлумачення вашого запитання у перших двох реченнях відповіді Xi'ans

— Juho Kokkala

Як ви сказали, так, але переключити y і x

— wolfsatthedoor

Це дуже цікаве запитання з малою документацією в літературі про Монте-Карло, за винятком стратифікації та рао-Блеквеллінізації . Можливо, це пов'язано з тим, що обчислення очікуваної умовної дисперсії та дисперсії умовного очікування рідко можливо.

Спочатку припустимо, що ви запускаєте моделювання з , і для кожного модельованого , ви запускаєте моделювання з , . Ваша оцінка Монте - Карло потім дисперсія цієї оцінки розкладається наступним чином $R$ $\pi_X$ $x_1,\ldots,x_R$ $x_r$ $S$ $\pi_{Y|X=x_r}$ $y_{1r},\ldots,y_{sr}$

δ (R, S) = \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x_{r}, y_{r s})

$\delta(R,S)=\frac{1}{RS}\sum_{r=1}^R\sum_{s=1}^S f(x_r,y_{rs})$

\begin{aligned} var {δ (R, S)} & = \frac{1}{R^{2} S^{2}} R var {\sum_{s = 1}^{S} f (x_{r}, y_{r s})} \\ = \frac{1}{R S^{2}} {var}_{X} E_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} + \frac{1}{R S^{2}} E_{X} {var}_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} \\ = \frac{1}{R S^{2}} {var}_{X} {S E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S^{2}} E_{X} [S {var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ = \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ \overset{K = R S}{=} \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{K} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \end{aligned}

$\begin{align*} \text{var} \{\delta(R,S)\} &= \frac{1}{R^2S^2} R\text{var} \left\{\sum_{s=1}^S f(x_r,y_{rs})\right\}\\ &= \frac{1}{RS^2} \text{var}_X\mathbb{E}_{Y|X}\left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}+\frac{1}{RS^2}\mathbb{E}_{X}\text{var}_{Y|X} \left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}\\ &=\frac{1}{RS^2} \text{var}_X\{ S \mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS^2} \mathbb{E}_{X}[S\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &=\frac{1}{R} \text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &\stackrel{K=RS}{=}\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{K} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}] \end{align*}$ Тому, якщо потрібно мінімізувати цю дисперсію, оптимальний вибір є

R = K

$R=K$ . Маючи на увазі, що . За винятком випадків, коли перший термін дисперсії є нульовим, в цьому випадку це не має значення. Однак, як обговорюється в коментарях, припущення є нереальним, оскільки не враховує виробництво одного [або передбачається, що це відбувається безкоштовно].

S = 1

$S=1$

K = R S

$K=RS$

x_{r}

$x_r$

Тепер припустимо різні витрати на моделювання та обмеження бюджету , що означає, що коштує рази більше, ніж імітація . Вищезгадане розкладання дисперсії - які можна мінімізувати в як [найближче ціле число за обмеженнями і ], за винятком випадків, коли перша дисперсія дорівнює нулю, в цьому випадку $R+aRS=b$ $y_{rs}$ $a$ $x_r$

\frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R (b - R) / a R} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}]

$\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{R(b-R)/aR} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]$

R

$R$

R^{*} = b / 1 + {a E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}} / {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]}}^{1 / 2}

$R^*=b\big/1+\{a\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}/\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}\}^{1/2}$

R \geq 1

$R\ge 1$

S \geq 1

$S\ge 1$

R = 1

$R=1$ . Коли , мінімальна дисперсія відповідає максимуму , що призводить до в нинішньому формалізмі.

E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] = 0

$\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]=0$

R

$R$

S = 1

$S=1$

Зауважимо також, що це рішення слід порівнювати з симетричним рішенням, коли внутрішній інтеграл знаходиться в заданий а зовнішній інтеграл проти граничного у (якщо при цьому моделювання також є можливим у цьому порядку). $X$ $Y$ $Y$

Цікавим розширенням питання буде розглянути різну кількість моделювання для кожного модельованого , залежно від значення . $S(x_r)$ $x_r$ $\text{var}_{Y|X}\{f(x_r,Y)|x_r\}$

— Сіань
джерело

Зрештою, ви, мабуть, припускаєте, що але в постановці питання оскільки передбачається врахування малюнків зовнішньої змінної. Результат тут говорить про те, що якщо вибірка зовнішньої змінної була вільною, звичайно, слід вибирати нову зовнішню для кожної внутрішньої. (Також роль і тут змінюється порівняно з питанням, але це, звичайно, не має значення).

K = R S

$K=RS$

K = R S + R

$K=RS+R$

x

$x$

y

$y$

— Juho Kokkala

Так, але ми можемо визначити значення ... Розглянемо вироджене налаштування, де зовнішній var такий же постійний. Краще вибірку константи один раз і рази, а не константу рази та рази (що означає, що означатиме)? Або я зовсім не розумію питання? (Я лише зараз читаю друге речення вашого коментаря - чи не припущення, зазначене в питанні, що вони мають однакову вартість)

R

$R$

X

$X$

Y

$Y$

K - 1

$K-1$

K / 2

$K/2$

Y

$Y$

K / 2

$K/2$

S = 1

$S=1$

— Juho Kokkala

@ Xi'an так, Калькута є правильним, ваше рішення, як правило, не може виконати. Припустимо, тепер, коли внутрішня змінна має вироджене розподіл, а зовнішня має змістовну дисперсію, то вам потрібно

— захопити

Я думаю, що ваша відповідь не може бути правильною. Припустимо, внутрішня дистрибуція вироджена, а зовнішня - велика дисперсія, як може бути S - 1

— вовчицізакритий

@robertevansanders: якщо внутрішній розподіл вироджений, , отже і підберемо найближче ціле число під обмеження і , що означає взяти щоб зробити максимально близьким до .

{var}_{Y | X} {f (x_{r}, Y) | x_{r}} = 0

$\text{var}_{Y|X}\{f(x_r,Y)|x_r\}=0$

R^{*} = b

$R^*=b$

R

$R$

S \geq 1

$S\ge 1$

R (1 + a S) \leq b

$R(1+aS)\le b$

S = 1

$S=1$

R

$R$

b

$b$

— Сіань