Чому теорема Рао-Блеквелла вимагає ?

Затверджується теорема Рао-Блеквелла

Нехай - оцінювач з для всіх . Припустимо, що достатньо для , і нехай Тоді для всіх , Нерівність сувора, якщо не є функцією $\hat{\theta}$ $\theta$ $\Bbb E (\hat{\theta}^2) < \infty$ $\theta$ $T$ $\theta$ $\theta ^ * = \Bbb E (\hat{\theta}|T)$ $\theta$
$E (θ^{*} - θ)^{2} \leq E (\hat{θ} - θ)^{2}$ $\Bbb E (\theta^* - \theta )^2 \leq \Bbb E (\hat{\theta} - \theta )^2$ $\hat{\theta}$ $T$

Якщо я правильно розумію цю теорему, це стверджує, що якщо у мене є достатня статистична величина для , то умовне очікуване значення заданого є рішенням $T$ $\theta$ $\hat{\theta}$ $T$ $\min_{\hat{\theta}} \Bbb E$ $(\hat{\theta}-\theta)^2$

Мої питання

Чи правильно я вважаю, що $\theta^*$ мінімізує $\Bbb E$ $(\hat{\theta}-\theta)^2$ ?
Чому теорема Рао-Блеквелла вимагає $\Bbb E(\hat{\theta}^2) < \infty$ ?
Чому нерівність сувора, якщо $\hat{\theta}$ не є функцією $T$ ?

rao-blackwell

— Стен Шунпік
джерело

Можливий дублікат інтуїтивного та формулярного обґрунтування теореми Рао-Блеквелла

— Сіань

Що потрібно знайти ?

min_{\hat{θ}} E

$\min_{\hat{\theta}} \Bbb E$

(\hat{θ} - θ)^{2}

$(\hat{\theta}-\theta)^2$

— Стен Шунпік

Відповіді:

Ні, - кращий оцінювач, ніж але не обов'язково найкращий (що б це не означало!) $\theta^*$ $\hat\theta$
Якщо оцінювач не має різниці, то його ризик нескінченний, і немає гарантії, що має кінцевий ризик (навіть якщо це може статися, як вказував Хорст Грюнбуш у своїх коментарях). $\theta^*$
При кінцевій дисперсії для нерівність сувора через розклад дисперсії як сума очікуваної умовної дисперсії плюс дисперсія умовного очікування Якщо очікувана умовна дисперсія не дорівнює нулю, що становить функцією тільки. $\hat\theta$ $var (\hat{θ}) = E_{T} [var (\hat{θ} | T)] + {var}_{T} (E [\hat{θ} | T]) = E_{T} [var (θ | T)] + {var}_{T} (θ^{*})$ $\text{var}(\hat\theta)=\mathbb{E}_T[\text{var}(\hat\theta|T)]+ \text{var}_T(\mathbb{E}[\hat\theta|T])=\mathbb{E}_T[\text{var}(\theta|T)]+\text{var}_T(\theta^*)$ $\hat\theta$ $T$

— Сіань
джерело

ad 2: Чому не можна, щоб ? Розглянемо як оцінювач для , де та неспоріднене rv-розподілене Коші.

E ({\hat{θ}}^{2} | T) < E ({\hat{θ}}^{2}) = \infty

$E(\hat{\theta}^2|T)<E(\hat{\theta}^2)=\infty$

\hat{θ} = X + C

$\hat{\theta} = X + C$

μ

$\mu$

X \sim N (μ, σ^{2})

$X \sim \mathcal{N}(\mu,\sigma^2)$

C

$C$

— Хорст Грюнбуш

@ HorstGrünbusch Чому твір Коші піде, коли ти умовляєшся на ? Також не є об'єктивним оцінювачем.

T

$T$

\hat{θ}

$\hat{\theta}$

— dsaxton

@ HorstGrünbusch Мені здається, що ваш навіть не має умовних очікувань (оскільки не має очікування), таким чином буде невизначено.

\hat{θ}

$\hat{\theta}$

∣ T

$\mid T$

C

$C$

θ^{*}

$\theta^\ast$

— Juho Kokkala

Гаразд, все, що я хотів, було без різниці, не без очікування. ;) Тепер візьміть , тобто студент-т-розподілений з 2 ступенями свободи і і , що не залежать від . Достатня статистика явно . Тоді , але

C

$C$

C \sim t_{2}

$C \sim t_2$

E (C) = 0

$E(C)=0$

C

$C$

X

$X$

X

$X$

E (X + C | X) = E (X | X) + E (C | X) = X + E (C) = X

$E(X+C|X) = E(X|X) + E(C|X) = X + E(C) = X$

\infty = V a r (C) + V a r (X) = V a r (X + C) > V a r (X + C | X) = σ^{2}

$\infty=Var(C) + Var(X) = Var(X+C)>Var(X+C|X)=\sigma^2$

— Horst Grünbusch

Тому я думаю, що неправильно, що в оцінці Рао-Блеквелла обов'язково є нескінченна дисперсія, якщо оригінальний оцінювач має нескінченну дисперсію. (Але навіть якщо обидві дисперсії обов'язково були б нескінченними все одно будуть триматися.)

\infty \leq \infty

$\infty \leq \infty$

— Horst Grünbusch

Зауважте, що бути достатньою статистикою не є унікальним. Тривіально, цілих даних достатньо, але кондиціонування оцінника на них нічого не змінює. Отже, однієї достатньої статистики недостатньо (каламбур!) Для мінімальної середньої помилки у квадраті. Дивіться теорему Леманна-Шеффе, яка використовує теорему Рао-Блеквелла у доказі для достатньої достатності (насправді вона є достатньою та повною).
Якщо обоє нескінченні, слабка нерівність завжди правда. Але тоді, як контрприклад, ви можете побудувати достатню статистику, яка не є функцією але все ще має нескінченну дисперсію (таку, що має місце лише ). $T$ $\leq$

Візьмемо для прикладу , -розподілену випадкову змінну з і , і як іншу незалежну випадкову змінну . Параметр для оцінки - . Оригінальний оцінювач - . Достатньою статистикою є звичайно . І оцінка Rao-Blackwell і мають нескінченну дисперсію. Таким чином, нерівність буде слабкою. З іншого боку, - це не проста функція $C_1 \sim t_2 + \mu$ $t_2$ $E(C_1) = \mu$ $Var(C_1) = \infty$ $C_2 \sim t_2$ $\mu$ $\hat{\theta} = C_1 + C_2$ $C_1$ $E(\hat{\theta}|C_1)=C_1$ $\hat{\theta}$ $C_1+C_2$ $C_1$ : Він включає в себе іншу випадкову змінну, так що це буде протиріччям останнього речення, про яке ви задали своє третє запитання. Насправді деякі підручники допускають нескінченну дисперсію для початкового оцінювача, але, в свою чергу, вони не можуть констатувати, коли утримується. $<$

Якщо є функцією , ви можете довести теоремою факторизації, що вже достатньо для . Тож знову ми закінчуємо нічого не вдосконалюючи. Крім цього випадку, нерівність сувора, і це нетривіальне твердження теореми. $\hat{\theta}$ $T$ $\hat{\theta}$ $\theta$

— Хорст Грюнбуш
джерело