Про існування UMVUE і вибору оцінки з в населення

Нехай являє собою випадкову вибірку взяті з населення , де . $(X_1,X_2,\cdots,X_n)$ $\mathcal N(\theta,\theta^2)$ $\theta\in\mathbb R$

Я шукаю UMVUE . $\theta$

Спільна щільність є $(X_1,X_2,\cdots,X_n)$

\begin{aligned} f_{θ} (x_{1}, x_{2}, \dots, x_{n}) & = \prod_{i = 1}^{n} \frac{1}{θ \sqrt{2 π}} \exp [- \frac{1}{2 θ^{2}} (x_{i} - θ)^{2}] \\ = \frac{1}{(θ \sqrt{2 π})^{n}} \exp [- \frac{1}{2 θ^{2}} \sum_{i = 1}^{n} (x_{i} - θ)^{2}] \\ = \frac{1}{(θ \sqrt{2 π})^{n}} \exp [\frac{1}{θ} \sum_{i = 1}^{n} x_{i} - \frac{1}{2 θ^{2}} \sum_{i = 1}^{n} x_{i}^{2} - \frac{n}{2}] \\ = g (θ, T (x)) h (x) \forall (x_{1}, \dots, x_{n}) \in R^{n}, \forall θ \in R \end{aligned}

$\begin{align} f_{\theta}(x_1,x_2,\cdots,x_n)&=\prod_{i=1}^n\frac{1}{\theta\sqrt{2\pi}}\exp\left[-\frac{1}{2\theta^2}(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[-\frac{1}{2\theta^2}\sum_{i=1}^n(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right] \\&=g(\theta,T(\mathbf x))h(\mathbf x)\qquad\forall\,(x_1,\cdots,x_n)\in\mathbb R^n\,,\forall\,\theta\in\mathbb R \end{align}$

, де і . $g(\theta, T(\mathbf x))=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right]$ $h(\mathbf x)=1$

Тут $g$ залежить від $\theta$ і від $x_1,\cdots,x_n$ через $T(\mathbf x)=\left(\sum_{i=1}^nx_i,\sum_{i=1}^nx_i^2\right)$ і $h$ не залежить від $\theta$ . Отже, за теоремою факторизації Фішера-Неймана двовимірна статистика $T(\mathbf X)=\left(\sum_{i=1}^nX_i,\sum_{i=1}^nX_i^2\right)$ достатня для $\theta$ .

Однак $T$ не є повною статистикою. Це тому, що

E_{θ} [2 {(\sum_{i = 1}^{n} X_{i})}^{2} - (n + 1) \sum_{i = 1}^{n} X_{i}^{2}] = 2 n (1 + n) θ^{2} - (n + 1) 2 n θ^{2} = 0 \forall θ

$E_{\theta}\left[2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2\right]=2n(1+n)\theta^2-(n+1)2n\theta^2=0\qquad\forall\,\theta$

і функція не є ідентично нульовим. $g^*(T(\mathbf X))=2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2$

Але я знаю, що - мінімально достатня статистика. $T$

Я не впевнений, але я думаю, що повної статистики може не існувати для цієї вигнутої експоненціальної сім'ї. Тож як я повинен отримати UMVUE? Якщо повної статистики не існує, чи може об'єктивний оцінювач (як у цьому випадку), який є функцією мінімально достатньої статистики, бути UMVUE? (Пов'язана нитка. Яка необхідна умова для об'єктивного оцінювача бути UMVUE? ) $\bar X$

Що робити, якщо я вважаю найкращим лінійним неупередженим оцінювачем (BLUE) ? Чи СВІЙ може бути УМІВ? $\theta$

Припустимо, я вважаю лінійний неупереджений оцінювач з де і . Оскільки ми знаємо, що . Моя ідея полягає в тому, щоб мінімізувати щоб був СВІТОЮ . Чи буде тоді UMVUE ? $T^*(\mathbf X)=a\bar X+(1-a)cS$ $\theta$ $c(n)=\sqrt{\frac{n-1}{2}}\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}$ $S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar X)^2$ $E_{\theta}(cS)=\theta$ $\text{Var}(T^*)$ $T^*$ $\theta$ $T^*$ $\theta$

Я взяв лінійний неупереджений оцінювач на основі і оскільки також достатньо для . $\bar X$ $S$ $(\bar X,S^2)$ $\theta$

Редагувати:

Дуже багато роботи було зроблено в оцінці в більш загальній родині де відомо. Нижче наведено кілька найбільш релевантних посилань: $\theta$ $\mathcal N(\theta,a\theta^2)$ $a>0$

Оцінка середнього значення нормального розподілу з відомим коефіцієнтом варіації Глізера / Хілі.
Примітка про оцінку середнього значення нормального розподілу з відомим коефіцієнтом варіації за Р.А. Ханом.
Зауваження про оцінку середнього значення нормального розподілу з відомим коефіцієнтом варіації Р.А. Ханом.
Витяг цього розділу.

Я знайшов першу з цих посилань у цій вправі зі статистичних висновків Казелла / Бергер:

Моє запитання не в цій вправі.

Заключна примітка (витяг глави) говорить про те, що UMVUE не існує, $\theta$ оскільки мінімальна достатня статистика не є повною. Мені хотілося б знати, що дозволяє зробити висновок про те, що UMVUE не існує просто тому, що не може бути знайдена повна достатня статистика? Чи є пов'язаний з цим результат? Я бачу існування UMVUE навіть тоді, коли в пов'язаному потоці не існує повної достатньої статистики.

Тепер, якщо припустити, що неупередженого оцінювача мінімальної дисперсії не існує, яким має бути наступний критерій для вибору "найкращого" оцінювача? Ми шукаємо мінімальний MSE, мінімальну дисперсію або MLE? Або вибір критеріїв залежатиме від нашої мети оцінки?

Наприклад, скажіть, що у мене є неупереджений оцінювач та інший упереджений оцінювач від . Припустимо, MSE з (що є його дисперсією) більше, ніж у . Оскільки мінімізація MSE означає мінімізацію зміщення, а також дисперсії одночасно, я вважаю , що повинен бути "кращим" вибором оцінювача, ніж хоча попередній упереджений. $T_1$ $T_2$ $\theta$ $T_1$ $T_2$ $T_2$ $T_1$

Ймовірні варіанти оцінювачів наведені на сторінці 4 останньої примітки. $\theta$

Наступний витяг з " Теорії оцінки точки зору Лемана / Казелла" (друге видання, стор. 87-88):

Цілком ймовірно, що я все зрозумів неправильно, але чи останнє речення говорить про те, що за певних умов необхідне існування повної статистики для існування UMVUE? Якщо так, чи це результат, на який я повинен дивитися?

Останній результат завдяки Р. Р. Бахадуру, який згадується в кінці, відноситься до цієї ноти.

Під час подальшого пошуку я знайшов результат, який стверджує, що якщо мінімально достатня статистика не є повною, то повної статистики не існує. Тож, принаймні, я майже впевнений, що тут не існує повної статистики.

Ще один результат, який я забув врахувати, - це той, який приблизно говорить про те, що необхідною і достатньою умовою для неупередженого оцінювача є UMVUE є те, що він повинен бути некорельованим з кожним неупередженим оцінником нуля. Я спробував за допомогою цієї теореми показати, що UMVUE тут не існує, а також факт, що об'єктивний оцінювач, такий як , не є UMVUE. Але це не виходить так просто, як це зроблено, наприклад, тут , на завершальній ілюстрації. $\bar X$

— ВпертийАтом
джерело

Оновлення:

Розглянемо оцінювач де вказано у твоєму дописі. Це об'єктивний оцінювач і буде чітко співвідноситися з оцінкою, наведеною нижче (для будь-якого значення ).

\hat{0} = \bar{X} - c S

$\hat 0 = \bar{X} - cS$

c

$c$

0

$0$

a

$a$

Теорема 6.2.25 від C&B показує, як знайти повну достатню статистику для родини Експоненціальних до тих пір, поки містить відкритий набір у . На жаль. цей розподіл дає і який НЕ утворює відкритого набору в (оскільки ) Саме через це статистика не є повною для , і саме з тієї ж причини ми можемо побудувати об'єктивний оцінювач це буде корелювати з будь-яким неупередженим оцінювачем

{(w_{1} (θ), \dots w_{k} (θ)}

$\{(w_1(\theta), \cdots w_k(\theta)\}$

R^{k}

$\mathbb R^k$

w_{1} (θ) = θ^{- 2}

$w_1(\theta) = \theta^{-2}$

w_{2} (θ) = θ^{- 1}

$w_2(\theta) = \theta^{-1}$

R^{2}

$R^2$

w_{1} (θ) = w_{2} (θ)^{2}

$w_1(\theta) = w_2(\theta)^2$

(\bar{X}, S^{2})

$(\bar{X}, S^2)$

θ

$\theta$

0

$0$

θ

$\theta$ що базується на достатній статистиці.

Ще одне оновлення:

Звідси аргумент конструктивний. Має бути так, що існує інший об'єктивний оцінювач такий як принаймні для одного . $\tilde\theta$ $Var(\tilde\theta) < Var(\hat\theta)$ $\theta \in \Theta$

Доведення: Припустимо, що , і (для деякого значення ). Розглянемо новий оцінювач Цей оцінювач явно не є об'єктивним з дисперсією Нехай . $E(\hat\theta) = \theta$ $E(\hat 0) = 0$ $Cov(\hat\theta, \hat 0) < 0$ $\theta$

\tilde{θ} = \hat{θ} + b \hat{0}

$\tilde\theta = \hat\theta + b\hat0$

V a r (\tilde{θ}) = V a r (\hat{θ}) + b^{2} V a r (\hat{0}) + 2 b C o v (\hat{θ}, \hat{0})

$Var(\tilde\theta) = Var(\hat\theta) + b^2Var(\hat0) + 2bCov(\hat\theta,\hat0)$

M (θ) = \frac{- 2 C o v (\hat{θ}, \hat{0})}{V a r (\hat{0})}

$M(\theta) = \frac{-2Cov(\hat\theta, \hat0)}{Var(\hat0)}$

За припущенням, повинен існувати такий, що . Якщо ми виберемо , то в . Тому не може бути UMVUE. $\theta_0$ $M(\theta_0) > 0$ $b \in (0, M(\theta_0))$ $Var(\tilde\theta) < Var(\hat\theta)$ $\theta_0$ $\hat\theta$ $\quad \square$

Підсумовуючи це: той факт, що співвідноситься з (для будь-якого вибору ), означає, що ми можемо побудувати новий оцінювач, який краще, ніж принаймні на одну точку , порушуючи рівномірність вимагають найкращої неупередженості. $\hat\theta$ $\hat0$ $a$ $\hat\theta$ $\theta_0$ $\hat\theta$

Давайте докладніше розглянемо вашу ідею лінійних комбінацій.

\hat{θ} = a \bar{X} + (1 - a) c S

$\hat\theta = a \bar X + (1-a)cS$

Як ви зазначаєте, є розумним оцінкою, оскільки він базується на достатній (хоча і не повній) статистиці. Очевидно, що цей оцінювач є неупередженим, тому для обчислення MSE нам потрібно лише обчислити дисперсію. $\hat\theta$

\begin{aligned} M S E (\hat{θ}) & = a^{2} V a r (\bar{X}) + (1 - a)^{2} c^{2} V a r (S) \\ = \frac{a^{2} θ^{2}}{n} + (1 - a)^{2} c^{2} [E (S^{2}) - E (S)^{2}] \\ = \frac{a^{2} θ^{2}}{n} + (1 - a)^{2} c^{2} [θ^{2} - θ^{2} / c^{2}] \\ = θ^{2} [\frac{a^{2}}{n} + (1 - a)^{2} (c^{2} - 1)] \end{aligned}

$\begin{align*} MSE(\hat\theta) &= a^2 Var(\bar{X}) + (1-a)^2 c^2 Var(S) \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[E(S^2) - E(S)^2\right] \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[\theta^2 - \theta^2/c^2\right] \\ &= \theta^2\left[\frac{a^2}{n} + (1-a)^2(c^2 - 1)\right] \end{align*}$

Диференціюючи, ми можемо знайти «оптимальний » для заданого розміру вибірки . $a$ $n$

a_{o p t} (n) = \frac{c^{2} - 1}{1 / n + c^{2} - 1}

$a_{opt}(n) = \frac{c^2 - 1}{1/n + c^2 - 1}$ де

c^{2} = \frac{n - 1}{2} {(\frac{Γ ((n - 1) / 2)}{Γ (n / 2)})}^{2}

$c^2 = \frac{n-1}{2}\left(\frac{\Gamma((n-1)/2)}{\Gamma(n/2)}\right)^2$

Сюжет цього оптимального вибору наведено нижче. $a$

Дещо цікаво відзначити, що як , у нас є (підтверджено через Wolframalpha). $n\rightarrow \infty$ $a_{opt}\rightarrow \frac{1}{3}$

Хоча немає гарантії, що це UMVUE, цей оцінювач є оцінкою мінімальної дисперсії всіх об'єктивних лінійних комбінацій достатньої статистики.

— крюмсей
джерело

Дякуємо за оновлення. Я не дотримувався C&B як підручника, лише дивився на вправи.

— StubbornAtom

@StubbornAtom Я додав доказ, який демонструє, чому не може бути UMVUE (сильно запозичене на C&B, сторінка 344). Погляньте і дайте мені знати, чи це взагалі допомагає.

\hat{θ}

$\hat\theta$

— кнрумсей