Чи завжди неупереджений оцінювач максимальної ймовірності є найкращим об'єктивним оцінювачем?

22

Я знаю, що для регулярних проблем, якщо у нас найкращий регулярний неупереджений оцінювач, він повинен бути максимальним імовірністю оцінки (MLE). Але взагалі, якщо у нас є неупереджений MLE, чи був би він також найкращим неупередженим оцінювачем (чи, можливо, я повинен його називати UMVUE, якщо він має найменшу дисперсію)?

mathematical-statistics maximum-likelihood unbiased-estimator

— Гері Ченг
джерело

3

Цікаве запитання. MLE - це функція достатньої статистики, і UMVUE можна отримати, обумовивши повну та достатню статистику. Отже, якщо MLE є неупередженим (і функцією достатньої статистики), єдиний можливий спосіб, щоб він не мав мінімальної дисперсії, якщо достатня статистика не є повною. Я намагався знайти приклад, але невдало.

— Greenparker

2

А ось деякі короткі відомості про достатні і повних статистичних даних.

— Річард Харді

10

Реальна проблема полягає в тому , що більш ОМП рідко буває неупереджений: якщо

є несмещенной оцінкою &

і ОМП &

,

є ОМПОМ

, але зміщена для більшості биективное перетворень

.

θ

$\theta$

θ

$\theta$

θ

$\theta$

f (\hat{θ})

$f(\hat\theta)$

f (θ)

$f(\theta)$

f

$f$

— Сіань

1

Це актуально? "Майже неупереджений оцінювач чисельності населення означає" Університет В'яса Дубея Pt.Ravishankar Shukla, Райпур, Індія

2

+1 для коментаря Xi'ans. Найкращий оцінювач означає мінімальну дисперсію, неупереджений означає щось інше. Тож я не впевнений, що ви можете почати намагатися довести це, оскільки один має мало спільного з іншим. Але перш ніж я навіть почати своє власне виведення, я хотів би побачити серйозні зусилля в (спробу) доказування. Я б сказав, що навіть доказ першого твердження (MLE є оптимальним для певних випадків) не є тривіальним.

— херувим

13

На мою думку, питання не є справді когерентним у тому, що максимізація ймовірності та неупередженості не уживаються хоча б тому, що максимальні ймовірності ймовірності є еквівалентними , тобто перетворення обчислювача є оцінкою перетворення параметра, тоді як неупередженість не стоїть під нелінійними перетвореннями. Тому оцінки максимальної вірогідності майже ніколи не є об'єктивними, якщо "майже" враховується за діапазоном усіх можливих параметрів.

Тим НЕ менше, є більш пряму відповідь на питання: при розгляді оцінки нормальної дисперсії, , то UMVUE з є $\sigma^2$ $\sigma^2$ той час як ОМПє

{\hat{σ}}_{н}^{2} = \frac{1}{н - 1} \sum_{i = 1}^{н} {х_{i} - {\bar{х}}_{н}}^{2}

$\hat{\sigma}^2_n = \frac{1}{n-1} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

σ^{2}

$\sigma^2$

Ерго, вони різняться. Це означає, що це

{\overset{ˇ}{σ}}_{н}^{2} = \frac{1}{н} \sum_{i = 1}^{н} {х_{i} - {\bar{х}}_{н}}^{2}

$\check{\sigma}^2_n = \frac{1}{n} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

якщо у нас є найкращий регулярний неупереджений оцінювач, він повинен бути максимальним вірогідністю оцінки (MLE).

не тримається взагалі.

$\theta$

— Сіань
джерело

Тож чи можна сказати, що неупереджений MLE - це (U) MVUE, але не кожен (U) MVUE є MLE?

— Секст Емпірік

2

Ні, у нас немає підстав вважати, що це взагалі вірно.

— Сіань

13

Але загалом, якщо у нас є неупереджений MLE, чи був би він також найкращим об'єктивним оцінювачем?

Якщо є повна достатня статистика, так .

Доказ:

Теорема Леманна – Шеффе : Найкращий будь-який об'єктивний оцінювач, який є функцією повноцінної статистики (UMVUE).
MLE - це функція будь-якої достатньої статистики. Див. 4.2.3 тут ;

Таким чином, неупереджений MLE є необхідним лише до тих пір, поки існує повна достатня статистика.

Але насправді цей результат майже не застосовується, оскільки повної достатньої статистики майже ніколи не існує. Це тому, що повна достатня статистика існує (по суті) лише для експоненціальних сімей, де MLE є найчастіше упередженим (крім параметра розташування гауссів).

Тож справжня відповідь насправді - ні .

$p_\theta(x)=p(x-\theta$ $p$ $\forall t\in\mathbb{R} \quad p(-t)=p(t)$ $n$

MLE є неупередженим
в ній переважає інший об'єктивний оцінювач, відомий як еквівалентний Пітман

$p$

— Бенуа Санчес
джерело

Чому це не має найвищих результатів? Я відчув, що ця відповідь була кращою, ніж відповідь Сяна.

— Ред Флойд

0

Асимптотична дисперсія MLE - UMVUE, тобто досягає нижньої межі крамерського рао, але кінцева дисперсія може бути не UMVUE, щоб переконатися, що оцінювач є UMVUE, його повинно бути достатньою і повною статистикою або будь-якою функцією цієї статистики.

— serhat simsek
джерело

0

Коротше кажучи, оцінювач є UMVUE, якщо він є неупередженим і функцією повною та достатньою статистикою. (Див. Рао-Блеквелл та Шеффе)

— creutzml
джерело

Що означає, що це обмежено для експоненціальних сімей.

— Сіань