Чи використовується середня квадратична помилка для оцінки відносної переваги одного оцінника над іншим?

13

Припустимо, у нас є два оцінювачі та для деякого параметра . Щоб визначити, який оцінювач "кращий", ми подивимось на MSE (середня квадратична помилка)? Іншими словами, ми дивимось на де - зміщення оцінки, а - дисперсія оцінювача? Хто б не мав більший MSE, це гірший оцінювач? $\alpha_1$ $\alpha_2$ $x$

M S E = β^{2} + σ^{2}

$MSE = \beta^2+ \sigma^2$

β

$\beta$

σ^{2}

$\sigma^2$

estimation mse

— Дамієн
джерело

10

Якщо у вас є два конкуруючі оцінки $\hat \theta_1$ та $\hat \theta_2$ , незалежно від того, чи ні

M S E ({\hat{θ}}_{1}) < M S E ({\hat{θ}}_{2})

${\rm MSE}(\hat \theta_1) < {\rm MSE}(\hat \theta_2)$ повідомляє вам, що

{\hat{θ}}_{1}

$\hat \theta_1$ є кращий оцінювач повністю залежить від вашого визначення "найкращого". Наприклад, якщо ви порівнюєте неупереджені оцінки та під "кращим" ви маєте на увазі меншу дисперсію, то так, це означає, що

{\hat{θ}}_{1}

$\hat \theta_1$ краще.

M S E

$\rm MSE$ є популярним критерієм через його зв'язок із найменшими квадратами та гауссовою вірогідністю логарифмічних даних, але, як і багато статистичних критеріїв, слід уникати використання

M S E

$\rm MSE$ сліпо як міра якості оцінки, не звертаючи уваги на додаток.

Існують певні ситуації, коли вибір оцінювача для мінімізації може бути не особливо розумним. На думку спадають два сценарії: ${\rm MSE}$

Якщо в наборі даних є дуже великі видатки, вони можуть вплинути на MSE кардинально, і, таким чином, на оцінювач, що мінімізує MSE, можуть надмірно впливати такі люди. У таких ситуаціях той факт, що оцінювач мінімізує MSE, насправді не дуже розказує, оскільки, якщо ви видалили інші (-і) шрифти, ви можете отримати диво іншу оцінку. У цьому сенсі MSE не є "надійним" для людей, що вижили. У контексті регресії цей факт є тим, що мотивував M-оцінювача Хубера (про який я обговорюю у цій відповіді), який мінімізує різні функції критеріїв (тобто суміш між помилкою у квадраті та абсолютною помилкою), коли виникають довгохвості помилки .
Якщо ви оцінюєте обмежений параметр, порівняння s може виявитися недоцільним, оскільки воно в такому випадку карає по-різному і заниження. Наприклад, припустимо, що ви оцінюєте дисперсію . Тоді, якщо ви свідомо недооцінюєте кількість, ваш може бути не більше , тоді як завищена оцінка може призвести до що значно перевищує , можливо, навіть на необмежену кількість. $\rm MSE$ $\sigma^2$ $\rm MSE$ $\sigma^4$ $\rm MSE$ $\sigma^4$

Щоб зробити ці недоліки більш зрозумілими, я наведу конкретний приклад того, коли через ці проблеми не може бути відповідним показником якості оцінки. $\rm MSE$

Припустимо, у вас є зразок з розподілу з ступенями свободи, і ми намагаємося оцінити дисперсію, яка є . Розглянемо два конкуруючих оцінювача: і явно і факт, що які можна отримати за допомогою $X_1, ..., X_n$ $t$ $\nu>2$ $\nu/(\nu-2)$

{\hat{θ}}_{1} : t h e u n b i a s e d s a m p l e v a r i a n c e

$\hat \theta_{1}: {\rm the \ unbiased \ sample \ variance}$

{\hat{θ}}_{2} = 0, r e g a r d l e s s o f t h e d a t a

$\hat \theta_{2} = 0,{\rm \ regardless \ of \ the \ data}$

M S E ({\hat{θ}}_{2}) = \frac{ν^{2}}{(ν - 2)^{2}}

$\rm MSE(\hat \theta_{2}) = \frac{\nu^2}{(\nu-2)^2}$

M S E ({\hat{θ}}_{1}) = {\begin{cases} \infty & if ν \leq 4 \\ \frac{ν^{2}}{(ν - 2)^{2}} (\frac{2}{n - 1} + \frac{6}{n (ν - 4)}) & if ν > 4 . \end{cases}

${\rm MSE}(\hat \theta_{1}) = \begin{cases} \infty &\mbox{if } \nu \leq 4 \\ \frac{\nu^2}{(\nu-2)^2} \left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) & \mbox{if } \nu>4 . \end{cases}$ факт, що обговорюється в цій нитці, та властивості -розподілу

t

$t$ . Таким чином, наївний оцінювач перевершує показник незалежно від розміру вибірки кожного разу $\rm MSE$ $\nu < 4$ , що досить непомітно. Він також перевершує, коли але це актуально лише для дуже малих розмірів вибірки. Вищезазначене трапляється через тривалий характер розподілу з малими ступенями свободи, що робить схильним до дуже великих значень, і сильно штрафує за завищення, тоді як

(\frac{2}{n - 1} + \frac{6}{n (ν - 4)}) > 1

$\left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) > 1$

t

$t$

{\hat{θ}}_{2}

$\hat \theta_{2}$

M S E

$\rm MSE$

{\hat{θ}}_{1}

$\hat \theta_1$ не має цієї проблеми.

Підсумок тут полягає в тому, що не є відповідним показником оцінки вимірювання в цьому сценарії $\rm MSE$ . Це зрозуміло, оскільки оцінювач, який домінує з точки зору є смішним (тим більше, що немає шансів, що він правильний, якщо є якась мінливість у спостережуваних даних). Можливо, більш підходящим підходом (на що вказували Казелла та Бергер) було б вибрати оцінку дисперсії що мінімізує втрату Штейна: $\rm MSE$ $\hat \theta$

S (\hat{θ}) = \frac{\hat{θ}}{ν / (ν - 2)} - 1 - \log (\frac{\hat{θ}}{ν / (ν - 2)})

$S(\hat \theta) = \frac{ \hat \theta}{\nu/(\nu-2)} - 1 - \log \left( \frac{ \hat \theta}{\nu/(\nu-2)} \right)$

що карається заниженням однаковою мірою як завищення. Це також повертає нас до розуму, оскільки :) $S(\hat \theta_1)=\infty$

— Макрос
джерело

(+1) Приємна дискусія. Для справедливості, мабуть, слід зазначити, що подібні аргументи можуть бути зроблені і для інших критеріїв (інших функцій збитків).

— MånsT

2

Зазвичай оцінювачі оцінюються, переглядаючи їх функції ризику, які будують очікувані втрати порівняно з параметрами. Тут, фіксуючи параметри, можливо, ви зробили оманливий аналіз. Зрештою, завжди буває так, що дурний (постійний, невідомий) оцінювач може призвести до дуже низької очікуваної втрати: просто встановіть його рівним правильному параметру! Це не дивується, що насправді показало моделювання.

— whuber

@whuber, я змінив цю відповідь, щоб дати приклад аналітично, що робить її більш зрозумілою. Я також запропонував альтернативну функцію втрат, яка може бути більш підходящою.

— Макрос

+1 Набагато краще і дуже цікаво! Я думаю, що "неспокійний" аспект може бути в очах глядача. Для тих, хто схильний приклеїти деякого Байєса до , цей результат повинен бути тверезим. Крім того, для когось із нас вибір збитків є первинним і повинен заміняти більшість інших міркувань: цінності та цілі вашого клієнта визначають збитки, і це допомагає вибрати правильну процедуру оцінки. Уподобання процедури оцінки, а потім пропонування втрат, щоб зробити цю процедуру корисною практикою, але, безумовно, не може сприйматися як парадигма того, як можна вирішити статистичні проблеми!

ν

$\nu$

— whuber

2

MSE відповідає ризику (очікувана втрата) для функції втрати помилки в квадраті . Функція втрати помилок у квадраті дуже популярна, але лише один вибір із багатьох. Описана вами процедура є правильною при втраті помилок у квадраті; питання полягає в тому, чи підходить це у вашій проблемі чи ні. $L(\alpha_i) = (\alpha_i - \alpha)^2$

— JMS
джерело

2

Оскільки функція є диференційованою, це полегшує пошук мінімального MSE як з теоретичної, так і з чисельної точки зору. Наприклад, у звичайних найменших квадратах ви можете вирішити чіткість для встановленого схилу та перехоплення. З чисельної точки зору, у вас є більш ефективні рішення, коли у вас є похідна. $f(x) = x^2$

Середня квадратична помилка, на мою думку, зазвичай переважає іншу людину. Ось чому часто більш надійно використовувати середню абсолютну помилку, тобто використовуватияк ваша помилка. Однак, оскільки це не диференціюється, це ускладнює роботу з рішеннями. $f(x) = |x|$

MSE, мабуть, хороший вибір, якщо умови помилки зазвичай розподіляються. Якщо у них жирніші хвости, переважніший більш надійний вибір, такий як абсолютна величина.

— aprokopiw
джерело

0

У випуску «Статистичні висновки Case & Berger» другого видання Сторінка 332 зазначається, що MSE штрафує однаково за завищення та заниження, що добре у випадку місцеположення. Однак у випадку масштабу 0 є природною нижньою межею, тому задача оцінки не є симетричною. Використання MSE в цьому випадку, як правило, прощає заниження.

Ви можете перевірити, який оцінювач відповідає властивостям UMVUE, що означає використання нижньої межі Cramer-Rao. Сторінка 341.

— Вт.2
джерело