Чи завжди переважні непослідовні оцінки?

Послідовність, очевидно, є природним і важливим оцінювачем властивостей, але чи існують ситуації, коли може бути краще використовувати невідповідний оцінювач, а не послідовний?

Більш конкретно, чи є приклади непослідовного оцінювача, який перевершує розумний послідовний оцінювач для всіх кінцевих (стосовно якоїсь відповідної функції втрат)? $n$

estimation consistency

— MånsT
джерело

Існує цікава компроміс у виконанні між послідовністю вибору моделі та узгодженістю параметрів у задачах оцінки з використанням ласо та його (безліч!) Варіантів. Це детально описано, наприклад, у недавньому тексті Бюльмана та Ван дер Гера.

— кардинал

Чи не міг би аргумент у моїй, тепер уже видаленій, відповіді? А саме: у невеликих зразках краще мати неупереджений оцінювач із низькою дисперсією. Чи можна показати, що послідовний оцінювач завжди має меншу дисперсію, ніж будь-який інший неупереджений оцінювач?

— Боб Янсен

Можливо, @Bootvis! Чи є у вас приклад непослідовного оцінювача з низьким рівнем MSE?

— MånsT

@Bootvis: Якщо вам трапляється подивитися на широкі коментарі до відповіді на нещодавнє запитання про послідовність та неупередженість, ви побачите, що послідовний оцінювач може мати довільну дику поведінку як дисперсії, так і зміщення (навіть одночасно!) . Це повинно усунути всі сумніви щодо вашого коментаря.

— кардинал

Я думав, що маю одну з двох книг, але, мабуть, я помилявся і про це! Прикладу ніде не знайти. @cardinal: Звучить цікаво, перевіримо це

— Боб Янсен

Ця відповідь описує реалістичну проблему, коли природний послідовний оцінювач переважає (перевершує всі можливі значення параметрів для всіх розмірів вибірки) непослідовним оцінювачем. Його мотивує думка про те, що послідовність найкраще підходить для квадратичних втрат, тому використання втрат, що сильно відходять від цієї (наприклад, асиметричної втрати), повинно зробити консистенцію майже марною при оцінці ефективності оцінювачів.

Припустимо, ваш клієнт бажає оцінити середнє значення змінної (припускається, що вона має симетричний розподіл) із зразка iid , але вони протилежні або (a) заниженню її, або (b) сильно завищенню це. $(x_1, \ldots, x_n)$

Щоб побачити, як це може вийти, скористаємося простою функцією збитків, розуміючи, що на практиці збитки можуть кількісно (але не якісно) відрізнятися від цієї. Виберіть одиниці вимірювання так, щоб була найбільшою допустимою завищенням, і встановіть втрату оцінки коли справжня середня дорівнює коли і дорівнює іншому випадку. $1$ $t$ $\mu$ $0$ $\mu \le t\le \mu+1$ $1$

Розрахунки особливо прості для звичайного сімейства розподілів із середнім та дисперсією , оскільки тоді середнє значення вибірки $\mu$ $\sigma^2 \gt 0$ має нормальнерозподіл. Середнє значення вибірки - це послідовний оцінювач, як добре відомо (і очевидно). Записдля стандартного нормального КОРА, очікувана втрата зразка середнього значення одно $\bar{x}=\frac{1}{n}\sum_i x_i$ $(\mu, \sigma^2/n)$ $\mu$ $\Phi$ :походить від 50% ймовірностіщо вибіркове середнє буде недооцінити справжнє середнє і $1/2 + \Phi(-\sqrt{n}/\sigma)$ $1/2$ походить від шансу переоцінити справжню середню більш ніж на. $\Phi(-\sqrt{n}/\sigma)$ $1$

Losses

Очікувана втрата дорівнює синій області під цим стандартним нормальним PDF. Червона зона дає очікувані втрати альтернативного оцінювача нижче. Вони відрізняються заміною суцільної синьої області між $\bar{x}$ іменшою суцільною червоною зоною між $-\sqrt{n}/(2\sigma)$ $0$ і $\sqrt{n}/(2\sigma)$ . Ця різниця зростає зізбільшенням. $\sqrt{n}/\sigma$ $n$

Альтернативна оцінка дається має очікувану втрату $\bar{x}+1/2$ $2\Phi(-\sqrt{n}/(2\sigma))$ $1/2$ $0$ $n$ $n$ $\mu+1/2 \ne \mu$

Loss functions

Сині точки показують втрату для і червоні точки показують втрати для в залежності від обсягу вибірки . $\bar{x}$ $\bar{x}+1/2$ $n$

— дзижчати
джерело

L_{2}

$L_2$

L_{2}

$L_2$

@Macro Мислення дещо опосередковане і не має на меті бути жорстким, але я вважаю, що це природно: квадратична втрата передбачає мінімізацію відхилення, що (через Чебишева) призводить до конвергенції у ймовірності. Отже, евристика для пошуку контрприкладу повинна зосереджуватися на втратах, настільки далеких від квадратичного, що такі маніпуляції не мають успіху.

— whuber

1 / 2

$1/2$ тоді як коефіцієнт непослідовної оцінки зменшується (експоненціально) до

0

$0$ : це, таким чином, експоненціально краще, ніж послідовне як

n

$n$ росте великим.

— whuber

@Michael OK, thank you for explaining that. In this context, with a non-quadratic loss, an "advantage" is not expressed terms of bias. One might criticize this loss function, but I don't want to reject it outright: it models situations where, for instance, the data are measurements of an item manufactured to certain tolerances and it would be disastrous (as in Shuttle o-ring failure or business bankruptcy disastrous) for the true mean to fall outside those tolerances.

— whuber

(+1) Great answer, @whuber! I particularly like that it doesn't feel too pathological - I can think of many situations where this type of loss would be applicable.

— MånsT