За яких умов збігаються байєсівські та частолістські оцінки точок?

З плоским попереднім оцінкою збігаються оцінки ML (частість - максимальна ймовірність) та MAP (байєсівський - максимум a posteriori).

Однак у більш загальному плані я говорю про оцінки точок, отримані як оптимізатори певної функції втрат. Тобто

(Bayesian)  х

де $\mathbb{E}$ є оператором очікування, $L$ є функцією втрат (мінімізовано в $\hat x(y)$ є оцінкою, враховуючи дані $y$ , параметра $x$ , а випадкові величини позначені заголовними буквами.

Хтось знає якісь умови щодо $L$ , pdf $x$ та $y$ , накладеної лінійності та / або неупередженості, де оцінки будуть збігатися?

Редагувати

Як зазначається в коментарях, необхідна неупередженість, така як неупередженість, щоб зробити проблему частого лікаря значимою. Плоскі пріори також можуть бути спільністю.

Окрім загальних дискусій, наданих деякими відповідями, питання справді стосується також надання фактичних прикладів . Я думаю, що важливе значення має лінійна регресія:

• х = ( D ' D ) - 1 D ' у є (СИНІЙ теорема Гаусса-Маркова ), тобто мінімізує MSE частотний серед лінійно-неупереджених оцінок.$\mathbf{\hat{x}} = (\mathbf{D}'\mathbf{D})^{-1}\mathbf{D}'\mathbf{y}$
• якщо є гаусовим і до плоского, х = ( D ' D ) - 1 Д ' у є «задній» означає зводить до мінімуму байєсівської означає втрату для будь-якої опуклою функції втрат.$(X,Y)$$\mathbf{\hat{x}} = (\mathbf{D}'\mathbf{D})^{-1}\mathbf{D}'\mathbf{y}$

Тут, здається , відомий як матриця даних / дизайну в частофілістському / байєсівському лінгві відповідно.$\mathbf{D}$

Питання цікаве, але дещо безперспективне, якщо поняття частолістського оцінювача не буде уточнене. Це, безумовно , не один набір в питанні х ( , так як відповідь на мінімізації х ( у ) = х для всіх у «Sяк зазначено ввідповіді Programmer2134 в. Основоположним питанням є те, що не існує єдиного частофілістського оцінювача проблеми оцінки без введення додаткових обмежень або класів оцінювачів. Без цього всі оцінки Байєса також є оцінювачами частості.

Як зазначено в коментарях, неупередженість може бути таким обмеженням, і в цьому випадку оцінки Байєса виключаються. Але це частолістське поняття стикається з іншими частофілістськими поняттями, такими як

1. допустимість, оскільки явище Джеймса-Штейна продемонструвало, що неупереджені оцінки можуть бути неприйнятними (залежно від функції втрати та від розмірності проблеми);
2. інваріантність при репараметеризації, оскільки неупередженість не тримається під перетвореннями.

Плюс неупередженість стосується лише обмеженого класу проблем з оцінкою. Під цим я маю на увазі, що клас неупереджених оцінювачів певного параметра або перетворення h ( θ ) більшість часу порожній.$\theta$$h(\theta)$

Якщо говорити про прийнятність, ще одне частофілістське поняття, існують параметри, для яких єдиними допустимими оцінками є оцінки Байєса, і навпаки. Цей тип установок стосується повних теорем про класи, встановлених Авраамом Вальдом у 1950-х роках. (Це ж стосується кращих інваріантних оцінювачів, які є Бейесом згідно з відповідним правильним заходом Хаара.)

Загалом, частофілістські та баєсові оцінки не збігаються, якщо ви не використовуєте вироджену квартиру до цього. Основна причина така: Оцінювачі часто часто намагаються бути неупередженими. Наприклад, часто лікарі намагаються знайти об'єктивну оцінку мінімальної дисперсії ( http://en.wikipedia.org/wiki/Minimum-variance_unbiased_estimator ). Тим часом, всі нероджені оцінки Байєса упереджені (у частому сенсі упередженості). Див., Наприклад, http://www.stat.washington.edu/~hoff/courses/581/LectureNotes/bayes.pdf , теорема 5.

Підводячи підсумок: Більшість популярних частолістських оцінювачів прагнуть бути неупередженими, тоді як усі оцінки Байєса упереджені. Таким чином, Байєс і частолістські оцінки рідко збігаються.

$\text{argmin}$$\hat x(y)$$y$

$x$$x$$f(x,\hat x)=E(L(x-\hat x(Y))|x)$$x$$x$$f(x, \hat x)$$\hat x$$\hat x = x$

Відповідь на це питання може не бути.

Альтернативою може бути запрошення методів для ефективного визначення двох оцінок для будь-якої проблеми. Байєсівські методи досить близькі до цього ідеалу. Однак, хоча методи Minimax можуть бути використані для визначення частотистської оцінки балів, загалом застосування методу minimax залишається складним, і, як правило, не застосовується на практиці.

Іншою альтернативою було б переформулювати питання щодо умов, за яких байєсівські та частофілістські оцінки дають "послідовні" результати та намагаються визначити методи для ефективного обчислення цих оцінювачів. Тут «послідовне» прийнято означати, що байєсівські та частолістські оцінки виходять із загальної теорії і що для обох оцінювачів використовується однаковий критерій оптимальності. Це дуже відрізняється від спроб протиставити байєсівську та частолістську статистику, і може зробити це питання зайвим. Один з можливих підходів - націлитись як на випадок частістів, так і на справу Баєса, на рішення, що мінімізують втрати для заданого розміру, тобто, як це запропоновано

Шафер, Чад М і Філіп Б Старк. "Побудова областей довіри оптимального очікуваного розміру." Журнал Американської статистичної асоціації 104.487 (2009): 1080-1089.

Виявляється, що це можливо - як для частолістської, так і для байєсівської справи - шляхом включення за допомогою переваг спостережень та параметрів з великою точково взаємною інформацією. Набори рішень не будуть ідентичними, оскільки питання, яке задається, відрізняється:

• Незалежно від того, що є істинним параметром, обмежте ризик прийняття неправильних рішень (частістський погляд)
• З огляду на деякі спостереження, обмежте ризик включення неправильних параметрів у набір рішень (байєсівський погляд)

Однак набори значною мірою перекриватимуться та стануть однаковими в деяких ситуаціях, якщо використовуються плоскі пріори. Ця ідея обговорюється більш докладно разом з ефективним втіленням в Росії

Bartels, Christian (2015): Загальна та послідовна довіра та надійні регіони. фішаре. https://doi.org/10.6084/m9.figshare.1528163

Для інформативних пріорів набори рішень більше відхиляються (як це загальновідомо і вказувалося в питанні та відповідях вище). Однак у послідовних рамках отримують тести, що часто проводяться, які гарантують бажане частотське висвітлення, але враховують попередні знання.

Bartels, Christian (2017): Використання попередніх знань у тестах періодизму. фішаре. https://doi.org/10.6084/m9.figshare.4819597

Запропоновані методи все ще не мають ефективного впровадження маргіналізації.