Чи вимагає оцінка Байєса, щоб істинний параметр був можливою змінною попереднього?

Це може бути трохи філософським питанням, але тут ми ідемо: В теорії рішень ризик оцінки Байєса для визначається стосовно попереднього розподілу на . $\hat\theta(x)$ $\theta\in\Theta$ $\pi$ $\Theta$

Тепер, з одного боку, для того, щоб справжня генерувала дані (тобто "існує"), повинна бути можливою змінною під , наприклад, мати ненульову ймовірність, ненульову щільність тощо; з іншого боку, невідомий, отже, вибір попереднього, тому ми не маємо гарантії, що справжнє є можливою змінною під нами . $\theta$ $\theta$ $\pi$ $\theta$ $\theta$ $\pi$

Тепер мені здається, що нам потрібно якось вибрати , щоб була можливою змінною. Інакше певні теореми не дотримуються. Наприклад, оцінка minimax не була б оцінкою Байєса як мінімум сприятливого попереднього, оскільки ми могли б зробити це попередньо довільно поганим, виключивши великий регіон навколо і включивши зі свого домену. Однак гарантувати, що справді є в домені, важко досягти. $\pi$ $\theta$ $\theta$ $\theta$

Отже, мої запитання:

Чи прийнято вважати, що фактична є можливою змінною ? $\theta$ $\pi$
Чи можна це гарантувати?
Чи можна випадки, що порушують це, хоча б якось виявити, щоб не покладатися на такі теореми, як мінімакс, коли умови не дотримуються?
Якщо це не потрібно, чому тоді дотримуються стандартні результати в теорії рішень?

— user32849
джерело

Відповіді:

Дуже приємне запитання! Дійсно було б сенс, що "хороший" попередній розподіл дає позитивну ймовірність або значення позитивної щільності "істинному" параметру , але з чисто вирішальної точки зору це не повинно бути. Простий зустрічний приклад цієї "інтуїції", що повинен бути необхідним, коли є попередньою щільністю, а - "справжнім" значенням параметра, є блискучим результат мінімаксичності Казелла та Штрадермана (1981): при оцінці середнього середнього значення на основі одного спостереження з додатковим обмеженням, що , $\theta_0$

π (θ_{0}) > 0

$\pi(\theta_0)>0$

π (\cdot)

$\pi(\cdot)$

θ_{0}

$\theta_0$

μ

$\mu$

x \sim N (μ, 1)

$x\sim{\cal N}(\mu,1)$

| μ | < ρ

$|\mu|<\rho$

ρ

$\rho$ недостатньо малий, конкретно , , оцінювач відповідає (найменш сприятливій) рівномірній до , що означає, що надає рівну вагу та ( і жодне інше значення середнього ) Коли збільшує найменш сприятливий попередній час, його підтримка зростає, але залишається кінцевим набором можливих значень. Однак заднє очікування, , може приймати будь-яке значення на .

ρ \leq 1.0567

$\rho\le 1.0567$

{- ρ, ρ}

$\{-\rho,\rho\}$

π

$\pi$

- ρ

$-\rho$

ρ

$\rho$

μ

$\mu$

π (θ) = \frac{1}{2} δ_{- ρ} (θ) + \frac{1}{2} δ_{ρ} (θ)

$\pi(\theta)=\frac{1}{2}\delta_{-\rho}(\theta)+ \frac{1}{2}\delta_{\rho}(\theta)$

ρ

$\rho$

E [μ | x]

$\mathbb{E}[\mu|x]$

(- ρ, ρ)

$(-\rho,\rho)$

Ядром дискусії (див. Коментарі) може бути те, що якби оцінювач Байєса обмежувався точкою підтримки , його властивості були б зовсім іншими. $\pi(\cdot)$

Аналогічно, при розгляді допустимих оцінок оцінки Байєса, пов'язані з належним попереднім на компактному наборі, зазвичай є допустимими, хоча вони мають обмежену підтримку.

В обох випадках частофілістське поняття (мінімальність чи допустимість) визначається за можливим діапазоном параметрів, а не за значенням "справжнього" параметра (яке дає відповідь на запитання 4.) Наприклад, дивлячись на задній ризик або за ризиком Байєса не передбачає справжнього значення .

\int_{Θ} L (θ, δ) π (θ | x) d θ

$\int_\Theta L(\theta,\delta) \pi(\theta|x)\text{d}\theta$

\int_{X} \int_{Θ} L (θ, δ) π (θ) f (x | θ) d θ d x

$\int_{\cal X}\int_\Theta L(\theta,\delta) \pi(\theta)f(x|\theta)\text{d}\theta\text{d}x$

θ_{0}

$\theta_0$

Крім того, як зазначено у вищенаведеному прикладі, коли оцінювач Байєса визначається формальним виразом, таким як заднє середнє для квадратичної (або ) втрати, цей оцінювач може приймати значення поза підтримкою у випадках, коли ця підтримка не опукла.

{\hat{θ}}^{π} (x) = \int_{Θ} θ π (θ | x) d θ

$\hat{\theta}^\pi(x)=\int_\Theta \theta\pi(\theta|x)\text{d}\theta$

L_{2}

$L_2$

π

$\pi$

Як осторонь, при читанні

щоб справжнє θ генерувало дані (тобто "існує"), θ повинна бути можливою змінною при π, наприклад, мати ненульову ймовірність, ненульову щільність

Я вважаю це неправильним представленням значення попереднього. Попередній розподіл не повинен означати фактичного фізичного (або реального) механізму, який бачив значення параметра згенерованого з а потім спостереження породжене з . Попередній - це еталонний показник у просторі параметрів, який включає попередню інформацію та суб'єктивні уявлення про параметр, і це аж ніяк не є унікальним. Байєсівський аналіз завжди відносно попереднього, обраного для проведення цього байєсівського аналізу. Отже, немає абсолютної необхідності, щоб істинний параметр належав до підтримки . Очевидно, що коли ця підтримка є компактним підключеним набором, $\theta_0$ $\pi$ $x$ $f(x|\theta_0)$ $\pi$ ${\mathscr A}$ будь-яке значення параметра поза набором не може бути послідовно оцінено заднім середнім але це навіть не заважає оцінювачу бути прийнятним. ${\mathscr A}$ $\hat{\theta}^\pi$

— Сіань
джерело

Щодо вашого останнього пункту, це мене бентежить: скажіть, у мене нормальний розподіл, коли є деяким достатньо невеликим від'ємним числом. Якщо з якихось дивних причин я поставив log-normal prior (підтримка ) на (незалежно від того, наскільки сенс має це значення), оцінювач Байєса за таким попереднім рівнем, безумовно, буде гіршим, ніж оцінка minimax , що не повинно статися. Але, можливо, я щось тут неправильно

μ

$\mu$

[0, + \infty)

$[0,+\infty)$

μ

$\mu$

— трактую

Зазвичай, див. Бергер (1985), найменш сприятливий попередній рівень відповідає мінімальним ризикам.

— Сіань

Я тут дуже заплутався: ваша книга (глава 2), здавалося, припускає, що , а конкретно в теоремі 2.4.17, , де найменш сприятливий попереднє - дискретний розподіл по . Але я думаю, я повинен був прочитати сторінку 10 уважніше ;-)

θ \sim π (θ)

$\theta \sim \pi(\theta)$

Θ = [- m, m]

$\Theta=[-m, m]$

Θ

$\Theta$

— user32849

Комплексний ризик не передбачає "істинного" параметра на жодному етапі. Тож у цьому сенсі це не має значення.

— Сіань

Отже, у певному сенсі ризик охоплює очікувані нами збитки, а не ті, які ми насправді зазнаємо. Це було надзвичайно корисно, велике спасибі!

— користувач32849

Так, зазвичай вважається, що справжня знаходиться в області попереднього. Відповідальність статистику полягає в тому, щоб побачити, що це так. $\theta$
Зазвичай, так. Наприклад, оцінюючи середній або параметри розташування, будь-який попередній на матиме справжнє значення у своїй області. (Якщо, як відомо, параметр перевищує нуль, наприклад, "середня кількість дорожньо-транспортних пригод на Бей-Бридж на день", очевидно, попередній не повинен включати негативні значення.) Якщо ми оцінюємо ймовірність, будь-яка до матиме справжнє значення у своїй області. Якщо ми будуємо пріоритет на дисперсійному терміні, будь-який до матиме справжнє значення у своїй області ... тощо. $(-\infty, \infty)$ $[0,1]$ $(0, \infty)$
Якщо ваш задній стіл "складений" на одному краю домену попереднього, а ваш попередній накладає зайве обмеження для домену на тому самому краю, це спеціальний показник того, що непотрібне обмеження може викликати у вас проблеми. Але це має відбуватися лише у тому випадку, якщо: а) ви побудували попередник, форма якого в значній мірі визначається зручністю замість фактичних попередніх знань; і б) формованість, спричинена зручністю попереднього обмеження домену параметра, підмножиною того, що його " природним "доменом можна вважати таке.

Прикладом такого є стара, сподіваюсь, давно застаріла практика обмеження попереднього на дисперсійному терміні трохи від нуля, щоб уникнути потенційних обчислювальних труднощів. Якщо справжнє значення дисперсії знаходиться між обмеженим і нульовим, ну ... але насправді роздуми про потенційні значення дисперсії, задані даними, або (наприклад, замість того, щоб надати пріоритет на журнал дисперсії, дозволить Ви можете уникнути цієї проблеми, і подібні легкі кмітливості повинні дозволяти вам уникати пріорів, що обмежують домен взагалі.

Відповів №1.

— джебмен
джерело

За випадковість того, хто повернувся до відповідальності, повернеться - чому "не корисний"?

— jbowman

Проста, інтуїтивно зрозуміла відповідь, що попередньо відображає ваші попередні знання про і мінімальний рівень знань, який ви повинні мати, - це домен. Якщо ви користуєтесь обмеженими раніше, то ви припускаєте, що значення поза межами меж мають нульову ймовірність, неможливі, і це дуже сильне припущення, яке не повинно бути зроблено без гарного обґрунтування. Ось чому люди, які не хочуть робити чітких попередніх припущень, використовують невиразні пріорі на $\theta$ $-\infty$ to $\infty$ .

Крім обмеженого випадку, коли ваш зразок зростає, або точніше передає більше інформації, ваш задній край повинен нарешті сходитися до $\theta$ незалежно від попереднього .

— Тім
джерело