Фактори Байєса з неправильними пріорами

У мене є питання щодо порівняння моделі за допомогою факторів Байєса. У багатьох випадках статистики зацікавлені в застосуванні байєсівського підходу з невідповідними пріорами (наприклад, деякими приорами Джеффріса та рефератами).

Моє запитання: у тих випадках, коли задній розподіл параметрів моделі чітко визначений, чи справедливо порівнювати моделі з використанням факторів Байєса при використанні неналежних пріорів?

В якості простого прикладу розглянемо порівняння нормальної моделі з логістичною моделлю з пріорами Джефріса.

bayesian model-selection prior

— Джефрі
джерело

Неправильний попередній відіграє роль "неінформативного попередника". Якщо у вас є перспектива "без попереднього переконання", тоді, очевидно, ви не можете призначити попередню ймовірність моделі. Однак є деякі статті Бергера та інших авторів про поняття "внутрішніх факторів Байєса"; це звучить як фактор Байєса з неінформативними пріорами, але я не можу сказати більше, тому що я ніколи не читав цих робіт. Можливо, також існують інші "об'єктивні методи байєсівської вибірки" (введення цих термінів у Google дає кілька робіт Бергера).

— Стефан Лоран

@ StéphaneLaurent Інтерпретація пріоритетних параметрів відрізняється від попередньої ймовірності моделі. Це видно із загального вираження фактора Байєса. Ви також можете призначити однакові пріоритети для моделей, невідповідні до параметрів, і побачити, що дані говорять про вас після них .

— Джефрі

Я рекомендую прочитати Критерії вибору моделі Байєса із застосуванням до вибору змінної (AoS, 2012), зокрема леми 1. В основному, неправильні пріорі не можна використовувати для непоширених параметрів.

Ні. Хоча неправильні пріори можуть бути в порядку для оцінки параметрів за певних обставин (завдяки теоремі Бернштейна – фон Мізеса ), вони є великим «ні-ні» для порівняння моделей, завдяки тому, що називається парадоксом маргіналізації .

$p_1(x \mid \theta)$ $p_1(\theta)$

p_{1} (x) = \int_{Θ} p_{1} (x ∣ θ) p_{1} (θ) d θ .

$p_1(x) = \int_\Theta p_1(x \mid \theta) p_1(\theta) d \theta .$

$p_1(\theta) \propto 1$ $p_1(x)$

Деякі автори, зокрема Е. Т. Джейнс, намагаються обійти це, визначаючи неправильні пріори як межу послідовності власних пріорів: тоді проблема полягає в тому, що можуть бути дві різні обмежуючі послідовності, які потім дають різні відповіді.

— Саймон Берн
джерело

Спасибі за вашу відповідь. Питання щодо констант пропорційності можна уникнути, використовуючи ті самі невідповідні раніше загальні параметри, як параметри розташування та масштабу, як зазначено у «Байєсівському виборі», стор. 349. Якщо я правильно розумію, парадок маргіналізації стосується лише пріорів із a певна структура.

— Джефрі

Проблема полягає в тому, що домінуватимуть нереалістичні випадки: якщо у вас є однаковий параметр вашого параметра розташування, ви будете розміщувати 100-кратну вагу на інтервалі [100,200], як на [0,1] (що може здатися смішним у деякі обставини).

— Саймон Берн

Але річ у тому, що неналежні пріорі не можуть трактуватися з імовірнісним виразом. Немає такої ваги, враховуючи те, що ймовірнісна інтерпретація пріоритету відпала, оскільки вона неправильна.

— Джефрі

Це не вірогідне, але це все-таки міра, тому ви можете провести відносні порівняння (тобто є 100x "маса" на проміжку [100,200], як є на [0,1]).

— Саймон Бірн

π (μ, σ) \propto σ^{- 1}

$\pi(\mu,\sigma)\propto \sigma^{-1}$