Коли не можна частотистський розподіл вибірки трактувати як байєсівський задній у регресійних настройках?

Мої актуальні запитання є в останніх двох абзацах, але мотивувати їх:

Якщо я намагаюся оцінити середнє значення випадкової величини, яка слід за нормальним розподілом з відомою дисперсією, я прочитав, що введення рівномірного до середнього результату призводить до заднього розподілу, пропорційного функції ймовірності. У цих ситуаціях достовірний інтервал Байєса ідеально перегукується з частотним довірчим інтервалом, а байєсівський максимум післяокерований оцінка дорівнює частотній максимум вірогідності.

У простому режимі лінійної регресії,

$Y = \textbf{X}\beta+\epsilon, \hspace{1cm} \epsilon\sim N(0,\sigma^2)$

наведення рівномірного пріоритету на та зворотного гамма до з малими значеннями параметрів призводить до заднього який буде дуже схожий на частофілістський , і достовірний інтервал для заднього розподілу який буде дуже схожий на довірчий інтервал навколо максимальної оцінки ймовірності. Вони не будуть абсолютно однаковими, тому що пріоритет на чинить невелику кількість впливу, і якщо задня оцінка буде проведена за допомогою моделювання MCMC, що введе інше джерело розбіжностей, але достовірний інтервал Байєса навколо $\beta$ $\sigma^2$ $\hat\beta^{MAP}$ $\hat\beta^{MLE}$ $\beta|X$ $\sigma^2$ $\hat\beta^{MAP}$ і частолістський інтервал довіри навколо буде досить близьким один до одного, і, звичайно, в міру збільшення вибірки вони повинні зближуватися, оскільки вплив ймовірності зростає, щоб домінувати над попереднім. $\hat\beta^{MLE}$

Але я читав, що також існують регресійні ситуації, коли ці майже нееквівалентності не дотримуються. Наприклад, ієрархічні регресії з випадковими ефектами, або логістична регресія - це ситуації, коли, наскільки я це розумію, немає «хороших» об'єктивних або опорних пріорів.

Отже, моє загальне питання таке - якщо припустити, що я хочу зробити висновок про $P(\beta|X)$ і що я не маю попередньої інформації, яку я хочу включити, чому я не можу приступити до частостістської оцінки максимальної ймовірності в цих ситуаціях і інтерпретувати отримані оцінки коефіцієнтів та стандартні помилки як оцінки Байєсової ПДЧ і стандартні відхилення, і неявно ставитися до цього "задні" оцінки, що є результатом попереднього, який, мабуть, був "неінформативним", не намагаючись знайти явну формулювання попереднього, що призвело б до такої задньої? Загалом, у межах регресійного аналізу, коли нормально тривати за цими напрямками (трактувати ймовірність як задню) і коли це не добре? Що з частолістськими методами, які не ґрунтуються на імовірності, наприклад, квазіімовірними методами,

Чи залежать відповіді від того, чи є моя цільовим висновком оцінка коефіцієнта балів, чи ймовірність того, що коефіцієнт знаходиться в певному діапазоні, або величини прогнозного розподілу?

— Якканоміка
джерело

Це в основному питання про -значення та максимальну ймовірність. Дозвольте мені навести тут Коена (1994) $p$

Що ми хочемо знати, це "З огляду на ці дані, яка ймовірність того, що є правдивим?" Але, як більшість із нас знає, що це [ -значення] говорить нам: "З огляду на те, що є правдою, яка ймовірність цих (або більш екстремальних) даних?" Це не однакові (...) $H_0$ $p$ $H_0$

Отже, -значення говорить нам, що таке , тоді як нас цікавить (див. Також дискусію про рамки Фішеріана проти Неймана-Пірсона ). $p$ $P(D|H_0)$ $P(H_0|D)$

Забудемо на мить про -значення. Ймовірність спостереження за нашими даними за заданим параметром є функцією вірогідності $p$ $\theta$

L (θ | D) = P (D | θ)

$L(\theta | D) = P(D|\theta)$

це один із способів перегляду статистичного висновку. Інший спосіб - байєсівський підхід, де ми хочемо дізнатися безпосередньо (а не опосередковано) про , використовуючи теорему Байєса та використовуючи пріори для $P(\theta|D)$ $\theta$

\underset{posterior}{\underset{⏟}{P (θ | D)}} \propto \underset{likelihood}{\underset{⏟}{P (D | θ)}} \times \underset{prior}{\underset{⏟}{P (θ)}}

$\underbrace{P(\theta|D)}_\text{posterior} \propto \underbrace{P(D|\theta)}_\text{likelihood} \times \underbrace{P(\theta)}_\text{prior}$

Тепер, якщо ви подивитеся на загальну картину, ви побачите, що -значення та ймовірність відповідають на інші питання, ніж байєсівська оцінка. $p$

Отже, хоча максимальна оцінка ймовірності повинна бути такою ж, як оцінки MAP Bayesian за єдиними пріорами, ви повинні пам’ятати, що вони відповідають на інше питання.

Коен, Дж. (1994). Земля кругла (р <.05). Американський психолог, 49, 997-1003.

— Тім
джерело

Дякуємо за вашу відповідь @Tim. Мені повинно було бути зрозуміліше - я розумію, що P (D | H) і P (H | D) взагалі не однакові, і що часто і баєси розходяться в думці щодо того, чи доцільно призначати розподіл ймовірності за параметрами ( або гіпотези загальніше). Мене про це запитують ситуації, коли розподіл (частості) вибірки оцінювача буде чисельно еквівалентний (байєсівському) задньому розподілу справжнього значення параметра.

— Yakkanomica

Продовження мого попереднього коментаря: Ви писали: "Отже, хоча максимальна оцінка ймовірності повинна бути такою ж, як оцінки MAP Bayesian за єдиними пріорами", - я запитую, чи є ситуації, в яких ці стосунки розпадаються - і в плані точкових оцінок та розподілів навколо них.

— Yakkanomica

Одне заключне доповнення - Деякі люди скажуть, що головна чеснота байєсівського підходу - це здатність гнучко включати попередні знання. Для мене привабливість байєсівського підходу полягає в інтерпретації - здатності призначити розподіл ймовірності параметру. Необхідність уточнення пріорів - це неприємність. Я хочу знати, в яких ситуаціях я можу використовувати частолістські методи, але призначити байєсівську інтерпретацію результатам, стверджуючи, що результати частості та баєсів чисельно збігаються під правдоподібно неінформативними пріорами.

— Yakkanomica

@Yakkanomica Я розумію, це цікаве питання, але проста відповідь (як сказано вище) полягає в тому, що ви не повинні робити таких тлумачень, оскільки частотестні методи відповідають на інше питання, ніж байєсівські. Оцінки точки ML та MAP повинні узгоджуватися, але довірчі інтервали та ІРВ можуть відрізнятися і не повинні інтерпретуватися взаємозамінністю.

— Тім

Але @Tim, є ситуації, коли інтервали довіри та ІРВ перетинаються. Наприклад, порівняйте оцінки ML на p.1906 з байєсівськими задніми оцінками (на основі рівномірних пріорів на коефіцієнтах та IG до шкали) на стор.1908: приклад PROC GENMOD . Оцінка точки ML та 95% межі довіри дуже схожі на байєсівську задню середню оцінку та 95% інтервал ВПЛ.

— Yakkanomica