Який байєсівський еквівалент загального тесту на придатність?

25

У мене є два набори даних, один із набору фізичних спостережень (температур) та один із ансамблю числових моделей. Я роблю аналіз ідеальної моделі, припускаючи, що модельний ансамбль є справжньою, незалежною вибіркою, і перевіряю, чи спостереження проведені з цього розподілу. Статистику, яку я підрахував, нормалізується і теоретично повинна бути стандартним нормальним розподілом. Звичайно, це не ідеально, тому я хочу перевірити на якість підгонки.

Використовуючи частоталістичні міркування, я міг обчислити статистику Крамера-фон Мізеса (або Колмогорова-Смірнова тощо), або подібну, і шукати значення в таблиці, щоб отримати p-значення, щоб допомогти мені вирішити, наскільки малоймовірно значення I див., враховуючи, що спостереження такі ж, як і модель.

Яким був би баєсовський еквівалент цього процесу? Тобто, як я можу оцінити силу моєї віри в те, що ці два розподіли (моя обчислена статистика і стандарт норма) відрізняються?

bayesian goodness-of-fit

— naught101
джерело

Що - щось на зразок цього може відповідати вимогам.

— Cyan

23

Я б запропонував книгу Байєсівський аналіз даних як чудове джерело для відповіді на це питання (зокрема, глава 6) і все, що я збираюся сказати. Але один із звичайних способів нападу байєсів на цю проблему - це використання задніх прогнозних Р-значень (PPP). Перш ніж перейти до того, як ДПП вирішить цю проблему, дозвольте спершу визначити наступне позначення:

Нехай - спостережувані дані, - вектор параметрів. Визначимо як реплицируются дані , які могли б спостерігалися, або, пророкуванням думати, як дані ми б побачити завтра , якщо експеримент , який справив сьогодні були скопійовані з однієї і тієї ж моделі і того ж значення яке створило спостережувані дані. $y$ $\theta$ $y^{\text{rep}}$ $y$ $\theta$

Зауважимо, ми визначимо розподіл урахуванням поточного стану знань із заднього прогнозного розподілу $y^{\text{rep}}$

p (у^{респ} | у) = \int_{Θ} p (у^{респ} | θ) p (θ | у) г θ

$p(y^{\text{rep}}|y)=\int_\Theta p(y^{\text{rep}}|\theta)p(\theta|y)d\theta$

Тепер ми можемо виміряти розбіжність між моделлю та даними, визначивши тестові кількості , аспекти даних, які ми хочемо перевірити. Тестова кількість або міра невідповідності , , - це скалярний підсумок параметрів і даних, який використовується в якості стандарту при порівнянні даних з прогнозними моделюваннями. Тестові кількості відіграють роль у байєсівській моделі, перевіряючи, чи відіграє статистика тестів у класичному тестуванні. Ми визначимо позначення для тестової статистики, яка є тестовою кількістю, яка залежить лише від даних; в баєсівському контексті ми можемо узагальнити статистику тестів, щоб дозволити залежність від параметрів моделі при їх задньому розподілі. $T(y,\theta)$ $T(y)$

Класично значення р для тестової статистики є де взята ймовірність над розподілом з фіксованим. $T(y)$

p_{С} = Пр (Т (у^{респ}) \geq Т (у) | θ)

$p_C=\text{Pr}(T(y^{\text{rep}})\geq T(y)|\theta)$

y^{rep}

$y^{\text{rep}}$

θ

$\theta$

З байєсівської точки зору, невідповідність даних відносно заднього прогнозного розподілу може бути виміряна імовірністю площі хвоста або р-значенням тестової кількості та обчислена за допомогою заднього моделювання . У байєсівському підході випробувальні величини можуть бути функціями невідомих параметрів, а також даними, оскільки кількість випробувань оцінюється на основі креслень із заднього розподілу невідомих параметрів. $(\theta,y^{\text{rep}})$

Тепер ми можемо визначити байєсівське p-значення (PPP) як ймовірність того, що реплікувані дані можуть бути більш екстремальними, ніж спостережувані дані, виміряні кількістю тесту: де вірогідність приймається за задній розподіл і задній прогнозний розподіл (що є спільний розподіл, ): де - функція індикатора. На практиці, хоча ми зазвичай обчислюємо задній прогнозний розподіл за допомогою симуляцій.

p_{Б} = Пр (Т (у^{респ}, θ) \geq Т (у, θ) | у)

$p_B=\text{Pr}(T(y^{\text{rep}},\theta)\geq T(y,\theta)|y)$

θ

$\theta$

y^{rep}

$y^{\text{rep}}$

p (θ, y^{rep} | y)

$p(\theta,y^{\text{rep}}|y)$

p_{Б} = \iint_{Θ} Я_{Т (у^{респ}, θ) \geq Т (у | θ)} p (у^{респ} | θ) p (θ | у) г у^{респ} г θ,

$p_B=\iint_\Theta I_{T(y^{\text{rep}},\theta)\geq T(y|\theta)}p(y^{\text{rep}}|\theta)p(\theta|y)dy^{\text{rep}}d\theta,$

I

$I$

Якщо ми вже маємо, скажімо, моделювання із заднього розподілу , то ми можемо просто намалювати один з прогнозного розподілу для кожного модельованого ; тепер у нас є малюнки із спільного заднього розподілу, . Задня передбачувальна перевірка - це порівняння між реалізованими величинами випробувань та прогнозними величинами тесту . Орієнтовне p-значення - це лише частка цих моделей для яких кількість випробувань дорівнює або перевищує його реалізоване значення; тобто для чого $L$ $\theta$ $y^{\text{rep}}$ $\theta$ $L$ $p(y^{\text{rep}},\theta|y)$ $T(y,\theta^l)$ $T(y^{\text{rep}l},\theta^l)$ $L$

Т (у^{респ л}, θ^{л}) \geq Т (у, θ^{л})

$T(y^{\text{rep}l},\theta^l)\geq T(y,\theta^l)$ для .

l = 1, . . ., L

$l=1,...,L$

На відміну від класичного підходу, перевірка моделі Байєса не вимагає спеціальних методів обробки "неприємних параметрів". Використовуючи заднє моделювання, ми неявно оцінюємо серед усіх параметрів моделі.

Додатковим джерелом Ендрю Гельман також є дуже приємний документ про PPP тут: http://www.stat.columbia.edu/~gelman/research/unpublished/ppc_understand2.pdf

— суспільство
джерело

3

Одна порівняно проста можливість: плавні випробування на придатність придатності, наприклад [1], - які визначають альтернативу з точки зору плавних відхилень від нуля, побудованих ортогональними многочленами (щодо нульової щільності як функції ваги), були б відносно простими переходять до байєсівської рамки, оскільки коефіцієнти многочленів утворюють гнучко-але параметричне розширення нуля.

[1]: Рейнер, JCW та DJ Best (1990),
"Гладкі тести доброти придатності: огляд",
Міжнародний статистичний огляд , 58 : 1 (квітень), стор 9-17

— Glen_b -Встановити Моніку
джерело