31

Я дуже новачок у баєсівській статистиці, і це може бути дурним питанням. Тим не менш:

Розглянемо достовірний інтервал з попереднім, який визначає рівномірний розподіл. Наприклад, від 0 до 1, де 0 до 1 являє собою весь спектр можливих значень ефекту. Чи в цьому випадку 95% достовірний інтервал буде дорівнює довірчому інтервалу 95%?

— помодоро
джерело

23

Багато частотні інтервали довіри (КІ) засновані на функції ймовірності. Якщо попередній розподіл справді неінформативний, то байєсівський задник має по суті таку саму інформацію, як імовірність функції. Отже, на практиці інтервал ймовірностей Байєса (або достовірний інтервал) може бути дуже подібний чисельно до частотного інтервалу довіри. [Звичайно, навіть якщо чисельно схожі, існують філософські відмінності в інтерпретації між частотними та байєсівськими інтервальними оцінками.]

Ось простий приклад, оцінка вірогідності біноміального успіху Припустимо, маємо спостережень (випробувань) з успіхами. $\theta.$ $n = 100$ $X = 73$

Частота: традиційний інтервал Wald використовує оцінку точок І 95% CI має форму яка обчислює $\hat \theta = X/n = 73/100 = 0.73.$

\hat{θ} \pm 1.96 \sqrt{\frac{\hat{θ} (1 - \hat{θ})}{n}},

$\hat \theta \pm 1.96\sqrt{\frac{\hat \theta(1-\hat \theta)} {n}},$

(0.643, 0.817) .

$(0.643,\,0.817).$

n = 100;  x = 73;  th.w = x/n;  pm = c(-1,1)
ci.w = th.w + pm*1.96*sqrt(th.w*(1-th.w)/n);  ci.w
[1] 0.6429839 0.8170161

Ця форма CI передбачає, що відповідні біноміальні розподіли можна наблизити до нормальних і що похибка добре наближена до Зокрема, для малих ці припущення не повинні бути правдивими. [Випадки, коли або , особливо проблемні.] $\sqrt{\theta(1-\theta)/n}$ $\sqrt{\hat\theta(1-\hat\theta)/n}.$ $n,$ $X = 0$ $X = n$

Агресті-Коулл CI було показано , щоб мати більш точну вірогідність охоплення. Цей інтервал "додає два Успіх і два Невдачі" як хитрість, щоб отримати ймовірність покриття ближче до 95%. Починається з оцінки точки де Тоді 95% CI має форму що обчислюєДля та різниця між цими двома стилями довірчих інтервалів майже незначна. $\tilde \theta = (X+2)/\tilde n,$ $\tilde n + 4.$

\tilde{θ} \pm 1.96 \sqrt{\frac{\tilde{θ} (1 - \tilde{θ})}{\tilde{n}}},

$\tilde \theta \pm 1.96\sqrt{\frac{\tilde \theta(1-\tilde \theta)} {\tilde n}},$

(0.612, 0.792) .

$(0.612, 0.792).$

n > 100

$n > 100$

0.3 < \tilde{θ} < 0.7,

$0.3 < \tilde \theta < 0.7,$

ci.a = th.a + pm*1.96*sqrt(th.a*(1-th.a)/n);  ci.a
[1] 0.6122700 0.7915761

Байесян : Один популярний неінформативний попередник у цій ситуації -Функція ймовірності пропорційна Помноживши ядра на попередній та ймовірний, ми маємо ядро заднього розподілу $\mathsf{Beta}(1,1) \equiv \mathsf{Unif}(0,1).$ $\theta^x(1-\theta)^{n-x}.$ $\mathsf{Beta}(x+1,\, n-x+1).$

Потім для 95% байєсівського інтервалу для отримання квантилів 0,025 та 0,975 заднього розподілу отримують Коли попередній розподіл є "плоским" або "неінформативним", числова різниця між байєсівським інтервалом ймовірності та довірчим інтервалом Агресті-Кулла невелика. $(0.635, 0.807).$

qbeta(c(.025, .975), 74, 28)
[1] 0.6353758 0.8072313

Примітки: (a) У цій ситуації деякі байєси віддають перевагу неінформативним пріоритетам(b) Для рівнів довіри, відмінних від 95%, КІ угодах-кулл використовує дещо іншу бальну оцінку. (c) Для даних, окрім біноміальних, може бути відсутнім попередній "плоский", але можна вибрати попередній з величезною дисперсією (малою точністю), яка містить дуже мало інформації. (D) Для більш детального обговорення Агресті-Коулл КУ, графіки ймовірностей охоплення, а також деякі посилання, можливо , також побачити цей Q & A . $\mathsf{Beta}(.5, .5).$

— Брюсет
джерело

10

Відповідь BruceET відмінна, але досить довга, тому ось короткий практичний підсумок:

якщо пріор є плоским, вірогідність і задня частина мають однакову форму
інтервали, однак, не обов'язково однакові, оскільки вони побудовані по-різному. Стандартний байєсівський 90% ДІ охоплює центральні 90% заднього. Частістський ІП зазвичай визначається точково порівнянням (див. Відповідь Брюсе). Для необмеженого параметра розташування (наприклад, визначення середнього значення нормального розподілу) різниця зазвичай невелика, але якщо оцінити обмежений параметр (наприклад, біноміальне середнє), близький до меж (0/1), різниці можуть бути істотними.
Звичайно, інтерпретація теж різна, але я трактую питання головним чином як "коли значення будуть однаковими?"

— Флоріан Хартіг
джерело

9

Хоча можна вирішити заздалегідь, що дає надійний інтервал, що дорівнює частотному довірчому інтервалу, важливо усвідомити, наскільки вузька область застосування. Вся дискусія передбачає, що розмір вибірки був фіксованим і не є випадковою змінною. Він передбачає, що був лише один погляд на дані, і що послідовний висновок не робився. Він передбачає, що існувала лише одна залежна змінна, і жодні інші параметри не представляли інтересу. Там, де є множинність, байесівські та частофілістські інтервали розходяться (байєсівські задні ймовірності знаходяться в режимі прогнозування в прямому часі і не потрібно враховувати "як ми сюди потрапили", таким чином не мають можливості або необхідності коригування для декількох поглядів). В додаток,

— Френк Харрелл
джерело

Що означає бути в режимі прогнозування в прямому часі? Чому нам не потрібно враховувати ефекти вибору або кратності?

— badmax

1

Дивіться це . Подумайте про прогнозування переможця футбольного матчу в міру просування гри. Ваша поточна ймовірність того, що команда x виграє гру, може повністю ігнорувати минулі ваші прогнози. Але якщо ви працюєте в режимі частотистів, вам доведеться передбачати весь час, коли ваша команда програвала гру і враховувати крайні показники в усіх точках під час гри, які ви схильні прогнозувати. Множинність виникає з того, що ви надаєте дані, щоб вони були крайніми, і це лише в частотних формах.

— Френк Харрелл

6

Ймовірність байесівська з плоскою до $\neq$

Функція ймовірності та пов'язаний з нею довірчий інтервал не є такою ж (концепція), як байєсова задня ймовірність, побудована з попередньою, яка визначає рівномірний розподіл.

У частині 1 та 2 цієї відповіді аргументовано, чому ймовірність не слід розглядати як байєсівську задню ймовірність, засновану на плоскому попередньому.

У частині 3 наведено приклад, коли інтервал довіри та достовірний інтервал сильно різняться. Також зазначено, як виникає ця невідповідність.

1 Різна поведінка при перетворенні змінної

Імовірності трансформуються певним чином . Якщо ми знаємо розподіл ймовірності розподілу то ми також знаємо розподіл для змінної визначеної будь-якою функцією , відповідно до правила перетворення: $f_x(x)$ $f_\xi(\xi)$ $\xi$ $x=\chi(\xi)$

f_{ξ} (ξ) = f_{x} (χ (ξ)) \frac{d χ}{d ξ} d ξ

$f_\xi(\xi) = f_x(\chi(\xi)) \frac{d\chi}{d\xi} d\xi$

Якщо ви перетворите змінну, то середнє значення та режим можуть змінюватися через цю зміну функції розподілу. Це означає і . $\bar{x} \neq \chi(\bar{\xi})$ $x_{\max f(x)} \neq \chi(\xi_{\max f(\xi)})$

Функція ймовірності не трансформується таким чином . Це контрасти між функцією ймовірності та задньою ймовірністю. Функція (максимум) імовірності залишається такою ж, коли ви перетворюєте змінну.

L_{ξ} (ξ) = L_{x} (χ (ξ))

$\mathcal{L}_\xi(\xi) = \mathcal{L}_x(\chi(\xi))$

Пов'язані:

Пріоритет квартири неоднозначний . Це залежить від форми конкретної статистики.

Наприклад, якщо рівномірна розподілена (наприклад , то є НЕ однорідним розподіленим змінним. $X$ $\mathcal{U}(0,1))$ $X^2$

Не існує жодної квартири, до якої можна пов’язати функцію ймовірності. Це інакше, коли ви визначаєте плоскість до або якусь перетворену змінну, як . На ймовірність цієї залежності не існує. $X$ $X^2$
Межі ймовірностей (інтервали достовірності) будуть різними при перетворенні змінної (для функцій вірогідності це не так) . Наприклад, для деякого параметра і монотонного перетворення (наприклад, логарифму) ви отримуєте еквівалентні інтервали ймовірності $a$ $f(a)$
$\begin{array}{ccccc} a_{min} & < & a & < & a_{max} \\ f (a_{min}) & < & f (a) & < & f (a_{max}) \end{array}$ $\begin{array}{ccccc} a_{\min} &<& a &<& a_{\max}\\ f(a_{\min}) &<& f(a) &<& f(a_{\max}) \end{array}$

2 Різне поняття: довірчі інтервали не залежать від попереднього

Припустимо, ви вибираєте змінну із сукупності з (невідомим) параметром яка сама (популяція з параметром ) відбирається із суперпопуляції (з можливо різними значеннями для ). $X$ $\theta$ $\theta$ $\theta$

Можна зробити зворотне твердження намагається зробити висновок про те , що оригінал , можливо, був заснований на спостереження деяких значень для змінної . $\theta$ $x_i$ $X$

Баєсові методи роблять це, припускаючи попередній розподіл для розподілу можливих $\theta$
Це контрастує з функцією ймовірності та довірчим інтервалом, які не залежать від попереднього розподілу.

Інтервал довіри не використовує інформацію попереднього, як справжній інтервал (довіра не є ймовірністю).

Незалежно від попереднього розподілу (рівномірного чи ні) інтервал впевненості x% буде містити справжній параметр у випадків $x%$ (довірчі інтервали відносяться до рівня успішності, помилки типу I методу, а не до конкретного випадку) .

У випадку достовірного інтервалу ця концепція ( часу, коли інтервал містить істинний параметр), навіть не застосовується, але ми можемо інтерпретувати це в частому сенсі, і тоді ми спостерігаємо, що достовірний інтервал буде містити істинний параметр лише часу, коли (рівномірний) попередньо правильно описує сукупність параметрів, з якими ми можемо зіткнутися. Інтервал може бути ефективно вищим або нижчим, ніж х% (не те, що це має значення, оскільки байєсівський підхід відповідає на різні запитання, але варто лише зазначити різницю). $%$ $x%$

3 Різниця між достовірністю та достовірними інтервалами

У наведеному нижче прикладі ми розглядаємо функцію ймовірності експоненціального розподілу як функції параметра швидкості , середнього зразка та розміру вибірки : $\lambda$ $\bar{x}$ $n$

L (λ, \bar{x}, n) = \frac{n^{n}}{(n - 1)!} x^{n - 1} λ^{n} e^{- λ n \bar{x}}

$\mathcal{L}(\lambda,\bar{x},n) = \frac{n^n}{(n-1)!} x^{n-1} \lambda^n e^{-\lambda n \bar{x}}$

ця функція виражає ймовірність спостерігати (для заданого та ) середнього зразка між та . $n$ $\lambda$ $\bar{x}$ $\bar{x}+dx$

^{Примітка: параметр швидкості переходить від до (на відміну від "запиту" ОП від до ). Попередження в цьому випадку буде неналежним . Однак принципи не змінюються. Я використовую цю перспективу для простішої ілюстрації. Розподіл з параметрами між і часто є дискретними розподілами (важко малювати безперервні лінії) або бета-розподілом (важко обчислити) $\lambda$ $0$ $\infty$ $0$ $1$ $0$ $1$}

Наведене нижче зображення ілюструє цю функцію вірогідності (карта синього кольору) для розміру вибірки , а також малює межі для 95% інтервалів (як надійних, так і достовірних). $n=4$

Межі створюються при отриманні (одновимірної) функції кумулятивного розподілу. Але ця інтеграція / кумуляція може бути здійснена у двох напрямках .

Різниця між інтервалами виникає тому, що 5% площі зроблені різними способами.

Інтервал довіри 95% містить значення для яких спостережуване значення відбудеться принаймні у 95% випадків. Таким чином. незалежно від значення , ми зробили б неправильне судження лише в 95% випадків. $\lambda$ $\bar{x}$ $\lambda$

Для будь-якого ви маєте північ та південь від меж (змінюючи ) 2,5% від ваги функції ймовірності. $\lambda$ $\bar{x}$
95% достовірний інтервал містить значення які, швидше за все, спричиняють спостережуване значення (задане перед рівнем). $\lambda$ $\bar{x}$

Навіть коли спостережуваний результат становить менше 5%, ймовірний для даного , конкретна може знаходитися всередині достовірного інтервалу. У конкретному прикладі більш високі значення є "кращими" для достовірного інтервалу. $\bar{x}$ $\lambda$ $\lambda$ $\lambda$

Для будь-якого вас є захід і схід від меж (змінюючи ) 2,5% від ваги функції ймовірності. $\bar{x}$ $\lambda$

Випадок, коли інтервал довіри та достовірний інтервал (на основі неправильного попереднього) збігаються, - це для визначення середньої величини розподіленої змінної Гаусса (розподіл проілюстровано тут: https://stats.stackexchange.com/a/351333/164061 ).

Очевидний випадок, коли довірчий інтервал та достовірний інтервал не збігаються, проілюстровано тут ( https://stats.stackexchange.com/a/369909/164061 ). Інтервал довіри для цього випадку може мати один або навіть обидва (верхній / нижній) межі у нескінченності.

— Секст Емпірік
джерело

2

Не говоріть про те, чи містить достовірний інтервал справжній параметр. Надійний інтервал робить заяву про ймовірність. І х% для довірчого інтервалу потрібно згадати, що означає реплікація, тобто що таке "випадки".

— Френк Харрелл

Перша куля - чому деякі байєси віддають перевагу попередньому як згадується в примітці наприкінці моєї проблеми. // Інтервали Wald не забезпечують рекламованого рівня покриття через залучені наближення. (Не точно виходячи з вірогідності.)

B e t a (.5, .5)

$\mathsf{Beta}(.5, .5)$

— BruceET

Я не вірю, що я казав, що перед квартирою вірогідність є задньою, хоча це може бути так. Відповідно до написання відповіді на тому, що я мав би бути рівнем експертизи ОП, я намагався ретельно написати перший абзац своєї відповіді. Ви вважаєте, що те, що я сказав, насправді неправильне, чи ти кажеш, що воно може бути неправильно трактоване?

— BruceET

1

Це, як правило, не відповідає дійсності, але це може здатися так через особливі випадки, що найчастіше розглядаються.

РозглянемоІнтервал - це довірчий інтервал для хоч і не той, який використовував би хтось із здоровим глуздом. Це не збігається з достовірним інтервалом від заднього від плоского до. $X,Y\sim\operatorname{i.i.d}\sim\operatorname{Uniform}[\theta-1/2,\, \theta+1/2].$ $\big(\min\{X,Y\},\max\{X,Y\}\big)$ $50\%$ $\theta,$ $50\%$

Техніка кондиціонування Фішера на допоміжній статистиці в цьому випадку дає інтервал довіри, який збігається з цим достовірним інтервалом.

— Майкл Харді
джерело

0

З моменту свого читання, я вважав, що це твердження є правдивим асимптотично, тобто для великого розміру вибірки, і якщо використовується попередній неінформативний характер.

Простий числовий приклад, мабуть, підтверджує це - максимальні вірогідності інтервалів 90% та 90% достовірні інтервали ML біноміального GLM та байєсової біномальної GLM насправді практично однакові n=1000, хоча розбіжність для малих зростатиме n:

# simulate some data
set.seed(123)
n = 1000                     # sample size
x1 = rnorm(n)                # two continuous covariates 
x2 = rnorm(n)
z = 0.1 + 2*x1 + 3*x2        # predicted values on logit scale
y = rbinom(n,1,plogis(z))    # bernoulli response variable
d = data.frame(y=y, x1=x1, x2=x2)

# fit a regular GLM and calculate 90% confidence intervals
glmfit = glm(y ~ x1 + x2, family = "binomial", data = d)
library(MASS)
# coefficients and 90% profile confidence intervals :
round(cbind(coef(glmfit), confint(glmfit, level=0.9)), 2) 
#                      5 % 95 %
#   (Intercept) 0.00 -0.18 0.17
# x1            2.04  1.77 2.34
# x2            3.42  3.05 3.81

# fit a Bayesian GLM using rstanarm
library(rstanarm)
t_prior = student_t(df = 3, location = 0, scale = 100) # we set scale to large value to specify an uninformative prior
bfit1 = stan_glm(y ~ x1 + x2, data = d, 
                 family = binomial(link = "logit"), 
                 prior = t_prior, prior_intercept = t_prior,  
                 chains = 1, cores = 4, seed = 123, iter = 10000)
# coefficients and 90% credible intervals :
round(cbind(coef(bfit1), posterior_interval(bfit1, prob = 0.9)), 2) 
#                        5%  95%
#   (Intercept) -0.01 -0.18 0.17
# x1             2.06  1.79 2.37
# x2             3.45  3.07 3.85


# fit a Bayesian GLM using brms
library(brms)
priors = c(
  prior(student_t(3, 0, 100), class = "Intercept"),
  prior(student_t(3, 0, 100), class = "b")
)
bfit2 = brm(
  y ~ x1 + x2,
  data = d,
  prior = priors,
  family = "bernoulli",
  seed = 123 
) 
# coefficients and 90% credible intervals :
summary(bfit2, prob=0.9)
# Population-Level Effects: 
#           Estimate Est.Error l-90% CI u-90% CI Eff.Sample Rhat
# Intercept    -0.01      0.11    -0.18     0.18       2595 1.00
# x1            2.06      0.17     1.79     2.35       2492 1.00
# x2            3.45      0.23     3.07     3.83       2594 1.00


# fit a Bayesian GLM using arm
library(arm)
# we set prior.scale to Inf to specify an uninformative prior
bfit3 = bayesglm(y ~ x1 + x2, family = "binomial", data = d, prior.scale = Inf) 
sims = coef(sim(bfit3, n.sims=1000000))
# coefficients and 90% credible intervals :
round(cbind(coef(bfit3), t(apply(sims, 2, function (col) quantile(col,c(.05, .95))))),2)
#                       5%  95%
#   (Intercept) 0.00 -0.18 0.17
# x1            2.04  1.76 2.33
# x2            3.42  3.03 3.80

Як ви бачите, у наведеному вище прикладі для n=1000, 90% довірчі інтервали профілів біноміального GLM практично ідентичні 90% достовірним інтервалам байєсівського двочленного GLM (різниця також у межах використання різних насіння та різних n ітерацій байєсівських припадків, і точної еквівалентності також не можна отримати, оскільки вказівка 100% неінформативного попереднього також неможлива з rstanarmабо brms).

— Том Венсельєр
джерело

Якщо достовірний інтервал має рівний попередній рівень, чи дорівнює 95% довірчий інтервал, рівний 95% достовірному інтервалу?

Ймовірність байесівська з плоскою до≠≠\neq

1 Різна поведінка при перетворенні змінної

2 Різне поняття: довірчі інтервали не залежать від попереднього

3 Різниця між достовірністю та достовірними інтервалами

Ймовірність байесівська з плоскою до $\neq$