Оновлення : Користуючись кількома роками заднім числом, я відповів на подібне запитання щодо більш короткого розгляду по суті того ж матеріалу.
Як побудувати регіон довіри
Почнемо із загального методу побудови регіонів довіри. Його можна застосувати до одного параметра, щоб отримати довірчий інтервал або набір інтервалів; і його можна застосувати до двох або більше параметрів, щоб отримати більш домірні області довіри.
Ми стверджуємо, що спостережувана статистика DD походить від розподілу з параметрами θθ , а саме вибіркового розподілу s ( d | θ )s(d|θ) над можливою статистикою dd , і шукаємо область довіри для θθ у наборі можливих значень ΘΘ . Визначте область найвищої щільності (HDR): hh -HDR PDF - найменша підмножина його домену, яка підтримує ймовірність hh . Позначимо hh -HDR of s ( d | ψ )s(d|ψ) як H ψHψ , для будь-якого ψ∈ Θψ∈Θ . Тодіобластю hh довіри для θθ , заданих даними DD , є множина C D = { ϕ : D ∈ H ϕ }CD={ϕ:D∈Hϕ} . Типове значення hh було б 0,95.
Часте тлумачення
З попереднього визначення області довіри випливає
d ∈ H ψ ⟷ ψ ∈ C dd∈Hψ⟷ψ∈Cd
з C d = { ϕ : d ∈ H ϕ }Cd={ϕ:d∈Hϕ} . Тепер уявіть собі великий набір ( уявні ) спостереження { D я }{Di} , взятий при аналогічних обставинах DD . тобто Вони є зразками з s ( d | θ )s(d|θ) . Оскільки H θHθ підтримує масу ймовірності hh у форматі PDF s( d | θ )s(d|θ) , P (D i ∈ H θ ) = hP(Di∈Hθ)=h D i також h . для всіх ii . Тому частка { D i },{Di} для якої D i ∈ H θ,Di∈Hθ є hh . І так, використовуючи вищезрівняність, частка { D i },{Di} для якої θ ∈ Cθ∈CDih
Це те, про що часто заявляють претензії на hобласть довіри h для θθ становить:
Візьме велика кількість уявних спостережень { D я }{Di} від вибіркового розподілу сек ( д | & thetas )s(d|θ) , що призвело до спостерігається статистикою DD . Тоді θθ лежить в межах частки hh аналогічних, але уявних областей довіри { C D i }{CDi} .
Отже, область довіри C DCD не заявляє про ймовірність того, що θθ лежить десь! Причина полягає просто в тому, що у формуванні немає нічого, що дозволяє говорити про розподіл ймовірностей по θθ . Інтерпретація - це лише розроблена надбудова, яка не покращує базу. Основою є лише s ( d | θ )s(d|θ) і DD , де θθ не відображається як розподілена кількість, і немає інформації, яку ми могли б використати для вирішення цього питання. В основному є два способи отримати розподіл по θθ :
- Призначте розповсюдження безпосередньо з відомостей: p ( θ | I )p(θ|I) .
- Відносіть θθ до іншої розподіленої величини: p ( θ | I ) = ∫ p ( θ x | I ) d x = ∫ p ( θ | x I ) p ( x | I ) d xp(θ|I)=∫p(θx|I)dx=∫p(θ|xI)p(x|I)dx .
В обох випадках десь десь з’явиться θθ зліва. Часто лікарі не можуть використовувати жоден метод, оскільки вони обидва вимагають єретичного попереднього.
Баєсійський вид
Найбільш байесовский може зробити з чh довірчої області З DCD , заданої без кваліфікації, це просто пряма інтерпретація: що це безліч фϕ , для яких DD падає в чh -HDR Н φHϕ вибіркового розподілу сек ( д | ϕ )s(d|ϕ) . Це не обов'язково говорить нам багато про θθ , і ось чому.
Ймовірність того, що θ ∈ C Dθ∈CD , заданий DD і довідкова інформація II , становить:
P ( θ ∈ C D | D I )= ∫ C D p ( θ | D I ) d θ= ∫ C D p ( D | θ I ) p ( θ | I )p ( D | I ) dθP(θ∈CD|DI)=∫CDp(θ|DI)dθ=∫CDp(D|θI)p(θ|I)p(D|I)dθ
Зауважте, що, на відміну від частої інтерпретації, ми негайно вимагали розподілу поθθ. Довідкова інформація, якуяI, як і раніше, повідомляє нам, що розподіл вибірки -s(d|θ)s(d|θ):
P(θ∈CD|DI)= ∫ C D s ( D | θ ) p ( θ | I )p ( D | I ) dθ=∫CDs(D|θ)p(θ|I)dθp(D|I)i.e.P(θ∈CD|DI)=∫CDs(D|θ)p(θ|I)dθ∫s(D|θ)p(θ|I)dθP(θ∈CD|DI)i.e.P(θ∈CD|DI)=∫CDs(D|θ)p(θ|I)p(D|I)dθ=∫CDs(D|θ)p(θ|I)dθp(D|I)=∫CDs(D|θ)p(θ|I)dθ∫s(D|θ)p(θ|I)dθ
Now this expression does not in general evaluate to hh, which is to say, the hh confidence region CDCD does not always contain θθ with probability hh. In fact it can be starkly different from hh. There are, however, many common situations in which it does evaluate to hh, which is why confidence regions are often consistent with our probabilistic intuitions.
For example, suppose that the prior joint PDF of dd and θθ is symmetric in that pd,θ(d,θ|I)=pd,θ(θ,d|I)pd,θ(d,θ|I)=pd,θ(θ,d|I). (Clearly this involves an assumption that the PDF ranges over the same domain in dd and θθ.) Then, if the prior is p(θ|I)=f(θ)p(θ|I)=f(θ), we have s(D|θ)p(θ|I)=s(D|θ)f(θ)=s(θ|D)f(D)s(D|θ)p(θ|I)=s(D|θ)f(θ)=s(θ|D)f(D). Hence
P(θ∈CD|DI)=∫CDs(θ|D)dθ∫s(θ|D)dθi.e.P(θ∈CD|DI)=∫CDs(θ|D)dθP(θ∈CD|DI)i.e.P(θ∈CD|DI)=∫CDs(θ|D)dθ∫s(θ|D)dθ=∫CDs(θ|D)dθ
From the definition of an HDR we know that for any ψ∈Θψ∈Θ
∫Hψs(d|ψ)dd=hand therefore that∫HDs(d|D)dd=hor equivalently∫HDs(θ|D)dθ=h∫Hψs(d|ψ)ddand therefore that∫HDs(d|D)ddor equivalently∫HDs(θ|D)dθ=h=h=h
Therefore, given that s(d|θ)f(θ)=s(θ|d)f(d)s(d|θ)f(θ)=s(θ|d)f(d), CD=HDCD=HD implies P(θ∈CD|DI)=hP(θ∈CD|DI)=h. The antecedent satisfies
CD=HD⟷∀ψ[ψ∈CD↔ψ∈HD]CD=HD⟷∀ψ[ψ∈CD↔ψ∈HD]
Applying the equivalence near the top:
CD=HD⟷∀ψ[D∈Hψ↔ψ∈HD]CD=HD⟷∀ψ[D∈Hψ↔ψ∈HD]
Thus, the confidence region CDCD contains θθ with probability hh if for all possible values ψψ of θθ, the hh-HDR of s(d|ψ)s(d|ψ) contains DD if and only if the hh-HDR of s(d|D)s(d|D) contains ψψ.
Now the symmetric relation D∈Hψ↔ψ∈HDD∈Hψ↔ψ∈HD is satisfied for all ψψ when s(ψ+δ|ψ)=s(D−δ|D)s(ψ+δ|ψ)=s(D−δ|D) for all δδ that span the support of s(d|D)s(d|D) and s(d|ψ)s(d|ψ). We can therefore form the following argument:
- s(d|θ)f(θ)=s(θ|d)f(d)s(d|θ)f(θ)=s(θ|d)f(d) (premise)
- ∀ψ∀δ[s(ψ+δ|ψ)=s(D−δ|D)]∀ψ∀δ[s(ψ+δ|ψ)=s(D−δ|D)] (premise)
- ∀ψ∀δ[s(ψ+δ|ψ)=s(D−δ|D)]⟶∀ψ[D∈Hψ↔ψ∈HD]∀ψ∀δ[s(ψ+δ|ψ)=s(D−δ|D)]⟶∀ψ[D∈Hψ↔ψ∈HD]
- ∴∀ψ[D∈Hψ↔ψ∈HD]∴∀ψ[D∈Hψ↔ψ∈HD]
- ∀ψ[D∈Hψ↔ψ∈HD]⟶CD=HD∀ψ[D∈Hψ↔ψ∈HD]⟶CD=HD
- ∴CD=HD∴CD=HD
- [s(d|θ)f(θ)=s(θ|d)f(d)∧CD=HD]⟶P(θ∈CD|DI)=h[s(d|θ)f(θ)=s(θ|d)f(d)∧CD=HD]⟶P(θ∈CD|DI)=h
- ∴P(θ∈CD|DI)=h∴P(θ∈CD|DI)=h
Let's apply the argument to a confidence interval on the mean of a 1-D normal distribution (μ,σ)(μ,σ), given a sample mean ˉxx¯ from nn measurements. We have θ=μθ=μ and d=ˉxd=x¯, so that the sampling distribution is
s(d|θ)=√nσ√2πe−n2σ2(d−θ)2s(d|θ)=n−−√σ2π−−√e−n2σ2(d−θ)2
Suppose also that we know nothing about θθ before taking the data (except that it's a location parameter) and therefore assign a uniform prior: f(θ)=kf(θ)=k. Clearly we now have s(d|θ)f(θ)=s(θ|d)f(d)s(d|θ)f(θ)=s(θ|d)f(d), so the first premise is satisfied. Let s(d|θ)=g((d−θ)2)s(d|θ)=g((d−θ)2). (i.e. It can be written in that form.) Then
s(ψ+δ|ψ)=g((ψ+δ−ψ)2)=g(δ2)ands(D−δ|D)=g((D−δ−D)2)=g(δ2)so that∀ψ∀δ[s(ψ+δ|ψ)=s(D−δ|D)]s(ψ+δ|ψ)=g((ψ+δ−ψ)2)=g(δ2)ands(D−δ|D)=g((D−δ−D)2)=g(δ2)so that∀ψ∀δ[s(ψ+δ|ψ)=s(D−δ|D)]
whereupon the second premise is satisfied. Both premises being true, the eight-point argument leads us to conclude that the probability that θθ lies in the confidence interval CDCD is hh!
We therefore have an amusing irony:
- The frequentist who assigns the hh confidence interval cannot say that P(θ∈CD)=hP(θ∈CD)=h, no matter how innocently uniform θθ looks before incorporating the data.
- The Bayesian who would not assign an hh confidence interval in that way knows anyhow that P(θ∈CD|DI)=hP(θ∈CD|DI)=h.
Final Remarks
We have identified conditions (i.e. the two premises) under which the hh confidence region does indeed yield probability hh that θ∈CDθ∈CD. A frequentist will baulk at the first premise, because it involves a prior on θθ, and this sort of deal-breaker is inescapable on the route to a probability. But for a Bayesian, it is acceptable---nay, essential. These conditions are sufficient but not necessary, so there are many other circumstances under which the Bayesian P(θ∈CD|DI)P(θ∈CD|DI) equals hh. Equally though, there are many circumstances in which P(θ∈CD|DI)≠hP(θ∈CD|DI)≠h, especially when the prior information is significant.
We have applied a Bayesian analysis just as a consistent Bayesian would, given the information at hand, including statistics DD. But a Bayesian, if he possibly can, will apply his methods to the raw measurements instead---to the {xi}{xi}, rather than ˉxx¯. Oftentimes, collapsing the raw data into summary statistics DD destroys information in the data; and then the summary statistics are incapable of speaking as eloquently as the original data about the parameters θθ.