Чи обчислення "фактичної ймовірності покриття" те саме, що обчислення "достовірного інтервалу"?

10

Я читав підручник зі статистикою початкового рівня. У главі про максимальну оцінку ймовірності частки успішності в даних з біноміальним розподілом було дано формулу для обчислення довірчого інтервалу, а потім нестандартно згадується

Розглянемо його фактичну ймовірність покриття, тобто ймовірність того, що метод виробляє інтервал, який фіксує справжнє значення параметра. Це може бути трохи менше, ніж номінальне значення.

Далі йде пропозиція побудувати альтернативний "інтервал довіри", який, імовірно, містить фактичну ймовірність покриття.

Я вперше зіткнувся з ідеєю номінальної та фактичної ймовірності покриття. Пробиваючись тут через старі питання, я думаю, що я зрозумів це: є два різні поняття, які ми називаємо ймовірними, перше - наскільки ймовірним є те, що ще не відбулася подія дасть певний результат, а друга наскільки правдоподібним є те, що правда здогадка агента, що спостерігає, про результат вже відбулася події. Також здавалося, що довірчі інтервали вимірюють лише перший тип ймовірності, а те, що називається "достовірні інтервали" вимірюють другий тип ймовірності. Я коротко припустив, що довірчі інтервали - це ті, які обчислюють "номінальну ймовірність покриття", а достовірні інтервали - це ті, які охоплюють "фактичну ймовірність покриття".

Але, можливо, я неправильно трактував книгу (не зовсім зрозуміло, чи різні методи обчислення, які вона пропонує, для довірчого інтервалу та достовірного інтервалу, або для двох різних типів інтервалу довіри), або інших джерел, до яких я приходив моє теперішнє розуміння. Особливо коментар, який я отримав з іншого питання,

Інтервали довіри для частолістських, достовірних для байесів

змусив мене сумніватися у своїх висновках, оскільки книга не описувала байєсівський метод у цій главі.

Тому, будь ласка, уточніть, чи правильно я розумію, чи я допустив логічну помилку в дорозі.

confidence-interval terminology coverage-probability

— румчо
джерело

Номінальна ймовірність покриття - це "цільова" ймовірність покриття: та, яку ми намагаємося досягти, коли ми отримуємо метод, що забезпечує інтервал довіри. Фактичне покриття - це "справжнє" покриття. Деякі люди кажуть, що довірчий інтервал є точним, коли фактичне покриття дорівнює номінальному. Scotchi та Unwisdom згадували, що інтервал довіри ніколи не є точним для дискретних даних. Інший приклад - коли ми використовуємо асимптотичний довірчий інтервал: він точний лише тоді, коли

n \to \infty

$n \to \infty$ . Я повністю розумію вашу ідею, оскільки "фактичний" також є синонімом "присутній".

— Stéphane Laurent

5

Загалом, реальна ймовірність покриття ніколи не буде дорівнює номінальній ймовірності, коли ви працюєте з дискретним розподілом.

Довірчий інтервал визначається як функція даних. Якщо ви працюєте з біноміальним розподілом, можливі лише кінцеві результати ( $n+1$ якщо бути точним), тож існує лише кінцево багато можливих довірчих інтервалів. Оскільки параметр $p$ є безперервним, досить легко зрозуміти, що ймовірність покриття (що є функцією $p$ ) не може бути кращим, ніж приблизно 95% (або що завгодно).

Загалом вірно, що методи, засновані на CLT, матимуть ймовірність покриття нижче номінального значення, але інші методи насправді можуть бути більш консервативними.

— Немудрість
джерело

1

Ось корисне формальне твердження визначення: Дано пробний простір

⟨ Ω, F, P ⟩

$\langle\Omega,\mathcal{F},P\rangle$ і невідомий параметр

θ

$\theta$ , а

1 - α

$1-\alpha$ Процедура довіри складається з пари функцій

L \leq U : Ω \to R

$L\leq U:\Omega\to\mathbb{R}$ такий як

P [{ω \in Ω | [L (ω), U (ω)] ∋ θ}] \approx 1 - α .

$P\big[\left\{\omega\in\Omega\vert [L(\omega),U(\omega)]\ni\theta\right\}\big]\approx 1-\alpha.$ Ліва частина цього виразу - це

coverage probability

$\textit{coverage probability}$ (зауважте, що це залежить від θ), а РЗС - номінальний рівень довіри . Якщо мінімальний (понад

Ω

$\Omega$ ) LHS дорівнює RHS, тоді процедура є точною .

— Мудрість

8

Це не має нічого спільного з достовірними інтервалами Байєса і часто-часто довірчими інтервалами. Інтервал довіри 95% (скажімо) визначається як такий, що дає принаймні 95% покриття незалежно від справжнього значення параметра $\pi$ . Отже, коли номінальне покриття становить 95%, фактичне покриття може становити 97%, коли $\pi=\pi_1$ , 96,5% коли $\pi=\pi_2$ , але без значення $\pi$ це менше 95%. Проблема (тобто невідповідність між номінальним та фактичним покриттям) виникає при дискретних розподілах, таких як двочлен.

В якості ілюстрації розгляньте спостереження $x$ успіхи від $n$ біноміальні випробування з невідомою ймовірністю успіху $\pi$ :

\begin{array}{ccc} x & π_{U} & Pr (X = x | π = 0.7) & I (π_{U} \leq 0.7) \\ 0 & 0.3930378 & 0.000729 & 0 \\ 1 & 0.5818034 & 0.010206 & 0 \\ 2 & 0.7286616 & 0.059535 & 1 \\ 3 & 0.8468389 & 0.185220 & 1 \\ 4 & 0.9371501 & 0.324135 & 1 \\ 5 & 0.9914876 & 0.302526 & 1 \\ 6 & 1.0000000 & 0.117649 & 1 \end{array}

$\begin{array}{c,c,c} x & \pi_\mathrm{U} & \Pr(X= x | \pi=0.7) & I(\pi_\mathrm{U}\leq 0.7)\\ 0 & 0.3930378 & 0.000729 & 0\\ 1 & 0.5818034 & 0.010206 & 0\\ 2 & 0.7286616 & 0.059535 & 1\\ 3 & 0.8468389 & 0.185220 & 1\\ 4 & 0.9371501 & 0.324135 & 1\\ 5 & 0.9914876 & 0.302526 & 1\\ 6 & 1.0000000 & 0.117649 & 1\\ \end{array}$ Перший стовпець показує можливі спостережувані значення . Другий показує точну ^† верхню ^‡ впевнену межу яку ви обчислили б у кожному випадку. Тепер припустимо, : третій стовпець показує ймовірність кожного спостережуваного значення за цим припущенням; четвертий показує, для яких випадків обчислений довірчий інтервал охоплює справжнє значення параметра, позначаючи їх значенням . Якщо ви ймовірності для випадків, коли інтервал довіри покриває справжнє значення, ви отримаєте фактичне покриття . Для різних істинних значень

x

$x$

95 %

$95\%$

π_{U} = π : [Pr (X > x | π) = 0.95]

$\pi_\mathrm{U} =\pi: [\Pr(X>x | \pi)=0.95]$

π = 0.7

$\pi=0.7$

x

$x$

1

$1$

0.989065

$0.989065$

π

$\pi$ , фактичне покриття буде різним:

покриття

Номінальне покриття досягається лише тоді, коли справжні значення параметрів збігаються з доступними верхніми межами.

[Я щойно перечитав ваше запитання і помітив, що автор каже, що фактична може бути меншою, ніж номінальна ймовірність покриття. Тож я вважаю, що вони говорять про приблизний метод обчислення довірчого інтервалу, хоча те, що я сказав вище, все ще йде. Графік може запропонувати повідомити про середній рівень довіри близько але - усереднення за значеннями невідомого параметра?] $98\%$

† Точне в тому сенсі, що фактичне покриття ніколи не менше номінального покриття для будь-якого значення , & рівне йому для деяких значень - @ Почуття Мудрості, а не Стефана. $\pi$ $\pi$

‡ частіше використовуються інтервали з верхніми та нижніми межами; але трохи складніше пояснити, і є лише один точний інтервал, який слід розглядати лише з верхньою межею. (Див. Блейкер (2000), "Криві довіри та покращені точні довірчі інтервали для дискретних розподілів", Канадський журнал статистики , 28 , 4 та посилання).

— Скорчі - Відновлення Моніки
джерело

Дякую за відповідь. Тепер, коли я знаю, яка фактична ймовірність покриття, чи маєте ви здогад, чому користувач у цьому запитанні надіслав запитання, що пояснюють різницю між достовірними та довірчими інтервалами? Тут я взяв думку про те, що фактична / номінальна проблема покриття. подвійність пов'язана. stats.stackexchange.com/questions/63922/…

— rumtscho

Можливо, тому, що ОП дає лише посилання на те, де він бачив терміни "номінальне" та "фактичне" (а не узагальнення чи цитування з нього в питанні, як ви це робили), а потім присвячує решту свого питання своєму неправильному тлумаченню їх використання в цьому контексті.

— Scortchi

2

Я думаю, що різниця насправді полягає у використанні наближень, зроблених при обчисленні довірчих інтервалів. Наприклад, якщо ми використовуємо досить стандартний CI

estimate \pm 1.96 \times estimated standard error

$\text{estimate}\pm 1.96 \times \text {estimated standard error}$

Ми можемо називати це "95% довірчим інтервалом". Однак, як правило, тут робиться кілька наближень. Якщо ми не зробимо наближення, ми можемо обчислити фактичне покриття. Типова ситуація знаходиться під оцінкою стандартної помилки. Тоді інтервали занадто вузькі, щоб захопити справжнє значення з 95% вірогідністю. Вони можуть фіксувати справжнє значення лише з імовірністю сказати 85%. Вірогідність "фактичного покриття" може бути розрахована за допомогою моделювання монте-карло якогось типу (наприклад, генеруйте наборів даних вибірки, використовуючи вибране справжнє значення, потім обчисліть 95% ІС для кожного та виявіть, що насправді містило справжнє значення). $1000$ $850$

— ймовірністьіслогічна
джерело