Інтервали прогнозування та толерантності

У мене є пара запитань щодо прогнозування та інтервалів допуску.

Давайте погодимось спочатку з визначенням інтервалів допусків: нам дають рівень довіри, скажімо, 90%, відсоток населення, який охоплює, скажімо, 99%, і розмір вибірки, скажімо 20. Розподіл ймовірностей відомий, скажімо, нормальний для зручності. Тепер, з огляду на три вищенаведені числа (90%, 99% та 20) та той факт, що базовий розподіл є нормальним, ми можемо обчислити число допуску . З огляду на вибірку із середнім та стандартним відхиленням , інтервал допуску становить . Якщо цей інтервал толерантності охоплює 99% населення, то вибірка називається успішною $k$ $(x_1,x_2,\ldots,x_{20})$ $\bar{x}$ $s$ $\bar{x}\pm ks$ $(x_1,x_2,\ldots,x_{20})$ і вимога полягає в тому, що 90% зразків є успіхами .

Коментар: 90% - це апріорна ймовірність успіху вибірки. 99% - це умовна ймовірність того, що майбутнє спостереження буде знаходитись в інтервалі допуску, враховуючи, що вибірка є успішною.

Мої запитання: Чи можна розглядати інтервали прогнозування як інтервали допуску? Дивлячись в Інтернеті, я отримав суперечливі відповіді на це, не кажучи вже про те, що ніхто насправді ретельно не визначав інтервали прогнозування. Отже, якщо у вас є чітке визначення інтервалу прогнозування (або посилання), я би вдячний.

Я зрозумів, що, наприклад, інтервал прогнозування 99% не охоплює 99% усіх майбутніх значень для всіх зразків. Це було б те саме, що інтервал допуску, який захоплює 99% населення зі 100% вірогідністю.

У визначеннях, які я знайшов для інтервалу прогнозування 90%, 90% - це апріорна ймовірність даної вибірки, скажімо, (розмір фіксований) та єдине майбутнє спостереження , що буде в інтервалі прогнозування Отже, схоже, що і вибірку, і майбутнє значення дають одночасно, на відміну від інтервалу допуску, де дана вибірка і з певною вірогідністю є успішною , і за умови, що вибірка є успіх $(x_1,x_2,\ldots,x_{20})$ $y$ $y$ , задається майбутнє значення і з певною вірогідністю потрапляє в інтервал допуску. Я не впевнений, чи є правильним наведене вище визначення інтервалу прогнозування, але це здається контрінтуїтивним (принаймні).

Будь-яка допомога?

prediction prediction-interval tolerance-interval

— Іоаніс Солдатос
джерело

Односторонні інтервали допуску для звичайного відбору проб можуть допомогти зрозуміти це поняття. Верхня межа толерантності - це не що інше, як верхня межа довіри з -квантилу передбачуваного розподілу моделі. Тому у випадку нормального розподілу це верхня межа довіри параметра де становить від стандартного гауссового розподілу.

99 %

$99\%$

99 %

$99\%$

μ + k σ

$\mu + k\sigma$

k = z_{99 %}

$k=z_{99\%}$

99 %

$99\%$

— Стефан Лоран

Це хороше переформулювання, Стефане, тому що воно відразу ж показує, що існує кілька видів меж допуску: можна попросити верхню межу довіри на , для нижньої межі довіри на або для (скажімо) неупередженої оцінки цього параметра. Усі три в літературі називаються "межами толерантності".

μ + z_{0.99} σ

$\mu + z_{0.99}\sigma$

μ + z_{0.99} σ

$\mu + z_{0.99}\sigma$

— whuber

Думаю, ви скоріше хотіли сказати нижню межу довіри на ?

μ - z_{0.99} σ

$\mu - z_{0.99}\sigma$

— Стефан Лоран

Насправді ні, Stéphane (саме тому я подбав про повторення формули для параметра). Існують також три подібні визначення для нижньої межі допуску. Наприклад, ми могли б під -Оцінку верхньої 99 - й процентиль населення, але контролювати кількість недооцінки ми наполягаємо там бути (скажімо) на 5% ймовірність того, що наша занижена ще буде занадто високою. Це дозволить нам сказати такі речі, як "Дані показують, з 95% впевненістю, що 99-й відсоток населення перевищує таке і таке значення".

— whuber

Відповіді:

Ваші визначення здаються правильними.

Книга консультуйтеся цих питаннях Інтервали статистичний (Gerald Hahn & William Meeker), 1991. Я цитую:

Інтервал прогнозування для одного майбутнього спостереження - це інтервал, який з визначеним ступенем впевненості буде містити наступне (або якесь інше заздалегідь визначене) випадкове обране спостереження з популяції.

[A] Інтервал допуску - це інтервал, на який можна стверджувати, що містить хоча б певну частку, p , населення з визначеним ступенем впевненості, . $100(1-\alpha)\%$

Ось перекази в стандартній математичній термінології. Нехай дані вважаються реалізацією незалежних випадкових величин із загальною функцією кумулятивного розподілу . ( з'являється як нагадування про те, що може бути невідомим, але вважається, що він лежить у заданому наборі розподілів ). Нехай - ще одна випадкова величина з тим же розподілом і незалежна від перших змінних. $\mathbf{x}=(x_1,\ldots,x_n)$ $\mathbf{X}=(X_1,\ldots,X_n)$ $F_\theta$ $\theta$ $F$ ${F_\theta \vert \theta \in \Theta}$ $X_0$ $F_\theta$ $n$

Інтервал передбачення (для одного спостереження в майбутньому), визначається кінцевими точками , має визначальне властивість, $[l(\mathbf{x}), u(\mathbf{x})]$

$inf_{θ} {{Pr}_{θ} (X_{0} \in [l (X), u (X)])} = 100 (1 - α) % .$ $\inf_\theta\{{\Pr}_\theta(X_0 \in [l(\mathbf{X}), u(\mathbf{X})])\}= 100(1-\alpha)\%.$
Зокрема, посилається на розподіл змінних визначений законом . Зверніть увагу на відсутність будь-яких умовних ймовірностей: це повна спільна ймовірність. Зауважте також, відсутність будь-яких посилань на тимчасову послідовність: дуже добре може спостерігатися в часі перед іншими значеннями. Це не має значення. ${\Pr}_\theta$ $n+1$ $(X_0, X_1, \ldots, X_n)$ $F_\theta$ $X_0$

Я не впевнений, який із аспектів цього може бути "контрінтуїтивним". Якщо ми бачимо вибір статистичної процедури як діяльності, яку слід здійснювати до збору даних, то це природна і розумна постановка запланованого двоступеневого процесу, оскільки обидва дані ( ) і "майбутнє значення" потрібно моделювати як випадкове. $X_i, i=1,\ldots,n$ $X_0$
Інтервал допуску, визначається кінцевими точками , має визначальне властивість , що $(L(\mathbf{x}), U(\mathbf{x})]$

$inf_{θ} {{Pr}_{θ} (F_{θ} (U (X)) - F_{θ} (L (X)) \geq p)} = 100 (1 - α) % .$ $\inf_\theta\{{\Pr}_\theta\left(F_\theta(U(\mathbf{X})) - F_\theta(L(\mathbf{X})\right) \ge p)\} = 100(1-\alpha)\%.$
Зверніть увагу на відсутність будь-яких посилань на : він не грає ніякої ролі. $X_0$

Коли є набором нормальних розподілів, існують інтервали передбачення форми $\{F_\theta\}$

l (x) = \bar{x} - k (α, n) s, u (x) = \bar{x} + k (α, n) s

$l(\mathbf{x}) = \bar{x} - k(\alpha, n) s, \quad u(\mathbf{x}) = \bar{x} + k(\alpha, n) s$

( - середня вибірка, - стандартне відхилення вибірки). Значення функції , які Хан і Мекер складають, не залежать від даних . Існують і інші інтервали прогнозування, навіть у звичайному випадку: це не єдині. $\bar{x}$ $s$ $k$ $\mathbf{x}$

Так само існують інтервали допуску форми

L (x) = \bar{x} - K (α, n, p) s, U (x) = \bar{x} + K (α, n, p) s .

$L(\mathbf{x}) = \bar{x} - K(\alpha, n, p) s, \quad U(\mathbf{x}) = \bar{x} + K(\alpha, n, p) s.$

Існують інші процедури інтервалу допуску : це не єдині.

Зазначаючи подібність цих пар формул, ми можемо вирішити рівняння

k (α, n) = K (α^{'}, n, p) .

$k(\alpha, n) = K(\alpha', n, p).$

Це дозволяє інтерпретувати інтервал прогнозування як інтервал допуску (різними можливими способами, змінюючи і ) або повторно інтерпретувати інтервал допуску як інтервал передбачення (тільки зараз зазвичай однозначно визначається і ). Це може бути одним із джерел плутанини. $\alpha'$ $p$ $\alpha$ $\alpha'$ $p$

— дзижчати
джерело

Плутанина між цими інтервалами реальна. Десять років тому я мав кілька складних розмов з державним статистиком, який не знав різниці і (вірулентно) не зміг визнати, що існує. Її помітна роль у створенні керівництва, перегляді звітів, консультуванні працівників справи, розповсюдженні програмного забезпечення та навіть рецензованій публікації сприяла продовженню цих помилок. Тож будьте обережні!

— whuber

Дуже приємна відповідь, дякую. У мене було серце деяких статистиків, які говорять, що інтервал прогнозування є інтервалом допуску з . Чи є за цією ідеєю справжній факт? Іншими словами, чи правда, що , чи щось подібне?

p = 50 %

$p=50\%$

k (α, n) = K (α, n, 0.5)

$k(\alpha,n)=K(\alpha,n,0.5)$

— Стефан Лоран

Ні, це неправда @ Stéphane. Щоб зрозуміти, чому ні, розглянемо випадок надзвичайно великої та помірної впевненості, скажімо, 95%. При інтервал двостороннього допуску повинен бути надзвичайно близьким до середнього 50% розподілу, тому за визначенням є лише 50% шансів, що лежить всередині нього, а не бажаних 95%. Це величезна різниця! Інтуїтивно зрозуміло, що інтервал допуску для 95% населення повинен бути наближеним до інтервалу прогнозування з 95% впевненістю, але вони все ще точно не згодні.

n

$n$

p = 50 %

$p=50\%$

X_{0}

$X_0$

— whuber

Я щойно думав про це, і вважаю, що факт полягає в наступному: коли великий. Це легко зрозуміти, коли - класичний коефіцієнт допуску, заданий за допомогою нецентрального розподілу t ( -кількість - параметр )

k (α, n) \approx K (50 %, n, 1 - α)

$\boxed{k(\alpha,n) \approx K(50\%,n,1-\alpha)}$

n

$n$

K

$K$

50 %

$50\%$

z_{1 - α} / \sqrt{n}

$z_{1-\alpha}/\sqrt{n}$

— Стефан Лоран

@whuber. Дякую за відповідь. Мені доведеться переконатися, що я це розумію, перш ніж зазначити це правильно. Дайте мені трохи часу, щоб "перетравити" це.

— Іоанніс Солдатос

Як я розумію, для нормальних меж толерантності значення походить від не центрального t перцентиля. Зрозуміло, що, на думку Гу Губера, є деякі статистики, незнайомі з ідеєю меж толерантності та меж прогнозування; Ідея толерантності, здається, виникає здебільшого в інженерному проектуванні та виробництві, на відміну від клінічної біостатистики. Можливо, причиною недостатнього ознайомлення з інтервалами допуску та плутаниною з інтервалами прогнозування є той контекст, в якому людина отримує свою статистичну підготовку. $K(\alpha,p)$

— Скотт П.
джерело