Як обчислити ймовірність, пов’язану з абсурдно великими Z-балами?

Програмні пакети для виявлення мережевих мотивів можуть повернути надзвичайно високі показники Z (найвищий показник, який я бачив, - 600 000+, але Z-бали понад 100 є досить поширеними). Я планую показати, що ці Z-бали є хибними.

Величезні Z-бали відповідають надзвичайно низьким асоційованим ймовірностям. Значення пов'язаних ймовірностей наведено, наприклад, на сторінці звичайної вікіпедії звичайного розподілу (і, ймовірно, у кожному підручнику статистики) для балів Z до 6. Отже ...

Питання : Як можна обчислити функцію помилки $1-\mathrm{erf}(n/\sqrt{2})$за n до 1 000 000, скажімо?

Я особливо після вже реалізованого пакету для цього (якщо можливо). Найкраще, що я знайшов поки що, - WolframAlpha, якому вдається обчислити його для n = 150 ( тут ).

Питання стосується функції додаткової помилки

$$\textrm{erfc}(x) = \frac{2}{\sqrt{\pi}}\int_{x}^{\infty}\exp(-t^2) d t$$

для "великих" значень ( в первісному запитанні) - тобто від 100 до 700 000 або близько того. (На практиці будь-яке значення, що перевищує приблизно 6, слід вважати "великим", як ми побачимо.) Зауважте, що оскільки це буде використовуватися для обчислення p-значень, мало значення для отримання більше трьох значущих (десяткових) цифр .= n / $x$$=n/\sqrt{2}$

Для початку розглянемо наближення, запропоноване @Iterator,

$$f(x) = 1 - \sqrt{1 - \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right)},$$

де

$$a = \frac{8(\pi-3)}{3(4-\pi)} \approx 0.439862.$$

Хоча це чудове наближення до самої функції помилок, це жахливе наближення до . Однак є спосіб систематично це виправити.$\textrm{erfc}$

Для p-значень, пов'язаних з такими великими значеннями , нас цікавить відносна похибка : ми сподіваємось, що її абсолютне значення буде менше 0,001 для трьох значущих цифри точності. На жаль, цей вираз важко вивчити для великого через підтоки в обчисленні подвійної точності. Ось одна спроба, яка побудує відносну помилку проти для :f $x$ x x 0 ≤ x ≤ $f(x)/\textrm{erfc}(x) - 1$$x$$x$$0 \le x \le 5.8$

Обчислення стає нестабільним, коли перевищує 5,3 або більше і не може надати одну значну цифру за минулу 5.8. Це не дивно: розсуває межі арифметики подвійної точності. Оскільки немає доказів того, що відносна похибка буде значно меншою для більшого , нам потрібно зробити краще.exp ( - 5,8 2 ) ≈ 10 - 14,6$x$$\exp(-5.8^2) \approx 10^{-14.6}$$x$

Виконання обчислення в розширеній арифметиці (за допомогою Mathematica ) покращує нашу картину того, що відбувається:

Помилка швидко зростає з і не показує ознак вирівнювання. Минуле або більше, це наближення не дає навіть однієї надійної цифри інформації!x = $x$$x=10$

Однак сюжет починає виглядати лінійно. Ми можемо здогадатися, що відносна похибка прямо пропорційна . (Це має сенс на теоретичних підставах: явно є непарною функцією, а явно парним, тому їх співвідношення повинно бути непарною функцією. Таким чином, ми очікуємо, що відносна помилка, якщо вона зросте, поводитиметься як непарна сила .) Це призводить нас до вивчення відносної помилки, поділеної на . Еквівалентно, я вирішу розглянути , тому що, надія, це має мати постійне обмежувальне значення. Ось його графік:erfc f $x$$\textrm{erfc}$$f$$x$ x ⋅ erfc ( x ) / f ( x $x$$x \cdot \textrm{erfc}(x)/f(x)$

Наше припущення, здається, підтверджується: цей коефіцієнт, схоже, наближається до межі приблизно 8. На запит, Mathematica надасть:

a1 = Limit[x (Erfc[x]/f[x]), x -> \[Infinity]]

Значення . Це дозволяє нам покращити оцінку: ми беремо$a_1 = \frac{2 }{\sqrt{\pi }}e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \approx 7.94325$

$$f_1(x) = f(x) \frac{a_1}{x}$$

як перше уточнення наближення. Коли дійсно великий - більший за кілька тисяч - це наближення просто чудово. Оскільки це все ще не буде досить добре для цікавого діапазону аргументів між і або близько того, давайте повторимо процедуру. Цього разу обернена відносна помилка - зокрема, вираз повинна поводитись як для великого (в силу попередніх міркувань паритету) . Відповідно, множимо на і знаходимо наступну межу:5.3 2000 1 - erfc ( x ) / f 1 ( $x$$5.3$$2000$$1 - \textrm{erfc}(x)/f_1(x)$$1/x^2$$x$$x^2$

a2 = Limit[x^2 (a1 - x (Erfc[x]/f[x])), x -> \[Infinity]] 

Значення є

$$a_2 = \frac{1}{32 \sqrt{\pi }} e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \left(32-\frac{9 (-4+\pi )^3 \pi }{(-3+\pi )^2}\right) \approx 114.687.$$

Цей процес може тривати скільки завгодно. Я зробив це ще один крок, знайшовши

a3 = Limit[x^2 (a2 - x^2 (a1 - x (Erfc[x]/f[x]))), x -> \[Infinity]] 

зі значенням приблизно 1623,67. (Повний вираз передбачає раціональну функцію восьмому ступені і занадто довгий, щоб бути корисним тут.)$\pi$

Розмотування цих операцій дає остаточне наближення

$$f_3(x) = f(x)\left(a_1 - a_2/x^2 + a_3/x^4\right)/x.$$

Похибка пропорційна . Імпорт - це константа пропорційності, тому ми побудуємо : x 6 ( 1 $x^{-6}$$x^6(1 - \textrm{erfc}(x) / f_3(x))$

Він швидко наближається до граничного значення близько 2660,59. Використовуючи наближення , ми отримуємо оцінки , відносна точність яких краща за для всіх . Після того як перевищує 20 або більше, ми маємо три значні цифри (або набагато більше, оскільки збільшується). Як перевірка, ось таблиця, яка порівнює правильні значення з наближенням для між і :$f_3$$\textrm{erfc}(x)$$2661/x^6$$x \gt 0$$x$$x$$x$$10$$20$

 x  Erfc    Approximation      
10  2.088*10^-45    2.094*10^-45
11  1.441*10^-54    1.443*10^-54
12  1.356*10^-64    1.357*10^-64
13  1.740*10^-75    1.741*10^-75
14  3.037*10^-87    3.038*10^-87
15  7.213*10^-100   7.215*10^-100
16  2.328*10^-113   2.329*10^-113
17  1.021*10^-127   1.021*10^-127
18  6.082*10^-143   6.083*10^-143
19  4.918*10^-159   4.918*10^-159
20  5.396*10^-176   5.396*10^-176

Насправді, це наближення дає щонайменше дві значущі показники точності для на, тобто якраз там, де проглядаються пішохідні розрахунки (наприклад, функція Excel ).$x=8$NormSDist

Нарешті, можна потурбуватися про нашу здатність обчислити початкове наближення . Однак це не важко: коли досить великий, щоб викликати підтоки в експоненціалі, квадратний корінь добре наближається до половини експоненціалу,$f$$x$

$$f(x) \approx \frac{1}{2} \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right).$$

Обчислити логарифм цього (у базі 10) нескладно і легко дати бажаний результат. Наприклад, нехай . Загальний логарифм цього наближення є$x=1000$

$$\log_{10}(f(x)) \approx \left(-1000^2 \left(\frac{4 + a \cdot 1000^2}{\pi + a \cdot 1000^2}\right) - \log(2)\right) / \log(10) \sim -434295.63047.$$

Експоненцію врожайності

$$f(1000) \approx 2.34169 \cdot 10^{-434296}.$$

Застосування корекції (у ) дає результат$f_3$

$$\textrm{erfc}(1000) \approx 1.86003\ 70486\ 32328 \cdot 10^{-434298}.$$

Зауважте, що виправлення зменшує вихідне наближення понад 99% (і справді .) (Це наближення відрізняється від правильного значення лише в останній цифрі. Інше добре відоме наближення, , дорівнює , помиляючись у шостій знаковій цифрі. Я впевнений, що ми могли б також покращити цю, якщо ми хотіли, використовуючи ті самі методи.)$a_1/x \approx 1\text{%}$1,8860038⋅10 - $\exp(-x^2)/(x\sqrt{\pi})$$1.860038 \cdot 10^{-434298}$

Проста верхня межа

Для дуже великих значень аргументу при обчисленні ймовірності верхнього хвоста нормальної величини існують чудові межі, які, ймовірно, такі ж хороші, як можна отримати будь-які інші методи з плаваючою точкою подвійної точності. Для , нехай де - стандартний звичайний pdf. Я використав позначення на знак стандартного позначення в аналізі виживання. В інженерних контекстах вони називають цю функцію -функцією і позначають її .$z > 0$

$$\renewcommand{\Pr}{\mathbb{P}}\newcommand{\rd}{\mathrm{d}} S(z) := \Pr(Z > z) = \int_z^\infty \varphi(z) \rd z \>,$$ $\varphi(z) = (2\pi)^{-1/2} e^{-z^2/2}$$S(z)$$Q$$Q(z)$

Тоді дуже проста, елементарна верхня межа - де позначення на правій частині вказують, що це оцінка верхньої межі. Ця відповідь дає доказ зв'язаного.

$$\newcommand{\Su}{\hat{S}_u} \newcommand{\Sl}{\hat{S}_\ell} S(z) \leq \frac{\varphi(z)}{z} =: \Su(z) \> ,$$

Також є кілька приємних додаткових нижчих меж. Одним із найзручніших та найпростіших вивести є зв'язаний Існують щонайменше три окремі методи для отримання цієї межі. Приблизний ескіз одного такого методу можна знайти в цій відповіді на пов'язане питання.

$$S(z) \geq \frac{z}{z^2+1} \varphi(z) =: \Sl(z) \> .$$

Фото

Нижче наведено графік двох меж (сірого кольору) разом із фактичною функцією .$S(z)$

Наскільки це добре?

З сюжету виходить, що межі стають досить жорсткими навіть для помірно великих . Ми можемо запитати себе, наскільки вони жорсткі та які кількісні твердження щодо цього можна зробити.$z$

Один корисний показник герметичності - абсолютна відносна похибка Це дає вам пропорційну похибку оцінки.

$$\newcommand{\err}{\mathcal{E}} \err(z) = \left|\frac{\Su(z) - S(z)}{S(z)}\right| \>.$$

Тепер зауважимо, що, оскільки всі задіяні функції невід’ємні, використовуючи граничні властивості та , отримуємо і тому це дає доказ що для верхня межа правильна в межах 1%, для це в межах 0,1%, а для - в межах 0,01%.$\Su(z)$$\Sl(z)$

$$\err(z) = \frac{\Su(z) - S(z)}{S(z)} \leq \frac{\Su(z) - \Sl(z)}{\Sl(z)} = z^{-2} \> ,$$ $z \geq 10$$z \geq 28$$z \geq 100$

Насправді проста форма меж забезпечує хорошу перевірку інших "наближень". Якщо при чисельному обчисленні більш складних наближень ми отримаємо значення за межами цих меж, ми можемо просто "виправити" його, щоб прийняти значення, наприклад, верхньої межі, наданої тут.

Існує багато уточнень цих меж. Згадані тут межі Лапласа забезпечують приємну послідовність верхньої та нижньої меж на форми де є раціональною функцією.R ( z ) φ ( z ) R ( z $S(z)$$R(z) \varphi(z)$$R(z)$

Нарешті, ось ще одне дещо пов’язане питання та відповідь.

Ви можете наблизити його набагато простішими функціями - для отримання додаткової інформації див цей розділ Вікіпедії . Основним наближенням є те, що$\textrm{erf}(x) \approx \textrm{sgn}(x)\sqrt{1 - \exp(-x^2 \frac{4/\pi + ax^2}{1+ax^2}})$

У статті є неправильне посилання на цей розділ. PDF з посиланням можна знайти у файлах Сергія Вінцкі - або за цим посиланням .