Яка різниця між кінцевою та нескінченною дисперсією

Яка різниця між кінцевою та нескінченною дисперсією? Мої статистичні знання досить елементарні; Тут не дуже допомогла Wikipedia / Google.

$\DeclareMathOperator{\E}{E} \DeclareMathOperator{\var}{var}$ Що означає для випадкової змінної мати "нескінченну дисперсію"? Що означає для випадкової величини нескінченне очікування? Пояснення в обох випадках досить схожі, тому почнемо із випадку очікування, а потім після цього відхилення.

Нехай - неперервна випадкова величина (RV) (наші висновки будуть справедливішими загалом; для дискретного випадку замінимо інтеграл на суму). Щоб спростити експозицію, припустимо X ≥ 0 .$X$$X \ge 0$

Його очікування визначається інтегралом коли цей інтеграл існує, тобто є кінцевим. Ще ми говоримо, що очікування не існує. Це неправильний інтеграл, і за визначенням це ∫ ∞ 0 x f ( x

$$\E X = \int_0^\infty x f(x) \, d x$$ Для того, щоб ця межа була кінцевою, внесок від хвоста повинен зникати, тобто ми повинні мати lim a → ∞ ∫ ∞ a x f ( x $$\int_0^\infty x f(x) \, d x = \lim_{a \rightarrow \infty} \int_0^a x f(x) \, d x$$ Необхідною (але недостатньою) умовою для цього є lim x → ∞ x f ( x ) = 0 . Наведене вище умова говорить про те, щовнесок у очікування від (правого) хвоста повинен зникати. Якщо це не так, в очікуванніпереважають внески від довільно великих реалізованих значень. На практиці це означатиме, що емпіричні засоби будуть дуже нестабільними, оскільки в нихбудуть панувати нечасто дуже великі реалізовані значення $$\lim_{a \rightarrow \infty} \int_a^\infty x f(x) \, d x =0$$ $\lim_{x\rightarrow \infty} x f(x) =0$. І зауважте, що ця нестабільність засобів вибірки не зникне з великими зразками --- це вбудована частина моделі!

У багатьох ситуаціях це здається нереальним. Скажімо, модель страхування життя, тому моделює деяке (людське) життя. Ми знаємо, що, скажімо, X > 1000 не відбувається, але на практиці ми використовуємо моделі без верхньої межі. Причина зрозуміла: не відома жорстка верхня межа, якщо людині (скажімо) 110 років, немає жодної причини, що він не може прожити ще один рік! Тож модель із жорсткою верхньою межею здається штучною. Все-таки ми не хочемо, щоб крайній верхній хвіст мав великий вплив.$X$$X > 1000$

Якщо має кінцеві очікування, то ми можемо змінити модель, щоб мати жорстку верхню межу, без надмірного впливу на модель. У ситуаціях із нечіткою верхньою межею, яка здається хорошою. Якщо модель має нескінченне очікування, то будь-яка жорстка верхня межа, яку ми вводимо в модель, матиме драматичні наслідки! Це справжнє значення нескінченного очікування.$X$

Маючи обмежене очікування, ми можемо нечітко ставитися до верхніх меж. З нескінченним очікуванням ми не можемо .

Зараз майже те саме можна сказати про нескінченну дисперсію, mutatis mutandi.

Щоб зрозуміти, подивимось на приклад. Для прикладу ми використовуємо розподіл Pareto, реалізований у пакеті R (на CRAN), як акт pareto1 --- однопараметричний розподіл Pareto, також відомий як розподіл Pareto типу 1. Він має функцію щільності ймовірності, задану для деяких параметрівm>0,α>0. Колиα>1очікування існує і задається

$$f(x) = \begin{cases} \frac{\alpha m^\alpha}{x^{\alpha+1}} &, x\ge m \\ 0 &, x<m \end{cases}$$ $m>0, \alpha>0$$\alpha > 1$. Колиα≤1очікування не існує, або, як ми говоримо, воно нескінченне, оскільки інтеграл, що визначає його, розходиться до нескінченності. Ми можемо визначити розподілпершого моменту(див. Пост$\frac{\alpha}{\alpha-1}\cdot m$$\alpha \le 1$ Коли б ми використовували делікатні та медіальні, а не квантили та медіану? Для деякої інформації та посилань) як (це існує без огляду на те, чи існує саме очікування). (Пізніше редагувати: я винайшов назву "розподіл першого моменту, пізніше я дізнався, що це пов'язано з тим, що" офіційно "називаєчасткові моменти). $$E(M) = \int_m^M x f(x) \, d x = \frac{\alpha}{\alpha-1} \left( m - \frac{m^\alpha}{M^{\alpha-1}} \right)$$

Коли очікування існує ( ), ми можемо розділити на нього, щоб отримати відносний розподіл першого моменту, заданий E r ( M ) = E $\alpha> 1$ Колиαлише трохи більший, ніж один, тому очікування "ледве існує", інтеграл, що визначає очікування, буде сходитися повільно. Подивимось на приклад зm=1,α=1,2. Побудуємо тодіEr(M)за допомогою R:

$$Er(M) = E(m)/E(\infty) = 1-\left(\frac{m}{M}\right)^{\alpha-1}$$ $\alpha$$m=1, \alpha=1.2$$Er(M)$

### Function for opening new plot file:
open_png  <-  function(filename) png(filename=filename,
                                     type="cairo-png")

library(actuar) # from CRAN
### Code for Pareto type I distribution:
# First plotting density and "graphical moments" using ideas from http://www.quantdec.com/envstats/notes/class_06/properties.htm   and used some times at cross validated

m  <-  1.0
alpha <- 1.2
# Expectation:
E   <-  m * (alpha/(alpha-1))
# upper limit for plots:
upper  <- qpareto1(0.99, alpha, m)   
#
open_png("first_moment_dist1.png")
Er  <- function(M, m, alpha) 1.0 - (m/M)^(alpha-1.0)
### Inverse relative first moment distribution function,  giving
#   what we may call "expectation quantiles":
Er_inv  <-   function(eq, m, alpha) m*exp(log(1.0-eq)/(1-alpha))     

plot(function(M) Er(M, m, alpha), from=1.0,  to=upper)
plot(function(M) ppareto1(M, alpha, m), from=1.0,  to=upper, add=TRUE,  col="red")
dev.off()

яка створює цей сюжет:

$\mu$$\alpha > 2$

Визначена вище функція Er_inv - це зворотний відносний розподіл першого моменту, аналог квантильної функції. Ми маємо:

> ### What this plot shows very clearly is that most of the contribution to the expectation come from the very extreme right tail!
# Example   
eq  <-  Er_inv(0.5, m, alpha)
ppareto1(eq, alpha, m)
eq

> > > [1] 0.984375
> [1] 32
> 

$\mu$$n=5$

set.seed(1234)
n  <-  5
N  <-  10000000  # Number of simulation replicas
means  <-  replicate(N,  mean(rpareto1(n, alpha, m) ))


> mean(means)
[1] 5.846645
> median(means)
[1] 2.658925
> min(means)
[1] 1.014836
> max(means)
[1] 633004.5
length(means[means <=100])
[1] 9970136

Для отримання читабельної ділянки ми показуємо лише гістограму для частини вибірки зі значеннями нижче 100, що є дуже великою частиною вибірки.

open_png("mean_sim_hist1.png")
hist(means[means<=100],  breaks=100, probability=TRUE)
dev.off()

Розподіл арифметичних засобів дуже хиткий,

> sum(means <= 6)/N
[1] 0.8596413
> 

майже 86% емпіричних засобів менші або рівні, ніж теоретичне середнє, очікування. Цього варто очікувати, оскільки більша частина внеску в середній розмір йде від крайнього верхнього хвоста, який у більшості зразків не представлений .

Нам потрібно повернутися, щоб переоцінити наш попередній висновок. Хоча існування середнього значення дозволяє нечітко ставитися до верхніх меж, ми бачимо, що коли "середина ледве існує", тобто інтеграл повільно конвергентний, насправді ми не можемо бути нечіткими щодо верхньої межі . Повільно конвергентні інтеграли призводять до того, що може бути краще використовувати методи, які не припускають, що очікування існує . Коли інтеграл дуже повільно конвергується, це на практиці так, ніби він взагалі не конвергується. Практична користь, яка випливає з конвергентного інтеграла, - це химера в повільно конвергентному випадку! Це один із способів зрозуміти висновок Н. Н. Талеба в http://fooledbyrandomness.com/complexityAugust-06.pdf

Варіантність - це міра дисперсії розподілу значень випадкової величини. Це не єдина така міра, наприклад, середнє абсолютне відхилення є однією з альтернатив.

Нескінченна дисперсія означає, що випадкові значення не мають тенденції концентруватися навколо середнього значення занадто щільно . Це може означати, що є досить великий ймовірність того, що наступне випадкове число буде дуже далеко від середнього.

Розподіли типу нормальних (гауссових) можуть давати випадкові числа дуже далеко від середнього, але ймовірність таких подій зменшується дуже швидко з величиною відхилення.

У зв'язку з цим, коли ви дивитеся на сюжет розподілу Коші або Гаусса (нормального) розподілу, вони візуально не дуже відрізняються. Однак, якщо ви спробуєте обчислити дисперсію розподілу Коші, це буде нескінченно, а Гауссова - кінцевим. Отже, нормальний розподіл є більш щільним навколо свого середнього в порівнянні з Коші.

До речі, якщо ви поговорите з математиками, вони наполягатимуть на тому, що розподіл Коші не має чітко визначеного значення, що це нескінченно. Це звучить смішно для фізиків, які вказували б на те, що Коші симетричний, отже, це має бути середнім. У цьому випадку вони стверджують, що проблема полягає у вашому визначенні середнього, а не в розподілі Коші.

Альтернативний спосіб поглянути - це квантильна функція.

$$Q(F(x)) = x$$

Тоді ми можемо обчислити момент або очікування

$$E(T(x)) = \int_{-\infty}^\infty T(x) f(x) dx\\$$

альтернативно як (замінюючи $f(x)dx = dF$):

$$E(T(x)) = \int_{0}^1 T(Q(F)) dF \\$$

Скажіть, ми хочемо потім обчислити перший момент $T(x) = x$. На зображенні нижче це відповідає області між F і вертикальною лінією на$x=0$ (де область зліва може вважатись негативною, коли $T(x)<0$). Другий момент відповідав би тому, який обсяг промітає та сама площа, коли вона повертається по лінії в$x=0$ (з фактором $\pi$ різниця).

Криві на зображенні показують, скільки кожен квантил вносить свій внесок у обчислення.

Для нормальної кривої існує лише дуже мало квантилів з великим внеском. Але для кривої Коші існує набагато більше квантилів з великим внеском. Якщо крива$T(Q(F))$ йде досить швидко до нескінченності, коли F наближається до нуля або одиниці, то область може бути нескінченною.

Ця нескінченність може бути не такою дивною, оскільки відстань самої інтеграції (середня) або квадратна відстань (дисперсія) може стати нескінченною. Питання лише у тому, яка вага , скільки відсотків F, мають ці нескінченні хвости.

У підсумовуванні / інтеграції відстані від нуля (середнього) або квадратичної відстані від середньої (дисперсії) одна точка, яка знаходиться дуже далеко, матиме більший вплив на середню відстань (або відстань у квадраті), ніж багато точок поблизу.

Таким чином, коли ми рухаємося до нескінченності, щільність може зменшуватися, але вплив на суму деякої (зростаючої) величини, наприклад відстань або відстань у квадраті, не обов'язково змінюється.

Якщо для кожної кількості маси на деякій відстані $x$ на відстані знаходиться половина або більше маси $\sqrt{2}x$ тоді ви отримаєте ту суму загальної маси $\sum \frac{1}{2^n}$ буде сходитися через те, що внесок маси зменшується, але дисперсія стає нескінченною, оскільки цей внесок не зменшується $\sum ((\sqrt{2}x)^n)^2 \frac{1}{2^n} \to \infty$

Більшість розповсюджень, з якими ви стикаєтесь, мабуть, мають кінцеву дисперсію. Ось дискретний приклад$X$ що має нескінченну дисперсію, але кінцеве значення:

Нехай функція його масової ймовірності буде $p(k) = c/|k|^3$, для $k \in \mathbb{Z} \setminus\{0\}$, $p(0) = 0$, де $c = (2\zeta(3))^{-1} := (2\sum_{k=1}^\infty 1/k^3)^{-1} < \infty$. Перш за все тому, що$\mathbb{E} \mid X\mid < \infty$він має кінцеве середнє значення. Також він має нескінченну дисперсію, оскільки$2 \sum_{k=1}^\infty k^2 / |k|^3 = 2\sum_{k=1}^\infty k^{-1} = \infty$.

Примітка: $\zeta(x) :=\sum_{k=1}^\infty k^{-x}$- це зета функція Рімана. Є багато інших прикладів, просто не так приємно записувати.