Зв'язок між гамма-розподілом і нормальним розподілом

Нещодавно я вважав за необхідне отримати pdf для квадрата нормальної випадкової величини із середнім значенням 0. З будь-якої причини я вирішив не нормалізувати дисперсію заздалегідь. Якщо я це зробив правильно, то цей pdf такий:

N^{2} (x; σ^{2}) = \frac{1}{σ \sqrt{2 π} \sqrt{x}} e^{\frac{- x}{2 σ^{2}}}

$N^2(x; \sigma^2) = \frac{1}{\sigma \sqrt{2 \pi} \sqrt{x}} e^{\frac{-x}{2\sigma^2}}$

Я помітив, що насправді це була лише параметризація розподілу гами:

N^{2} (x; σ^{2}) = Gamma (x; \frac{1}{2}, 2 σ^{2})

$N^2(x; \sigma^2) = \operatorname{Gamma}(x; \frac{1}{2}, 2 \sigma^2)$

І тоді, з того, що сума двох гам (з тим самим параметром масштабу) дорівнює іншій гамі, випливає, що гама еквівалентна сумі $k$ квадратних нормальних випадкових величин.

N_{Σ}^{2} (x; k, σ^{2}) = Gamma (x; \frac{k}{2}, 2 σ^{2})

$N^2_\Sigma(x; k, \sigma^2) = \operatorname{Gamma}(x; \frac{k}{2}, 2 \sigma^2)$

Це мене трохи здивувало. Хоча я знав, що розподіл $\chi^2$ - розподіл суми квадратних стандартних нормальних РВ - був особливим випадком гамми, я не розумів, що гамма є по суті лише узагальненням, що дозволяє отримати суму нормальних випадкових величин з будь-якої дисперсії. Це також призводить до інших характеристик, з якими я раніше не стикався, наприклад, експоненціального розподілу, еквівалентного сумі двох квадратних нормальних розподілів.

Це все для мене трохи загадково. Чи нормальне розподіл є основним для виведення гамма-розподілу, як я описав вище? Більшість ресурсів, які я перевірив, не згадують про те, що два дистрибутиви суттєво пов'язані між собою, або навіть з цього приводу описують, як виводиться гамма. Це змушує мене думати, що в грі є якась істина нижчого рівня, яку я просто підкреслив перекрученим шляхом?

normal-distribution gamma-distribution

— timxyz
джерело

У багатьох підручниках з теорії ймовірностей згадуються всі вищезазначені результати; але, можливо, тексти статистики не висвітлюють ці ідеї? У будь-якому випадку,

N (0, σ^{2})

$N(0,\sigma^2)$ випадкова величина

Y_{i}

$Y_i$ - просто де - це звичайна нормальна випадкова величина, і так (для iid змінних)

σ X_{i}

$\sigma X_i$

X_{i}

$X_i$

є простомасштабним

\sum_{i} Y_{i}^{2} = σ^{2} \sum_{i} X_{i}^{2}

$\sum_i Y_i^2 = \sigma^2 \sum_i X_i^2$

χ^{2}

$\chi^2$ випадкова величина не дивно для тих, хто вивчав теорію ймовірностей.

— Діліп Сарват

Я з комп'ютерного зору, тому зазвичай не стикаюся з теорією ймовірностей. Жоден з моїх підручників (або Вікіпедії) не згадує про таке тлумачення. Я думаю, я також запитую, що особливого в сумі квадрата двох нормальних розподілів, що робить його гарною моделлю для часу очікування (тобто експоненціального розподілу). Досі відчувається, що я пропускаю щось глибше.

— timxyz

Оскільки Вікіпедія визначає розподіл у квадраті в якості суми квадратних нормалів на en.wikipedia.org/wiki/Chi-squared_distribution#Definition і згадує, що чі-квадрат є особливим випадком Гамми (за адресою en.wikipedia.org/wiki / Gamma_distribution # Інші ), навряд чи можна стверджувати, що ці відносини не відомі. Сама дисперсія просто встановлює одиницю вимірювання (параметр шкали) у всіх випадках і тому взагалі не створює додаткових ускладнень.

— whuber

Хоча ці результати добре відомі в області вірогідності та статистики, вам добре зроблено @timxyz для їх повторного виявлення у власному аналізі.

— Відновіть Моніку

Зв'язок не є таємничим, тому що вони є членами експоненціальної сімейства розподілів, чіткою властивістю якої є те, що до них можна дійти шляхом заміни змінних та / або параметрів. Дивіться довшу відповідь нижче із прикладами.

— Карл

Відповіді:

Як зазначається в коментарі проф. Сарват, відносини між нормальним квадратом і квадратом є дуже поширеним фактом - як це має бути також і факт, що квадрат квадратів є лише особливим випадком розподілу Гамми:

X \sim N (0, σ^{2}) \Rightarrow X^{2} / σ^{2} \sim χ_{1}^{2} \Rightarrow X^{2} \sim σ^{2} χ_{1}^{2} = Gamma (\frac{1}{2}, 2 σ^{2})

$X \sim N(0,\sigma^2) \Rightarrow X^2/\sigma^2 \sim \mathcal \chi^2_1 \Rightarrow X^2 \sim \sigma^2\mathcal \chi^2_1= \text{Gamma}\left(\frac 12, 2\sigma^2\right)$

остання рівність, що випливає із властивості масштабування Гамми.

Що стосується співвідношення з експоненціалом, якщо бути точним, то сума двох квадратних нульових середніх норм, кожна з яких зменшується на дисперсію інших , призводить до експоненціального розподілу:

X_{1} \sim N (0, σ_{1}^{2}), X_{2} \sim N (0, σ_{2}^{2}) \Rightarrow \frac{X_{1}^{2}}{σ_{1}^{2}} + \frac{X_{2}^{2}}{σ_{2}^{2}} \sim χ_{2}^{2} \Rightarrow \frac{σ_{2}^{2} X_{1}^{2} + σ_{1}^{2} X_{2}^{2}}{σ_{1}^{2} σ_{2}^{2}} \sim χ_{2}^{2}

$X_1 \sim N(0,\sigma^2_1),\;\; X_2 \sim N(0,\sigma^2_2) \Rightarrow \frac{X_1^2}{\sigma^2_1}+\frac{X_2^2}{\sigma^2_2} \sim \mathcal \chi^2_2 \Rightarrow \frac{\sigma^2_2X_1^2+ \sigma^2_1X_2^2}{\sigma^2_1\sigma^2_2} \sim \mathcal \chi^2_2$

\Rightarrow σ_{2}^{2} X_{1}^{2} + σ_{1}^{2} X_{2}^{2} \sim σ_{1}^{2} σ_{2}^{2} χ_{2}^{2} = Gamma (1, 2 σ_{1}^{2} σ_{2}^{2}) = Exp (\frac{1}{2 σ_{1}^{2} σ_{2}^{2}})

$\Rightarrow \sigma^2_2X_1^2+ \sigma^2_1X_2^2 \sim \sigma^2_1\sigma^2_2\mathcal \chi^2_2 = \text{Gamma}\left(1, 2\sigma^2_1\sigma^2_2\right) = \text{Exp}( {1\over {2\sigma^2_1\sigma^2_2}})$

Але підозра на те, що в сумі двох квадратних нульових середніх норм є "щось особливе" або "глибше", що "робить їх гарною моделлю для очікування часу", необгрунтоване: Перш за все, що особливого в експоненціальному розподілі це гарна модель для "часу очікування"? Безпам’ятність, звичайно, але чи є тут щось «глибше», чи просто проста функціональна форма функції Експоненціального розподілу та властивості ? Унікальні властивості розкидані по всій математиці, і більшу частину часу вони не відображають якоїсь "глибшої інтуїції" чи "структури" - вони просто існують (на щастя). $e$

По-друге, квадрат змінної має дуже мало відношення до її рівня. Просто розглянемо у, скажімо, $f(x) = x$ : $[-2,\,2]$

введіть тут опис зображення

... або накресліть стандартну нормальну щільність проти щільності квадрат-чі: вони відображають та представляють абсолютно різні стохастичні форми поведінки, навіть якщо вони настільки споріднені, оскільки друга - це щільність змінної, яка є квадратом першої. Нормальний може бути дуже важливим стовпом математичної системи, яку ми розробили для моделювання стохастичної поведінки - але, як тільки ви її квадратні, це стає чимось зовсім іншим.

— Алекос Пападопулос
джерело

Дякую за те, що я вирішила, зокрема, питання з мого останнього абзацу.

— timxyz

Ласкаво просимо. Я маю визнати, що радий, що моя відповідь надійшла до початкової ОП через 26 місяців після опублікування запитання.

— Алекос Пападопулос

Звернімося до поставленого питання: Це все для мене дещо загадкове. Чи нормальне розподіл є основним для виведення гамма-розподілу ...? Справді немає загадок, це просто те, що нормальний розподіл і гамма-розподіл є членами, серед інших, експоненціального сімейства розподілів, сімейство яких визначається здатністю перетворювати між рівняльними формами шляхом заміни параметрів та / або змінних. Як наслідок, існує багато перетворень за допомогою підстановки між розподілами, кілька з яких узагальнені на малюнку нижче.

LEEMIS, Лоуренс М.; Жаклін Т. МККВЕСТОН (лютий 2008 р.). "Універсальні відносини розподілу" (PDF). Американський статистик. 62 (1): 45–53. DOI: 10,1198 / 000313008x270448 процитувати

Ось два нормальних та розподілу гамма-розподілу більш детально (серед невідомої кількості інших, наприклад, через чі-квадрат і бета).

По-перше, наступний Більш прямий зв’язок між розподілом гамма (GD) і нормальним розподілом (ND) із середнім нулем. Простіше кажучи, GD набуває нормальної форми, оскільки його параметр форми дозволено збільшувати. Довести, що це так, складніше. Для GD

GD (z; a, b) = \begin{array}{cc} {\begin{cases} \frac{b^{- a} z^{a - 1} e^{- \frac{z}{b}}}{Γ (a)} & z > 0 \\ 0 & other \end{cases} . \end{array}

$\text{GD}(z;a,b)=\begin{array}{cc} & \begin{cases} \dfrac{b^{-a} z^{a-1} e^{-\dfrac{z}{b}}}{\Gamma (a)} & z>0 \\ 0 & \text{other} \\ \end{cases} \,. \\ \end{array}$

Оскільки параметр форми GD , форма GD стає більш симетричною і нормальною, однак, оскільки середнє значення збільшується зі збільшенням , ми повинні зсунути GD на $a\rightarrow \infty$ $a$ щоб утримувати його нерухомим, і, нарешті, якщо ми хочемо зберегти те саме стандартне відхилення для нашої зміщеної GD, ми повинні зменшити параметр шкали (), пропорційний $(a-1) \sqrt{\dfrac{1}{a}} k$ $b$ . $\sqrt{\dfrac{1}{a}}$

Для того, щоб перетворити GD в граничний випадок ND, встановимо, що стандартне відхилення буде постійним ( ), дозволяючи $k$ і змістити GD вліво, щоб мати режим нуля, замінивши $b=\sqrt{\dfrac{1}{a}} k$ Тоді $z=(a-1) \sqrt{\dfrac{1}{a}} k+x\ .$

GD ((a - 1) \sqrt{\frac{1}{a}} k + x; a, \sqrt{\frac{1}{a}} k) = \begin{array}{cc} {\begin{cases} \frac{{(\frac{k}{\sqrt{a}})}^{- a} e^{- \frac{\sqrt{a} x}{k} - a + 1} {(\frac{(a - 1) k}{\sqrt{a}} + x)}^{a - 1}}{Γ (a)} & x > \frac{k (1 - a)}{\sqrt{a}} \\ 0 & other \end{cases} \end{array} .

$\text{GD}\left((a-1) \sqrt{\frac{1}{a}} k+x;\ a,\ \sqrt{\frac{1}{a}} k\right)=\begin{array}{cc} & \begin{cases} \dfrac{\left(\dfrac{k}{\sqrt{a}}\right)^{-a} e^{-\dfrac{\sqrt{a} x}{k}-a+1} \left(\dfrac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)} & x>\dfrac{k(1-a)}{\sqrt{a}} \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,.$

Слід зазначити , що в межі найбільш від'ємного значення , для яких ця Г.Д. відмінна від нуля $a\rightarrow\infty$ $x$ . Тобто, напівнескінченної підтримка GDстаєнескінченною. Переходячи до межі при з reparameterized GD, ми знаходимо $\rightarrow -\infty$ $a\rightarrow \infty$

lim_{a \to \infty} \frac{{(\frac{k}{\sqrt{a}})}^{- a} e^{- \frac{\sqrt{a} x}{k} - a + 1} {(\frac{(a - 1) k}{\sqrt{a}} + x)}^{a - 1}}{Γ (a)} = \frac{e^{- \frac{x^{2}}{2 k^{2}}}}{\sqrt{2 π} k} = ND (x; 0, k^{2})

$\lim_{a\to \infty } \, \frac{\left(\frac{k}{\sqrt{a}}\right)^{-a} e^{-\frac{\sqrt{a} x}{k}-a+1} \left(\frac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)}=\dfrac{e^{-\dfrac{x^2}{2 k^2}}}{\sqrt{2 \pi } k}=\text{ND}\left(x;0,k^2\right)$

$k=2$ $a=1,2,4,8,16,32,64$ $\text{ND}\left(x;0,\ 2^2\right)$

По-друге, Зазначимо, що завдяки подібності форми між цими розподілами можна значно розвинути зв’язки між гаммою та нормальними розподілами, витягнувши їх з повітря. На думку, далі ми розробляємо «розгорнуте» узагальнення гамма-розподілу нормального розподілу.

Спершу зауважимо, що саме напівскінченна підтримка розподілу гамма перешкоджає більш прямому зв’язку з нормальним розподілом. Однак ця перешкода може бути усунена, якщо врахувати напів нормальний розподіл, який також має напівнескінченну підтримку. Таким чином, можна узагальнити нормальний розподіл (ND), спершу склавши його на половину нормального (HND), пов'язуючи це з узагальненим розподілом гамми (GD), потім для нашої тур-сили ми «розгортаємо» обидва (HND і GD), таким чином, зробити узагальнений ND (GND).

Узагальнений розподіл гамми

GD (x; α, β, γ, μ) = \begin{array}{cc} {\begin{cases} \frac{γ e^{- {(\frac{x - μ}{β})}^{γ}} {(\frac{x - μ}{β})}^{α γ - 1}}{β Γ (α)} & x > μ \\ 0 & other \end{cases} \end{array},

$\text{GD}\left(x;\alpha ,\beta ,\gamma ,\mu \right)=\begin{array}{cc} & \begin{cases} \dfrac{\gamma e^{-\left(\dfrac{x-\mu }{\beta }\right)^{\gamma }} \left(\dfrac{x-\mu }{\beta }\right)^{\alpha \gamma -1}}{\beta \,\Gamma (\alpha )} & x>\mu \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,,$

Може бути перемежований таким чином, щоб він був напів нормальним ,

GD (x; \frac{1}{2}, \frac{\sqrt{π}}{θ}, 2, 0) = \begin{array}{cc} {\begin{cases} \frac{2 θ e^{- \frac{θ^{2} x^{2}}{π}}}{π} & x > 0 \\ 0 & other \end{cases} \end{array} = HND (x; θ)

$\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)=\begin{array}{cc} & \begin{cases} \dfrac{2 \theta e^{-\dfrac{\theta ^2 x^2}{\pi }}}{\pi } & x>0 \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,\,\,=\text{HND}(x;\theta)$

$\theta=\frac{\sqrt{\pi}}{\sigma\sqrt{2}}.$

ND (x; 0, σ^{2}) = \frac{1}{2} HND (x; θ) + \frac{1}{2} HND (- x; θ) = \frac{1}{2} GD (x; \frac{1}{2}, \frac{\sqrt{π}}{θ}, 2, 0) + \frac{1}{2} GD (- x; \frac{1}{2}, \frac{\sqrt{π}}{θ}, 2, 0),

$\text{ND}\left(x;0,\sigma^2\right)=\frac{1}{2}\text{HND}(x;\theta)+\frac{1}{2}\text{HND}(-x;\theta)=\frac{1}{2}\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)\,,$

з чого випливає це

\begin{aligned} GND (x; μ, α, β) & = \frac{1}{2} GD (x; \frac{1}{β}, α, β, μ) + \frac{1}{2} GD (- x; \frac{1}{β}, α, β, μ) \\ = \frac{β e^{- {(\frac{| x - μ |}{α})}^{β}}}{2 α Γ (\frac{1}{β})} \end{aligned},

$\begin{align} \text{GND}(x;\mu,\alpha,\beta) &= \frac{1}{2}\text{GD}\left(x;\frac{1}{\beta},\alpha,\beta,\mu \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{\beta},\alpha,\beta,\mu \right)\\ &= \frac{\beta e^{-\left(\dfrac{\left|x-\mu\right|}{\alpha }\right)^{\mathrm{\Large{\beta}}}}}{2 \alpha \Gamma \left(\dfrac{1}{\beta }\right)}\\ \end{align} \,,$

$\mu$ $\alpha>0$ $\beta>0$ $\beta=2$ $\beta=1$ $\beta\rightarrow\infty$ $(\mu-\alpha,\mu+\alpha)$ $\alpha =\frac{\sqrt{\pi} }{2}\,,\beta=1/2,1,4$ $\alpha =\frac{\sqrt{\pi} }{2},\,\beta=2$

Вищезазначене можна розглядати як узагальнений нормальний розподіл Версія 1 і в різних параметризаціях відомий як експоненціальний розподіл потужності та узагальнений розподіл помилок, які, у свою чергу, є одним із кількох інших узагальнених нормальних розподілів .

— Карл
джерело

Виведення хі-квадратного розподілу від звичайного розподілу набагато аналогічне виведенню гамма-розподілу з експоненціального розподілу.

Ми повинні мати можливість узагальнити це:

$X_i$ $m$ $Y = \sum_{i}^n {X_i}^m$ $n/m$

Аналогія така:

Нормальні та Chi-квадратні розподіли відносяться до суми квадратів

$\sum x_i^2$
$f(x_1, x_2, ... ,x_n) = \frac{\exp \left( {-0.5\sum_{i=1}^{n}{x_i}^2}\right)}{(2\pi)^{n/2}}$
$X_i \sim N(0,1)$

$\sum_{i=1}^n {X_i}^2 \sim \chi^2(\nu)$

Експоненціальні та гамма-розподіли відносяться до регулярної суми

$\sum x_i$

$f(x_1, x_2, ... ,x_n) = \frac{\exp \left( -\lambda\sum_{i=1}^{n}{x_i} \right)}{\lambda^{-n}}$
$X_i \sim Exp(\lambda)$

$\sum_{i=1}^n X_i \sim \text{Gamma}(n,\lambda)$

$x_1,x_2,...x_n$

$\chi^2$

\begin{array}{rcl} f_{χ^{2} (n)} (s) d s & = & \frac{e^{- s / 2}}{{(2 π)}^{n / 2}} \frac{d V}{d s} d s \\ = & \frac{e^{- s / 2}}{{(2 π)}^{n / 2}} \frac{π^{n / 2}}{Γ (n / 2)} s^{n / 2 - 1} d s \\ = & \frac{1}{2^{n / 2} Γ (n / 2)} s^{n / 2 - 1} e^{- s / 2} d s \end{array}

$\begin{array}{rcl} f_{\chi^2(n)}(s) ds &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{dV}{ds} ds\\ &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{\pi^{n/2}}{\Gamma(n/2)}s^{n/2-1} ds \\ &=& \frac{1}{2^{n/2}\Gamma(n/2)}s^{n/2-1}e^{-s/2} ds \\ \end{array}$

$V(s) = \frac{\pi^{n/2}}{\Gamma (n/2+1)}s^{n/2}$ $s$ .

Для розподілу гами:

\begin{array}{rcl} f_{G (n, λ)} (s) d s & = & \frac{e^{- λ s}}{λ^{- n}} \frac{d V}{d s} d s \\ = & \frac{e^{- λ s}}{λ^{- n}} n \frac{s^{n - 1}}{n!} d s \\ = & \frac{λ^{n}}{Γ (n)} s^{n - 1} e^{- λ s} d s \end{array}

$\begin{array}{rcl} f_{G(n,\lambda)}(s) ds &=& \frac{e^{-\lambda s}}{\lambda^{-n}} \frac{dV}{ds} ds\\ &=& \frac{e^{-\lambda s}}{\lambda^{-n}} n \frac{s^{n-1}}{n!}ds \\ &=& \frac{\lambda^{n}}{ \Gamma(n)} s^{n-1} e^{-\lambda s} ds \\ \end{array}$

$V(s) = \frac{s^n}{n!}$ $\sum x_i < s$ .

$Y$ $n$ $n$ експоненціально розподілених змінних.

Як вже зазначав Алекос Пападопулос, немає більш глибокого зв'язку, який робить суми квадратних звичайних змінних «хорошою моделлю для очікування часу». Гамма-розподіл - це розподіл для суми узагальнених нормальних розподілених змінних. Ось так вони збираються разом.

Але тип суми та тип змінних можуть бути різними. У той час як гамма-розподіл, отриманий від експоненціального розподілу (р = 1), отримує інтерпретацію експоненціального розподілу (час очікування), ви не можете повернутись назад і повернутися до суми квадратних гауссових змінних і використовувати ту саму інтерпретацію.

Розподіл щільності на час очікування, який падає експоненціально, і розподіл щільності для помилки Гаусса падає експоненціально (з квадратом). Це ще один спосіб бачити, як вони пов'язані.

— Секст Емпірік
джерело