Загальна сума випадкових величин Gamma

35

Я читав, що сума випадкових змінних Gamma з тим же параметром масштабу є ще однією випадковою змінною Gamma. Я також бачив статтю Москопулоса, що описує метод підсумовування загального набору випадкових змінних Гамма. Я спробував застосувати метод Мосхопулоса, але ще не мав успіху.

Як виглядає підсумовування загального набору випадкових величин Gamma? Щоб зробити це питання конкретним, як це виглядає:

$\text{Gamma}(3,1) + \text{Gamma}(4,2) + \text{Gamma}(5,1)$

Якщо наведені вище параметри не особливо показові, запропонуйте іншим.

— OSE
джерело

4

Явне рішення суми будь-яких двох дистрибутивів Gamma було розміщено на сайті stats.stackexchange.com/a/252192 .

— whuber

Особливий приклад цього, коли всі розподіли Gamma мають параметр форми 1 (тобто вони експоненціальні), називають гіпоекспоненціальним розподілом (сімейством) . У випадку лише двох експоненціальних розподілів також існує чітка формула, наведена на сайті stats.stackexchange.com/questions/412849 .

— whuber

37

По-перше, об’єднайте будь-які суми, що мають однаковий масштабний коефіцієнт : плюс змінний утворюють змінну . $\Gamma(n, \beta)$ $\Gamma(m,\beta)$ $\Gamma(n+m,\beta)$

Далі зауважте, що характерна функція (cf) для є , звідки cf суми цих розподілів добуток $\Gamma(n, \beta)$ $(1-i \beta t)^{-n}$

\prod_{j} \frac{1}{(1 - i β_{j} t)^{n_{j}}} .

$\prod_{j} \frac{1}{(1-i \beta_j t)^{n_j}}.$

Коли все інтеграл, цей продукт розширюється по мірі часткова часткою в лінійну комбінацію з , де цілих чисел від і . У прикладі з (із суми та ) та знаходимо $n_j$ $(1-i \beta_j t)^{-\nu}$ $\nu$ $1$ $n_j$ $\beta_1 = 1, n_1=8$ $\Gamma(3,1)$ $\Gamma(5,1)$ $\beta_2 = 2, n_2=4$

\frac{1}{(1 - i t)^{8}} \frac{1}{(1 - 2 i t)^{4}} = \frac{1}{(x + i)^{8}} - \frac{8 i}{(x + i)^{7}} - \frac{40}{(x + i)^{6}} + \frac{160 i}{(x + i)^{5}} + \frac{560}{(x + i)^{4}} - \frac{1792 i}{(x + i)^{3}} - \frac{5376}{(x + i)^{2}} + \frac{15360 i}{x + i} + \frac{256}{(2 x + i)^{4}} + \frac{2048 i}{(2 x + i)^{3}} - \frac{9216}{(2 x + i)^{2}} - \frac{30720 i}{2 x + i} .

$\frac{1}{(1-i t)^{8}}\frac{1}{(1- 2i t)^{4}} = \\ \frac{1}{(x+i)^8}-\frac{8 i}{(x+i)^7}-\frac{40}{(x+i)^6}+\frac{160 i}{(x+i)^5}+\frac{560}{(x+i)^4}-\frac{1792 i}{(x+i)^3}\\-\frac{5376}{(x+i)^2}+\frac{15360 i}{x+i}+\frac{256}{(2 x+i)^4}+\frac{2048 i}{(2 x+i)^3}-\frac{9216}{(2 x+i)^2}-\frac{30720 i}{2 x+i}.$

Зворотне прийняття cf - це зворотне перетворення Фур'є, яке є лінійним : це означає, що ми можемо застосовувати його термін за терміном. Кожен термін можна розпізнати як кратне cf дистрибутива Gamma і тому легко інвертується, щоб отримати PDF . У отриманому прикладі

\frac{e^{- t} t^{7}}{5040} + \frac{1}{90} e^{- t} t^{6} + \frac{1}{3} e^{- t} t^{5} + \frac{20}{3} e^{- t} t^{4} + \frac{8}{3} e^{- \frac{t}{2}} t^{3} + \frac{280}{3} e^{- t} t^{3} - 128 e^{- \frac{t}{2}} t^{2} + 896 e^{- t} t^{2} + 2304 e^{- \frac{t}{2}} t + 5376 e^{- t} t - 15360 e^{- \frac{t}{2}} + 15360 e^{- t}

$\frac{e^{-t} t^7}{5040}+\frac{1}{90} e^{-t} t^6+\frac{1}{3} e^{-t} t^5+\frac{20}{3} e^{-t} t^4+\frac{8}{3} e^{-\frac{t}{2}} t^3+\frac{280}{3} e^{-t} t^3\\ -128 e^{-\frac{t}{2}} t^2+896 e^{-t} t^2+2304 e^{-\frac{t}{2}} t+5376 e^{-t} t-15360 e^{-\frac{t}{2}}+15360 e^{-t}$

для PDF суми.

Це кінцева суміш розподілів гамми, що мають коефіцієнти масштабу, рівні коефіцієнтів, що знаходяться в межах суми та коефіцієнтів форми, менших або рівних коефіцієнтам в межах суми. За винятком спеціальних випадків (де можливе скасування), кількість термінів задається загальним параметром форми (якщо всі різні). $n_1 + n_2 + \cdots$ $n_j$

Як тест, ось гістограма з результатами, отриманими додаванням незалежних малюнків з розподілів та . На нього накладається графік у рази попередньої функції. Підгонка дуже хороша. $10^4$ $\Gamma(8,1)$ $\Gamma(4,2)$ $10^4$

Малюнок

Москопулос переносить цю ідею на крок далі, розширюючи cf суму на нескінченний ряд характерних функцій Гамми, коли один або кілька є , а потім припиняє нескінченний ряд у точці, де воно досить добре наближене. $n_i$

— дзижчати
джерело

2

Незначне коментар: Як правило, кінцеве суміш означає PDF виду , де і , тобто, є ймовірності та pdf можна інтерпретувати як (закон загальної ймовірності) зваженої суми умовних pdfs з урахуванням різних умов, що трапляються з ймовірностями . Однак у вищенаведеній сумі деякі коефіцієнти від’ємні, і тому стандартне тлумачення суміші не застосовується.

f (x) = \sum_{i = 1}^{n} a_{i} f_{i} (x)

$f(x) = \sum_{i=1}^n a_i f_i(x)$

a_{i} > 0

$a_i > 0$

\sum_{i} a_{i} = 1

$\sum_i a_i = 1$

a_{i}

$a_i$

a_{i}

$a_i$

— Діліп Сарват

@Dilip Це хороший момент. Цією справою є те, що хоча деякі коефіцієнти можуть бути негативними, однак це поєднання все ще є дійсним розподілом (за своєю конструкцією).

— whuber

Чи можна розширити цей підхід для врахування додавання залежних змінних? Зокрема, я хочу додати 6 дистрибутивів, кожен з яких має певну кореляцію з іншими.

— masher

11

Я покажу ще одне можливе рішення, яке досить широко застосовується, а з сучасним програмним забезпеченням R, досить простим у виконанні. Це наближення щільності сідлових точок, яке повинно бути більш відомим!

Для термінології розподілу гами я дотримуюся https://en.wikipedia.org/wiki/Gamma_distribution з параметризацією форми / масштабу, - параметр форми, а - масштаб. Для наближення сідлоподібної точки я дотримуюся Рональда У Батлера: "Наближення сідлових точок з додатками" (Cambridge UP). Наближення сідлових точок пояснюється тут: Як працює наближення сідлових точок? тут я покажу, як це використовується в цій програмі. $k$ $\theta$

Нехай - випадкова величина з існуючою функцією, що генерує момент яка повинна існувати для в деякому відкритому інтервалі, який містить нуль. Тоді визначте функцію генерації накопичувача через Відомо, що . Рівняння сідлової точки - що неявно визначає як функцію (яка повинна знаходитися в діапазоні ). Запишемо цю неявно визначену функцію як . Зауважимо, що рівняння сідлових точок завжди має рівно одне рішення, оскільки кумулятивна функція опукла. $X$

M (s) = E e^{s X}

$M(s) = E e^{sX}$

s

$s$

K (s) = \log M (s)

$K(s) = \log M(s)$

E X = K^{'} (0), Var (X) = K^{″} (0)

$E X = K'(0), \text{Var} (X) = K''(0)$

K^{'} (\hat{s}) = x

$K'(\hat{s}) = x$

s

$s$

x

$x$

X

$X$

\hat{s} (x)

$\hat{s}(x)$

Тоді перевалу наближення до щільності з задається Ця приблизна функція густини не гарантується інтегруванням до 1, так само ненормоване наближення сідлових точок. Ми могли б її інтегрувати чисельно і перенормувати, щоб отримати краще наближення. Але це наближення гарантовано є негативним. $f$ $X$

\hat{f} (x) = \frac{1}{\sqrt{2 π K^{″} (\hat{s})}} \exp (K (\hat{s}) - \hat{s} x)

$\hat{f}(x) = \frac1{\sqrt{2\pi K''(\hat{s})}} \exp(K(\hat{s}) - \hat{s} x)$

Тепер нехай є незалежними гамма-випадковими змінними, де має розподіл з параметрами . Тоді сукупною функцією генерації є визначена для . Перша похідна - а друга похідна - Далі я наведу деякий код, що обчислює це, і буду використовувати значення параметрів , , $X_1, X_2, \dots, X_n$ $X_i$ $(k_i, \theta_i)$

K (s) = - \sum_{i = 1}^{n} k_{i} \ln (1 - θ_{i} s)

$K(s) = -\sum_{i=1}^n k_i \ln(1-\theta_i s)$

s < 1 / max (θ_{1}, θ_{2}, \dots, θ_{n})

$s<1/\max(\theta_1, \theta_2, \dots, \theta_n)$

K^{'} (s) = \sum_{i = 1}^{n} \frac{k_{i} θ_{i}}{1 - θ_{i} s}

$K'(s) = \sum_{i=1}^n \frac{k_i \theta_i}{1-\theta_i s}$

K^{″} (s) = \sum_{i = 1}^{n} \frac{k_{i} θ_{i}^{2}}{(1 - θ_{i} s)^{2}} .

$K''(s) = \sum_{i=1}^n \frac{k_i \theta_i^2}{(1-\theta_i s)^2}.$ R

n = 3

$n=3$

k = (1, 2, 3)

$k=(1,2,3)$

θ = (1, 2, 3)

$\theta=(1,2,3)$ . Зауважте, що наступний Rкод використовує новий аргумент у функції uniroot, введеній в R 3.1, тому не буде працювати у старих R.

shape <- 1:3 #ki
scale <- 1:3 # thetai
# For this case,  we get expectation=14,  variance=36
make_cumgenfun  <-  function(shape, scale) {
      # we return list(shape, scale, K, K', K'')
      n  <-  length(shape)
      m <-   length(scale)
      stopifnot( n == m, shape > 0, scale > 0 )
      return( list( shape=shape,  scale=scale, 
                    Vectorize(function(s) {-sum(shape * log(1-scale * s) ) }),
                    Vectorize(function(s) {sum((shape*scale)/(1-s*scale))}) ,
                    Vectorize(function(s) { sum(shape*scale*scale/(1-s*scale)) }))    )
}

solve_speq  <-  function(x, cumgenfun) {
          # Returns saddle point!
          shape <- cumgenfun[[1]]
          scale <- cumgenfun[[2]]
          Kd  <-   cumgenfun[[4]]
          uniroot(function(s) Kd(s)-x,lower=-100,
                  upper = 0.3333, 
                  extendInt = "upX")$root
}

make_fhat <-  function(shape,  scale) {
    cgf1  <-  make_cumgenfun(shape, scale)
    K  <-  cgf1[[3]]
    Kd <-  cgf1[[4]]
    Kdd <- cgf1[[5]]
    # Function finding fhat for one specific x:
    fhat0  <- function(x) {
        # Solve saddlepoint equation:
        s  <-  solve_speq(x, cgf1)
        # Calculating saddlepoint density value:
        (1/sqrt(2*pi*Kdd(s)))*exp(K(s)-s*x)
    }
    # Returning a vectorized version:
    return(Vectorize(fhat0))
} #end make_fhat

 fhat  <-  make_fhat(shape, scale)
plot(fhat, from=0.01,  to=40, col="red", main="unnormalized saddlepoint approximation\nto sum of three gamma variables")

в результаті виходить наступний сюжет: введіть тут опис зображення

Я залишу нормоване наближення сідлових точок як вправу.

— kjetil b halvorsen
джерело

1

Це цікаво, але я не можу змусити ваш Rкод працювати, щоб порівняти наближення до точної відповіді. Будь-яка спроба викликати fhatпороджує помилки, очевидно, у використанні uniroot.

— whuber

3

Яка ваша R-версія? Коди використовують новий аргумент для uniroot, exteInt, який був представлений у версії R 3.1. Якщо ваш R старший, ви можете спробувати його видалити (та продовжити інтервал, наданий uniroot). Але це зробить код менш надійним!

— kjetil b halvorsen

10

Рівняння Вельча-Саттерватвайта можна було б використовувати для отримання приблизної відповіді у вигляді розподілу гамми. Це чудова властивість дозволяти нам розглядати розподіли гами як (приблизно) закриті додатково. Це наближення у поширеному t-тесті Вельча.

(Гамма-розподіл можна розглядати як масштабований розподіл chi-квадрата та допускає параметр форми не цілого числа.)

Я адаптував наближення до параметризації гамма-дистрибуції: $k, \theta$

k_{s u m} = \frac{(\sum_{i} θ_{i} k_{i})^{2}}{\sum_{i} θ_{i}^{2} k_{i}}

$k_{sum} = { (\sum_i \theta_i k_i)^2 \over \sum_i \theta_i^2 k_i }$

θ_{s u m} = \frac{\sum θ_{i} k_{i}}{k_{s u m}}

$\theta_{sum} = { { \sum \theta_i k_i } \over k_{sum} }$

Нехай , $k=(3,4,5)$ $\theta=(1,2,1)$

Таким чином, ми отримуємо приблизно Гамму (10,666 ..., 1,5)

Ми бачимо, що параметр форми був більш-менш загальним, але трохи меншим, оскільки параметри масштабу входу відрізняються. така, що сума має правильне середнє значення. $k$ $\theta_i$ $\theta$

— Пол Гаррісон
джерело

6

Точне рішення згортку (тобто, сума) гамма - розподілів дається як рівняння. (1) у пов'язаному форматі PDF від DiSalvo . Оскільки це небагато часу, копіювання сюди знадобиться певний час. Для лише двох гамма-розподілів їх точна сума у закритому вигляді визначається рівнянням. (2) DiSalvo і без ваг по рівнянню. (5) Wesolowski та ін. , яка також з’являється на сайті резюме як відповідь на це питання. Це є, $n$

Г D С (а, б, α, β; τ) = {\begin{array}{cc} \frac{б^{а} β^{α}}{Γ (а + α)} е^{- б τ} {τ^{а + α}}^{- 1}_{1} Ж_{1} [α, а + α, (б - β) τ], & τ > 0 \\ 0, τ \leq 0 \end{array},

$\mathrm{G}\mathrm{D}\mathrm{C}\left(\mathrm{a}\kern0.1em ,\mathrm{b}\kern0.1em ,\alpha, \beta; \tau \right)=\left\{\begin{array}{cc}\hfill \frac{{\mathrm{b}}^{\mathrm{a}}{\beta}^{\alpha }}{\Gamma \left(\mathrm{a}+\alpha \right)}{e}^{-\mathrm{b}\tau }{\tau^{\mathrm{a}+\alpha}}^{-1}{}_1F_1\left[\alpha, \mathrm{a}+\alpha, \left(\mathrm{b}-\beta \right)\tau \right],\hfill & \hfill \tau >0\hfill \\ {}\hfill \kern2em 0\kern6.6em ,\hfill \kern5.4em \tau \kern0.30em \le \kern0.30em 0\hfill \end{array}\right.,$ де позначення у вищезазначених питаннях; , тут. Тобто, і - константи швидкості, а не шкали часу.

G a m m a (a, b) \to Γ (a, 1 / b)

$Gamma(a,b) \rightarrow \Gamma(a,1/b)$

b

$b$

β

$\beta$

— Карл
джерело