У кого важчий хвіст, лонормальний або гамма?

(Це засновано на питанні, яке щойно прийшло до мене електронною поштою; я додав деякий контекст із попередньої короткої розмови з тією ж людиною.)

Минулого року мені сказали, що гамма-розподіл важчий, ніж логічний, і з тих пір мені сказали, що це не так.

• Що є більш важким хвостом?

• Які ресурси я можу використати для вивчення стосунків?

(Правий) хвіст розподілу описує його поведінку при великих значеннях. Правильний об'єкт дослідження не є його щільність - що в багатьох практичних випадках не існує - а її функція розподілу . Більш конкретно, оскільки повинен піднятися асимптотично до для великих аргументів (Законом повної ймовірності), нас цікавить, наскільки швидко він наближається до цієї асимптотики: нам потрібно дослідити поведінку функції її виживання як .F 1 x 1 - F ( x ) x → ∞$F$$F$$1$$x$ $1- F(x)$$x \to \infty$

В Зокрема, одне розподілу для випадкової величини є «важче» , ніж іншим при умови , що в кінцевому підсумку має більше ймовірності того, при великих значеннях , ніж . Це можна формалізувати: повинно існувати кінцеве число таким, що для всіх ,X G F G x 0 x > x 0 Pr F ( X > x ) = 1 - F ( x ) > 1 - G ( x ) = Pr G ( X > x ) $F$$X$$G$ $F$$G$$x_0$$x \gt x_0$

Червона крива на цьому малюнку є функцією виживання для розподілу Пуассона . Синя крива - це розподіл Гамма , який має однакову дисперсію. Врешті-решт синя крива завжди перевищує червону, показуючи, що ця гамма-розподіл має більш важкий хвіст, ніж цей розподіл Пуассона. Ці розподіли не можна легко порівняти за допомогою щільності, оскільки розподіл Пуассона не має щільності.( 3 $(3)$$(3)$

Це вірно , що , коли щільність і існують і для , то важче хвостами , ніж . Однак зворотне хибне - і це є переконливою причиною для визначення визначення важкості хвоста на функціях виживання, а не на густинах, навіть якщо часто аналіз хвостів може бути легше провести з використанням густин.g f ( x ) > g ( x ) x > x 0 F $f$$g$$f(x) \gt g(x)$$x \gt x_0$$F$$G$

Контрприклади можна побудувати, взявши дискретний розподіл позитивної необмеженої підтримки, який, тим не менш, не є більш важким, ніж (дискретизуючий зробить трюк). Перетворіть це на безперервний розподіл, замінивши масу ймовірності у кожній з його опорних точок , записану , на (скажімо) масштабний розподіл Beta на підтримку на відповідний інтервал і зважено . Враховуючи невелике додатне число виберітьG G H k h ( k ) ( 2 , 2 ) [ k - ε ( k ) , k + ε ( k ) ] h ( k ) δ , ε ( k ) f ( k ) / δ δ H + ( 1 - δ ) G G ′ G δ H f $H$$G$$G$$H$$k$$h(k)$$(2,2)$$[k-\varepsilon(k), k+\varepsilon(k)]$$h(k)$$\delta,$$\varepsilon(k)$достатньо мала, щоб гарантувати, що пікова щільність цього масштабованого бета-розподілу перевищує . За побудовою суміш - це безперервний розподіл , хвіст якого схожий на (він рівномірно крихітний на суму ), але має шипи у своїй щільність при опорі і всі ці шипи мають точки, де вони перевищують щільність . Таким чином легше хвостами , ніж , але незалежно від того , як далеко в хвості ми туди буде точки , де його щільність перевищує .$f(k)/\delta$$\delta H + (1-\delta )G$$G^\prime$$G$$\delta$$H$$f$ F $G^\prime$$F$$F$

Червона крива - це PDF-розподіл Гамма-розподілу , крива золота - PDF логістичного розподілу , а синя крива (зі шипами) - PDF суміші побудованої як у контрприкладі. (Зверніть увагу на вісь логарифмічної щільності.) Функція виживання близька до функції розподілу Гамми (з швидко розпадаються хитаннями): вона в кінцевому підсумку зростатиме менше, ніж у , навіть якщо її PDF завжди буде вище цього з незалежно від того, наскільки далеко ми не заглядаємо в хвости.$G$$F$$G^\prime$$G^\prime$$F$$F$

Обговорення

Між іншим, ми можемо виконати цей аналіз безпосередньо на функціях виживання лонормальних та гамма-розподілів, розширивши їх навколо щоб знайти їх асимптотичну поведінку, і зробимо висновок, що всі логістики мають більш важкі хвости, ніж у всіх гамм. Але, оскільки ці розподіли мають "хороші" щільності, аналіз легше проводиться, показуючи, що для досить великого логістична щільність перевищує гамма-щільність. Однак не будемо плутати цю аналітичну зручність із значенням важкого хвоста.$x=\infty$$x$

Аналогічно, хоча більш високі моменти та їх варіанти (такі як косоокість та куртоз) трохи говорять про хвости, вони не дають достатньої інформації. Як простий приклад, ми можемо скоротити будь-який лонормальний розподіл при такому великому значенні, що будь-яке число його моментів ледве зміниться - але тим самим ми видалимо його хвіст цілком, зробивши його більш легким, ніж будь-який розподіл з необмеженим підтримка (наприклад, Gamma).

Справедливим запереченням проти цих математичних суперечок було б зазначити, що така поведінка, яка знаходиться так далеко у хвості, не має практичного застосування, бо ніхто ніколи не вірить, що будь-яка модель розподілу буде дійсною при таких екстремальних (можливо фізично недосяжних) значеннях. Це показує, однак, що у програмах нам слід обережно визначити, яка частина хвоста викликає занепокоєння, та проаналізувати їх відповідно. (Наприклад, періоди повторної повені можна зрозуміти в цьому сенсі: 10-річні повені, 100-річні повені та 1000-річні повені характеризують окремі ділянки хвоста розповсюдження повені.) Хоча застосовуються ті самі принципи: Основним об'єктом аналізу тут є функція розподілу, а не його щільність.

Гамма і лонормальне - це правильне перекос, розподіл постійних коефіцієнтів коливання на , і вони часто є основою "конкуруючих" моделей для конкретних видів явищ.$(0,\infty)$

Існують різні способи визначення тяжкості хвоста, але в цьому випадку я думаю, що всі звичні показують, що логоритм важчий. (Про що може говорити перша людина - це те, що відбувається не в далекому хвості, а трохи праворуч від режиму (скажімо, біля 75-го перцентиля на першому сюжеті внизу, що для логістики трохи нижче 5 а гамма трохи вище 5.)

Однак давайте для початку просто вивчимо це питання.

Нижче наведені гамма та лонормальна щільність із середнім значенням 4 та дисперсією 4 (верхній сюжет - гама темно-зеленого кольору, лонормальна - синього кольору), а потім журнал густини (нижній), тож ви можете порівняти тенденції у хвостах:

Важко побачити багато деталей у верхньому сюжеті, тому що всі дії справа від 10. Але це зовсім зрозуміло на другому сюжеті, де гамма рухається вниз набагато швидше, ніж лонормальне.

Ще один спосіб дослідити взаємозв’язок - подивитися на щільність колод, як у відповіді тут ; ми бачимо, що щільність колод для лонормальної є симетричною (це нормально!), а для гами - лівосторонній, з легким хвостом справа.

Ми можемо це зробити алгебраїчно, де ми можемо розглядати співвідношення щільності як (або логічний коефіцієнт). Нехай - гумальна щільність і логічна:g $x\rightarrow\infty$$g$$f$

Термін у [] є квадратичним у , а решта зменшується лінійно у . Незалежно від того, що в підсумку знизиться швидше, ніж квадратичне збільшення, незалежно від значення параметрів . У обмеженні, як , журнал відношення щільності зменшується до , що означає, що гама pdf з часом значно менша, ніж лонормальний pdf, і вона постійно зменшується. Якщо прийняти відношення в інший бік (з лонормальним вгорі), воно в підсумку повинно перевищити будь-яку межу.x - x / β x → ∞ - $\log(x)$$x$$-x/\beta$$x\rightarrow\infty$$-\infty$

Тобто, будь-яка дана логіка в кінцевому підсумку є важчою, ніж будь-яка гама.

Інші визначення важкості:

Деякі люди зацікавлені в косості або куртозі для вимірювання тяжкості правого хвоста. При заданому коефіцієнті варіації лонормальне значення має і більше перекосів, і має більший куртоз, ніж гамма . **

Наприклад, при косості гама має косисть 2CV, тоді як лонормальна - 3CV + CV .$^3$

Є деякі технічні терміни різних заходів , як важкі хвости тут . Ви можете спробувати деякі з цих двох дистрибутивів. Лонормальне є цікавим особливим випадком у першому визначенні - всі його моменти існують, але його MGF не збігається вище 0, тоді як MGF для Gamma конвергується в районі навколо нуля.

-

** Як згадує Нік Кокс нижче, звичайне перетворення для наближення нормальності для гами, перетворення Вілсона-Гільферті, слабше, ніж лог - це кубічне перетворення кореня. При невеликих значеннях параметра фігури згадується четвертий корінь, замість цього див. Обговорення в цій відповіді , але в будь-якому випадку це слабша трансформація для досягнення майже нормальності.

Порівняння косоокості (або куртозу) не говорить про необхідні стосунки в крайньому хвості - це натомість щось говорить про середню поведінку; але з цієї причини може працювати краще, якщо початковий пункт не робився про крайній хвіст.

Ресурси : легко користуватися такими програмами, як R або Minitab, Matlab або Excel, або будь-що, що вам подобається, малювати щільності та журнали, а також журнали відношень щільності ... і так далі, щоб побачити, як все йде в конкретних випадках. Саме з цього я б запропонував почати.

Хоча куртоз пов'язаний із важкістю хвостів, він би більше сприяв уявленню про розподіл жиру , а також відносно менше до самої важкості хвоста, як видно з наступного прикладу. Тут я зараз відновлюю те, що я дізнався у публікаціях вище та нижче, які є справді чудовими коментарями. По-перше, площа правого хвоста - це область від x до функції щільності, AKA функція виживання, . Для логічного розподілу і розподіл гамиf ( x ) 1 - F ( t ) e - ( log ( x ) - μ ) $\infty$$f(x)$$1-F(t)$βαxα-1e-β$\frac{e^{-\frac{(\log (x)-\mu )^2}{2 \sigma ^2}}}{\sqrt{2 \pi } \sigma x};x\geq 0$$\frac{\beta ^{\alpha } x^{\alpha -1} e^{-\beta x}}{\Gamma (\alpha )};x\geq 0$, порівняємо їх функції виживання та графічно. Для цього я довільно встановлюю відповідні їх відхилення і , а також їх відповідні надлишкові куртози і дорівнює, вибравши і для . Це показує$\frac{1}{2} \text{erfc}\left(\frac{ \log (x)-\mu}{\sqrt{2} \sigma}\right)$$Q(\alpha ,\beta x)=\frac{\Gamma (\alpha , \beta x)}{\Gamma (\alpha )}$$\left(e^{\sigma ^2}-1\right) e^{2 \mu +\sigma ^2}$$\frac{\alpha }{\beta ^2}$$3 e^{2 \sigma ^2}+2 e^{3 \sigma ^2}+e^{4 \sigma ^2}-6$$\frac{6}{\alpha }$$\mu =0, \sigma =0.8$$\alpha \to 0.19128,\beta \to 0.335421$

функція виживання для лонормального розподілу (LND) синього кольору та гамма-розподілу (GD) оранжевим. Це приводить нас до нашої першої обережності. Тобто, якби цей сюжет був усім, що ми мали б вивчити, ми могли б зробити висновок, що хвіст для GD важчий, ніж для LND. Що це не так, показано розширенням таким чином значень осі x для графіку

Цей графік показує, що 1) навіть при рівних куртозах правильні хвостові ділянки LND та GD можуть відрізнятися. 2) Сама графічна інтерпретація має свої небезпеки, оскільки вона може відображати результати лише для фіксованих значень параметрів у обмеженому діапазоні. Таким чином, виникає потреба знайти загальні вирази для граничного відношення функції виживання . Я не зміг цього зробити з нескінченними розширеннями серій. Однак мені вдалося це зробити за допомогою посередника термінальних або асимптотичних функцій, які не є унікальними функціями, і тоді, коли для правого хвоста тоді достатньо для і$\lim_{x\to \infty } \, \frac{S(\text{LND},x)}{S(\text{GD},x)}$$\lim_{x\to \infty } \, \frac{F(x)}{G(x)}=1$$F(x)$$G(x)$бути взаємно асимптотичними. При належному дотриманні уваги до пошуку цих функцій це може потенційно визначити підмножину більш простих функцій, ніж самі функції виживання, які можуть бути спільними або утримуватися спільно з більш ніж однією функцією щільності, наприклад, дві функції різної щільності можуть поділятись обмежуючий експоненціальний хвіст. У попередній версії цього допису це саме те, що я мав на увазі "додану складність порівняння функцій виживання". Зауважте, що і (До речі, не обов'язково і$\lim_{u\to \infty } \, \frac{\text{erfc}(u)}{\frac{e^{-u^2}}{\sqrt{\pi } u}}=1$$\lim_{u\to \infty } \, \frac{\Gamma (\alpha ,u)}{e^{-u} u^{\alpha -1}}=1$$\text{erfc}(u)<\frac{e^{-u^2}}{\sqrt{\pi } u}$$\Gamma (\alpha ,u )<e^{-u} u^{\alpha -1}$ . Тобто не слід вибирати верхню межу, просто асимптотичну функцію). Тут ми пишемо і де співвідношення термінів правої руки має те саме обмеження, що і як у лівій частині. Спрощення граничного співвідношення врожаїв правої руки$\frac{1}{2} \text{erfc}\left(\frac{\log (x)-\mu }{\sqrt{2} \sigma }\right)<\frac{e^{-\left(\frac{\log (x)-\mu }{\sqrt{2} \sigma }\right)^2}}{\frac{2 \left(\sqrt{\pi } (\log (x)-\mu )\right)}{\sqrt{2} \sigma }}$$\frac{\Gamma (\alpha ,\beta x)}{\Gamma (\alpha )}<\frac{e^{-\text{$\beta $x}} (\beta x)^{\alpha -1}}{\Gamma (\alpha )}$$x\to \infty$α<$\lim_{x\to \infty } \, \frac{\sigma \Gamma (\alpha ) (\beta x)^{1-\alpha } e^{\beta x-\frac{(\mu -\log (x))^2}{2 \sigma ^2}}}{\sqrt{2 \pi } (\log (x)-\mu )}=\infty$ означає, що для x досить великої області хвоста LND є настільки великі, як нам подобається, порівняно з областю хвоста GD, незалежно від значення параметрів. Тому виникає ще одна проблема: у нас не завжди є рішення, які відповідають дійсним для всіх значень параметрів, тому використання лише графічних ілюстрацій може ввести в оману. Наприклад, права хвоста площа розподілу гамма більша за хвостову область експоненціального розподілу, коли , менша, ніж експоненціальна, коли а ГД - це точно експоненціальне розподіл, коли .$\alpha < 1$$\alpha >1$$\alpha =1$

Яке ж використання приймати логарифми відношення функцій виживання, оскільки нам, очевидно, не потрібно приймати логарифми, щоб знайти граничне співвідношення? Багато функцій розподілу містять експоненціальні доданки, які виглядають простішими при прийнятті логарифму, і якщо відношення переходить до нескінченності в межі, коли х зростає, то і логарифм буде робити це. У нашому випадку це дозволило би нам перевірити , яку деякі люди вважають простішими для перегляду. Нарешті, якщо відношення функцій виживання перейде до нуля, то логарифм цього відношення перейде до-$\lim_{x\to \infty } \, \left(\log \left(\frac{\sigma \Gamma (\alpha ) (\beta x)^{1-\alpha }}{\sqrt{2 \pi } (\log (x)-\mu )}\right)+\beta x-\frac{(\mu -\log (x))^2}{2 \sigma ^2}\right)=\infty$$-\infty$, і в усіх випадках після знаходження межі логарифма відношення ми повинні взяти антилогіартизм цього значення, щоб зрозуміти його зв'язок із граничним значенням звичайного відношення функції виживання.