За яким розподілом відбувається обернена нормальна CDF бета-випадкової змінної?

14

Припустимо, Ви визначаєте:

X \sim Beta (α, β)

$X\sim\mbox{Beta}(\alpha,\beta)$

Y \sim Φ^{- 1} (X)

$Y\sim \Phi^{-1}(X)$

де - зворотна CDF стандартного нормального розподілу . $\Phi^{-1}$

Моє запитання: чи існує простий розподіл, який слід , або який може наближати ? $Y$ $Y$ Я запитую, оскільки у мене є сильні підозри на основі результатів моделювання (показано нижче), що переходить до нормального розподілу, коли і високі, але я не знаю, чому це буде математично. (Звичайно, коли , буде рівномірним, а - стандартним нормальним, але чому це буде істинно для більш високих значень?). $Y$ $\alpha$ $\beta$ $\alpha=1;\beta=1$ $X$ $Y$

Якщо це збігається з нормальним, якими би були параметри цієї норми, з точки зору $\alpha$ та $\beta$ ? (Я очікую, що середнє значення буде $\Phi^{-1}(\frac{\alpha}{\alpha+\beta})$ оскільки це трансформація режиму, але я не знаю стандартного відхилення).

(По-іншому, це може бути запитання "чи $\Phi(\mbox{Norm}(\mu, \sigma))$ переходить до бета-розподілу для певного напрямку $\mu$ та $\sigma$ "? Я не впевнений, чи це простіше відповісти).

Результати моделювання

Тут я показую, чому я підозрюю, що результат є нормальним (оскільки я не можу зробити це резервним з математикою). Моделювання можна виконати в R з і . Наприклад, вибираючи високі параметри та : $Y$ qnormrnorm $\alpha=3000$ $\beta=7000$

hist(qnorm(rbeta(5000, 3000, 7000)))

Це дійсно виглядає нормально, а qqnormй на тест Шапіро-Wilk (в якій нормальність є нульова гіпотеза) Пропонуйте так само:

qqnorm(qnorm(rbeta(5000, 3000, 7000)))

shapiro.test(qnorm(rbeta(5000, 3000, 7000)))
#> 
#>  Shapiro-Wilk normality test
#> 
#> data:  qnorm(rbeta(5000, 3000, 7000))
#> W = 0.99954, p-value = 0.2838

Щоб вивчити нормальність трохи глибше, я виконую 2000 моделювання, кожен раз імітуючи 5000 значень від , потім виконую тест, щоб порівняти його з нормальним. (Я вибрав значення 5K, тому що це максимальний вміст, і максимізує потужність для виявлення відхилень від норми). $Y$ shapiro.test

Якби розподіл справді був нормальним, ми очікували б, що р-значення було б рівномірним (оскільки нульове значення відповідає дійсності). Вони дійсно близькі до рівномірних, що дозволяє припустити, що розподіл дуже близький до нормального:

hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 3000, 7000)))$p.value))

Деякі експерименти показують, що чим вище і , тим ближче розподіл стає нормальним (наприклад, це досить далеко від нормального, але спробуйте, і, здається, він знаходиться десь між ними). $\alpha$ $\beta$ rbeta(5000, 3, 7)hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 30, 70)))$p.value))

r normal-distribution mathematical-statistics beta-distribution

— Девід Робінсон
джерело

2

Тут нічого цікавого не відбувається. Оскільки і зростають, припустимо, що вони залишаються в однаковій пропорції, або принаймні, що залишається далеко від і . Тоді розподіл бета стає нормальним і сконцентрованим у довільно вузькому діапазоні. , будучи диференційованим, стає по суті лінійним, звідси ви просто дивитесь на лінійну трансформацію майже нормальної змінної. Цей результат не має нічого спільного з самим і не додає жодної інформації про бета-версії.

α

$\alpha$

β

$\beta$

α / (α + β)

$\alpha/(\alpha+\beta)$

0

$0$

1

$1$

(α, β)

$(\alpha,\beta)$

Φ^{- 1}

$\Phi^{-1}$

Φ^{- 1}

$\Phi^{-1}$

— качан

1

@whuber Це має сенс для великих та (у мене були деякі симуляції, які змусили мене думати, що це ближче до нормального, ніж еквівалент нормальному приблизно до бета, але після повторного повторювання, я вважаю, що у мене була помилка в той час). Будь-які думки про ; ? Dist є дуже далеким від нормального, але qnorm його досить близький.

α

$\alpha$

β

$\beta$

α = 2

$\alpha=2$

β = 2

$\beta=2$

— Девід Робінсон

1

Наприклад, спробуйте hist(replicate(1000, shapiro.test(rbeta(5000, 2, 2))$p.value)), значить hist(replicate(1000, shapiro.test(qnorm(rbeta(5000, 2, 2)))$p.value)). Іншими словами, коли це нормально, тому що бета рівномірна, коли і є високими, це тому, що бета приблизно нормальна, але чому вона працює, коли вони рівні і між ними , де це ні нормально, ні рівномірно?

α = β = 1

$\alpha=\beta=1$

α

$\alpha$

β

$\beta$

— Девід Робінсон

5

Це, безумовно, цікавіше! Ви впевнені, що Beta не дуже близький до Normal, але перетворення приблизно нормальне, навіть для малих параметрів Beta. Відхилення від нормальності стають очевидними у хвостах, навколо або більше, але напрочуд невеликі у всьому тілі розподілу. Зрештою, це простежується до правової поведінки хвостів Beta.

Z = \pm 3

$Z=\pm 3$

— whuber

7

Конспект

Ви знову виявили частину побудови, описану в теоремі про центральний межа для зразків медіанів , яка ілюструє аналіз медіани вибірки. (Аналіз, очевидно, застосовується, mutatis mutandis , до будь-якого квантилу, а не лише до медіани). Тому не дивно, що для великих параметрів бета-версії (що відповідають великим вибіркам) нормальне розподіл виникає при перетворенні, описаному в питанні. Цікавить, наскільки близький до нормального розподіл навіть для малих бета-параметрів. Це заслуговує пояснення.

Я начертаю аналіз нижче. Щоб зберегти цю посаду на розумній тривалості, це передбачає безліч натякаючих руками: я прагну лише вказати на ключові ідеї. Тому дозвольте підвести підсумки тут:

Коли близьке до , все симетрично. Це призводить до того, що трансформований розподіл вже виглядає нормальним. $\alpha$ $\beta$
Функції форми в першу чергу виглядають досить нормально, навіть для малих значень і (за умови, що обидва перевищують і їх співвідношення не надто близько до або ). $\Phi^{\alpha-1}(x)\left(1-\Phi(x)\right)^{\beta-1}$ $\alpha$ $\beta$ $1$ $0$ $1$
Очевидна нормальність трансформованого розподілу пояснюється тим, що його щільність складається з нормальної щільності, помноженої на функцію в (2).
У міру збільшення та відхід від Нормальності може бути виміряний в решті в серії Тейлора для щільності журналу. Термін порядку зменшується пропорційно потужностям і . Це означає, що в кінцевому підсумку для досить великих та всі умови потужності і більше стали відносно невеликими, залишаючи лише квадратичну: яка саме є щільність журналу нормального розподілу. $\alpha$ $\beta$ $n$ $(n-2)/2$ $\alpha$ $\beta$ $\alpha$ $\beta$ $n=3$

У сукупності ці форми поведінки чудово пояснюють, чому навіть для малих та неекстремальні квантиліди зразка Звичайної норми виглядають приблизно нормально. $\alpha$ $\beta$

Аналіз

Оскільки це може бути корисним для узагальнення, нехай - будь-яка функція розподілу, хоча ми маємо на увазі . $F$ $F=\Phi$

Функція щільності змінної Beta за визначенням пропорційна $g(y)$ $(\alpha,\beta)$

y^{α - 1} (1 - y)^{β - 1} d y .

$y^{\alpha-1}(1-y)^{\beta-1}dy.$

Нехай - інтегральне перетворення ймовірності і записує для похідної , одразу ж, що має щільність, пропорційну $y=F(x)$ $x$ $f$ $F$ $x$

G (x; α, β) = F (x)^{α - 1} (1 - F (x))^{β - 1} f (x) d x .

$G(x;\alpha,\beta)=F(x)^{\alpha-1}(1-F(x))^{\beta-1}f(x)dx.$

Оскільки це монотонне перетворення сильно одномодального розподілу (бета-версія), якщо є досить дивним, трансформований розподіл також буде одномодальним. Щоб вивчити, наскільки вона може бути близькою до нормальної, розглянемо логарифм її щільності, $F$

\begin{matrix} (1) & \log G (x; α, β) = (α - 1) \log F (x) + (β - 1) \log (1 - F (x)) + \log f (x) + C \end{matrix}

$\log G(x;\alpha,\beta) = (\alpha-1)\log F(x) + (\beta-1)\log(1-F(x)) + \log f(x) + C\tag{1}$

де - невідповідна константа нормалізації. $C$

Розгорніть компоненти у серії Taylor, щоб упорядкувати три навколо значення (що буде близьким до режиму). Наприклад, ми можемо записати розширення як $\log G(x;\alpha,\beta)$ $x_0$ $\log F$

\log F (x) = c_{0}^{F} + c_{1}^{F} (x - x_{0}) + c_{2}^{F} (x - x_{0})^{2} + c_{3}^{F} h^{3}

$\log F(x) = c^{F}_0 + c^{F}_1 (x-x_0) + c^{F}_2(x-x_0)^2 + c^{F}_3h^3$

за деякий з . Використовуйте аналогічні позначення для та . $h$ $|h| \le |x-x_0|$ $\log(1-F)$ $\log f$

Лінійні умови

Лінійний член в тим самим стає $(1)$

g_{1} (α, β) = (α - 1) c_{1}^{F} + (β - 1) c_{1}^{1 - F} + c_{1}^{f} .

$g_1(\alpha,\beta) = (\alpha-1)c^{F}_1 + (\beta-1)c^{1-F}_1 + c^{f}_1.$

Коли - режим $x_0$ , цей вираз дорівнює нулю. Зауважте, що оскільки коефіцієнти є неперервними функціями , оскільки і змінюються, режим буде постійно змінюватися. Більше того, коли і є достатньо великими, термін стає відносно невпливним. Якщо ми прагнемо вивчити межу як і для якої залишається в постійній пропорції $G(\,;\alpha,\beta)$ $x_0$ $\alpha$ $\beta$ $x_0$ $\alpha$ $\beta$ $c^{f}_1$ $\alpha\to\infty$ $\beta\to\infty$ $\alpha:\beta$ $\gamma$ , тому ми можемо раз і назавжди вибрати базову точку для якої $x_0$

γ c_{1}^{F} + c_{1}^{1 - F} = 0.

$\gamma c^{F}_1 + c^{1-F}_1 = 0.$

Хороший випадок, коли , де всьому протязі, а симетричний приблизно . У цьому випадку очевидно , . $\gamma=1$ $\alpha=\beta$ $F$ $0$ $x_0=F(0)=1/2$

Ми домоглися методу, згідно з яким (a) в граничному значенні термін першого порядку в серії Тейлора зникає, а (b) у щойно описаному спеціальному випадку, термін першого порядку завжди дорівнює нулю.

Квадратні терміни

Це суми

g_{2} (α, β) = (α - 1) c_{2}^{F} + (β - 1) c_{2}^{1 - F} + c_{2}^{f} .

$g_2(\alpha,\beta) = (\alpha-1)c^{F}_2 + (\beta-1)c^{1-F}_2 + c^{f}_2.$

За порівнянні з нормальним розподілом, чий квадратичний член , можна оцінити , що приблизно дисперсія . Будемо стандартизувати , змінивши розмір за його квадратним коренем. нам насправді не потрібні деталі; достатньо зрозуміти, що цей масштаб буде множити коефіцієнт $-(1/2)(x-x_0)^2/\sigma^2$ $-1/(2g_2(\alpha,\beta))$ $G$ $G$ $x$ в розширенні Тейлора на $(x-x_0)^n$ $(-1/(2g_2(\alpha,\beta)))^{n/2}.$

Залишок терміну

Ось пункт пунктину: термін порядку в розширенні Тейлора - згідно з нашими позначеннями, $n$

g_{n} (α, β) = (α - 1) c_{n}^{F} + (β - 1) c_{n}^{1 - F} + c_{n}^{f} .

$g_n(\alpha,\beta) = (\alpha-1)c^{F}_n + (\beta-1)c^{1-F}_n + c^{f}_n.$

Після стандартизації це стає

g_{n}^{'} (α, β) = \frac{g_{n} (α, β)}{(- 2 g_{2} (α, β))^{n / 2})} .

$g_n^\prime(\alpha,\beta) = \frac{g_n(\alpha,\beta)}{(-2g_2(\alpha,\beta))^{n/2})}.$

Обидва є афінним поєднанням і . Піднімаючи знаменник до потужності , чиста поведінка має порядок в кожному з і . Оскільки ці параметри зростають великими, то кожен додаток у розширенні Тейлора після другого зменшується до нуля асимптотично. Зокрема, термін залишку третього порядку стає довільно малим. $g_i$ $\alpha$ $\beta$ $n/2$ $-(n-2)/2$ $\alpha$ $\beta$

Випадок, коли в нормі $F$

Знищення терміну, що залишився, особливо швидко, коли є стандартним нормальним, оскільки в цьому випадку є чисто квадратичним: він нічого не вносить до решти. Отже, відхилення від нормальності залежить виключно від відхилення між і нормальністю. $F$ $f(x)$ $G$ $F^{\alpha-1}(1-F)^{\beta-1}$

Це відхилення досить мале навіть для малих і . Для ілюстрації розглянемо випадок . симетричний, від чого термін порядку 3 взагалі зникає. Залишок порядку в . $\alpha$ $\beta$ $\alpha=\beta$ $G$ $4$ $x-x_0=x$

Ось сюжет, що показує, як стандартизований термін четвертого порядку змінюється при малих значеннях : $\alpha \gt 1$

Значення починається з для , оскільки тоді розподіл, очевидно, є нормальним ( застосований до рівномірного розподілу, який є Beta , дає стандартний нормальний розподіл). Хоча вона швидко зростає, вона знижується на рівні менше - що практично не відрізняється від нуля. Після цього починається асимптотичний зворотний розпад, що робить розподіл все ближчим до нормального, оскільки збільшується понад . $0$ $\alpha=\beta=1$ $\Phi^{-1}$ $(1,1)$ $0.008$ $\alpha$ $2$

— дзижчати
джерело

2

Конвергенція

Припустимо, що і нехай і приймає будь-який малий . Тоді . За нерівністю Чебишева маємо і . Це означає, що сходиться за ймовірністю (а ~~не за розподілом~~ $\alpha = \beta$ $\alpha \to \infty$ $\varepsilon > 0$ $var(X) \to 0$ $\mathbb{P} [\vert X - 0.5 \vert > \varepsilon] \to 0$ $\mathbb{P} [\vert Y \vert > \varepsilon] \to 0$ $Y$ насправді вона сходиться в розподілі - до однотонної).

Точний розподіл

Позначимо через щільність бета-розподілу. Тоді ваша змінна має щільність Оскільки не має закритої форми, я вважаю, що це найдальше (аналітично). Ви можете спробувати ввести його у функцію у Wolfram Mathematica, щоб побачити, чи знайде вона кращу форму. $f_X$ $Y$

f_{Y} (y) = f_{X} (Φ (y)) ϕ (y) .

$f_Y (y) = f_X ( \Phi (y) ) \phi (y).$

Φ

$\Phi$ FullSimplify

Ось щільність у R, так що ви можете побудувати її замість гістограми.

f_y <- function(x, alpha, beta) {
  dbeta(pnorm(x), alpha, beta) * dnorm(x)
}

Модифікація

Однак вас, можливо, цікавить розподіл . (все ще припускаючи, що) Це може бути корисно, оскільки

Z = Φ^{- 1} (\sqrt{α} X)

$Z = \Phi^{-1} (\sqrt{\alpha} X)$

α = β

$\alpha = \beta$

(кориснотому що він не дорівнює нулю).

v a r (\sqrt{α} X) \to 1 / 8

$var(\sqrt{\alpha} X) \to 1/8$

— Ян Кіслінгер
джерело

1

$k \in \mathbb N$ $k \geq 2$ $X \sim \text{Beta}(k,k)$ $Y = \Phi^{-1}(X)$

Now let $n=2k-1$ . We start by drawing $n$ i.i.d. uniformly distributed random variables $U_1, \dotsc, U_n$ . Next, form the order statistics $U_{(1)} \leq \dotsc \leq U_{(n)}$ .

It is well known that $U_{(k)} \sim \text{Beta}(k, n+1-k)$ , thus:

U_{(k)} \sim Beta (k, k)

$U_{(k)} \sim \text{Beta}(k, k)$

In other words: The sample median of $n$ i.i.d. uniformly distributed random variables is $\text{Beta}(k,k)$ distributed.

Now let's transform by $Z_i = \Phi^{-1}(U_i)$ . Then by the probability integral transform, the $Z_i$ are i.i.d. normally distributed. Also form the order statistics of the $Z_i$ ( $Z_{(1)} \leq \dotsc \leq Z_{(n)}$ ). Since $\Phi^{-1}$ is strictly increasing, it follows that:

Φ^{- 1} (U_{(k)}) = Z_{(k)}

$\Phi^{-1}(U_{(k)}) = Z_{(k)}$

Therefore, to show that $Y$ is approximately normal, we just have to argue that the sample median of $n$ i.i.d. normal random variables is approximately normal.

For $k$ large, this can be made precise by a central limit theorem for sample medians. For $k$ small, say $k=2$ , I will let everyone's gut feeling do the speaking.

For $a \neq b$ (but not too different) one can argue similarly by using corresponding quantiles.

— air
джерело

За яким розподілом відбувається обернена нормальна CDF бета-випадкової змінної?

Результати моделювання

Конспект

Аналіз

Лінійні умови

Квадратні терміни

Залишок терміну

Випадок, коли в норміFFF

Конвергенція

Точний розподіл

Модифікація

Випадок, коли в нормі $F$