Показати оцінку конверсується до відсотків за допомогою статистики замовлень

Нехай - послідовність iid випадкових змінних, відібраних з альфа-стабільного розподілу , з параметрами . $X_1, X_2, \ldots, X_{3n}$ $\alpha = 1.5, \; \beta = 0, \; c = 1.0, \; \mu = 1.0$

Тепер розглянемо послідовність , де , для . $Y_1, Y_2, \ldots, Y_{n}$ $Y_{j+1} = X_{3j+1}X_{3j+2}X_{3j+3} - 1$ $j=0, \ldots, n-1$

Я хочу оцінити $0.01-$ відсотків.

Моя ідея полягає у виконанні свого роду моделювання Монте-Карло:

l = 1;
while(l < max_iterations)
{
  Generate $X_1, X_2, \ldots, X_{3n}$ and compute $Y_1, Y_2, \ldots, Y_{n}$;
  Compute $0.01-$percentile of current repetition;
  Compute mean $0.01-$percentile of all the iterations performed;
  Compute variance of $0.01-$percentile of all the iterations performed;
  Calculate confidence interval for the estimate of the $0.01-$percentile;

  if(confidence interval is small enough)
    break;

}

Викликаючи середнє значення для всіх вибіркових процентних відсотків, обчислених на та їх відмінність , щоб обчислити відповідний інтервал довіри для , я вдаюся до сильної форми теореми про центральну межу : $0.01-$ $\hat{\mu}_n$ $\hat{\sigma}^{2}_{n}$ $\mu$

Нехай - це послідовність iid випадкових змінних з та . Визначте середнє значення вибірки як . Тоді, має обмежувальний стандартний нормальний розподіл, тобто $X_1, X_2, \ldots$ $E \left[ X_i \right] = \mu$ $0 < V \left[ X_i \right] = \sigma^2 < \infty$ $\hat{\mu}_n = (1/n) \sum_{i=1}^n X_i$ $(\hat{\mu}_n - \mu) / \sqrt{\sigma^{2}/n}$
$\frac{{\hat{μ}}_{n} - μ}{\sqrt{σ^{2} / n}} \overset{n \to \infty}{⟶} N (0, 1) .$ $\frac{\hat{\mu}_n - \mu}{\sqrt{\sigma^{2}/n}} \overset{n \rightarrow \infty} \longrightarrow N(0,1).$

і теорему Слукссі зробити висновок, що

\sqrt{n} \frac{{\hat{μ}}_{n} - μ}{\sqrt{{\hat{σ}}_{n}^{2}}} \overset{n \to \infty}{⟶} N (0, 1) .

$\sqrt{n} \frac{\hat{\mu}_n - \mu}{\sqrt{\hat{\sigma}^{2}_{n}}} \overset{n \rightarrow \infty} \longrightarrow N(0,1).$

Тоді А -confidence інтервал для є $(1-\alpha)\times 100\%$ $\mu$

I_{α} = [{\hat{μ}}_{n} - z_{1 - α / 2} \sqrt{\frac{{\hat{σ}}_{n}^{2}}{n}}, {\hat{μ}}_{n} + z_{1 - α / 2} \sqrt{\frac{{\hat{σ}}_{n}^{2}}{n}}],

$I_{\alpha} = \left[\hat{\mu}_n - z_{1- \alpha / 2} \sqrt{\frac{\hat{\sigma}^{2}_{n}}{n}} , \hat{\mu}_n + z_{1- \alpha / 2} \sqrt{\frac{\hat{\sigma}^{2}_{n}}{n}} \right],$ де - -кілька стандартного нормального розподілу.

z_{1 - α / 2}

$z_{1- \alpha / 2}$

(1 - α / 2)

$(1- \alpha / 2)$

Запитання:

1) Чи правильний мій підхід? Як я можу обґрунтувати застосування CLT? Я маю на увазі, як я можу показати, що дисперсія є кінцевою? (Чи потрібно дивитись на дисперсію ? Тому що я не думаю, що це скінченно ...) $Y_j$

2) Як я можу показати, що середнє значення для всіх обчислених вибірки процентних відсотків збігається до справжнього значення перцентиля? (Я повинен використовувати статистику замовлень, але я не впевнений, як провести процедуру; посилання оцінюються.) $0.01-$ $0.01-$

— Майя
джерело

Усі методи, застосовані до медіа проб на сайті stats.stackexchange.com/questions/45124, також застосовуються до інших відсотків. По суті, ваше запитання ідентичне тому, але лише замінює 50-й перцентиль першим (або 0,01, можливо,?) Перцентилем.

— блуд

@whuber, ваша відповідь на це питання надзвичайно хороша. однак Glen_b заявляє, що наприкінці своєї посади (прийнята відповідь), що приблизна норма "не відповідає крайнім квантилам, оскільки CLT не забиває туди (середнє значення Z не буде асимптотично нормальним") ). Вам потрібна інша теорія для екстремальних значень ". Наскільки я повинен перейматися цим твердженням?

— Майя

Я вважаю, що він насправді не мав на увазі екстремальних квантилів , а лише самих крайнощів . (Насправді він виправив цей проміжок в кінці того ж речення, посилаючись на них як на "крайні значення".) Відмінність полягає в тому, що крайній квантил, такий як перпендилій .01 (який позначає нижню 1/10000-ту частину розподіл) стабільно стабілізується, оскільки все більше і більше даних у вибірці все ще будуть опускатися нижче, і все більше і більше буде опускатися вище цього відсотка. З крайнім (таким як максимум чи мінімум), що вже не так.

— whuber

Це проблема, яку слід вирішити загалом з використанням емпіричної теорії процесу. Деяка допомога щодо вашого рівня підготовки була б корисною.

— AdamO

Дисперсія не є кінцевою. $Y$ Це відбувається тому , що альфа-стійкого змінні з (а розподіл Хольцмаркі ) дійсно має кінцевий математичне очікування , але її дисперсія є нескінченною. Якби у була кінцева дисперсія , то, використовуючи незалежність та визначення дисперсії, ми могли б обчислити $X$ $\alpha=3/2$ $\mu$ $Y$ $\sigma^2$ $X_i$

\begin{aligned} σ^{2} = Var (Y) & = E (Y^{2}) - E (Y)^{2} \\ = E (X_{1}^{2} X_{2}^{2} X_{3}^{2}) - E (X_{1} X_{2} X_{3})^{2} \\ = E (X^{2})^{3} - {(E (X)^{3})}^{2} \\ = {(Var (X) + E (X)^{2})}^{3} - μ^{6} \\ = {(Var (X) + μ^{2})}^{3} - μ^{6} . \end{aligned}

$\eqalign{ \sigma^2 = \operatorname{Var}(Y) &= \mathbb{E}(Y^2) - \mathbb{E}(Y)^2 \\ &= \mathbb{E}(X_1^2X_2^2X_3^2) - \mathbb{E}(X_1X_2X_3)^2 \\ &= \mathbb{E}(X^2)^3 - \left(\mathbb{E}(X)^3\right)^2 \\ &= \left(\operatorname{Var}(X) + \mathbb{E}(X)^2\right)^3 - \mu^6 \\ &= \left(\operatorname{Var}(X) + \mu^2\right)^3 - \mu^6. }$

Це кубічне рівняння в має принаймні одне реальне рішення (і до трьох рішень, але не більше), що означає, що ім'я було б кінцевим - але це не так. Ця суперечність доводить твердження. $\operatorname{Var}(X)$ $\operatorname{Var}(X)$

Перейдемо до другого питання.

Будь-який квантил вибірки перетворюється на справжній квантил, коли зразок збільшується. Наступні кілька абзаців підтверджують цей загальний пункт.

Нехай пов'язана ймовірність буде (або будь-яке інше значення між і , виключно). Напишіть для функції розподілу, щоб - квантил. $q=0.01$ $0$ $1$ $F$ $Z_q=F^{-1}(q)$ $q^{\text{th}}$

Все, що нам потрібно припустити, це те, що (квантильна функція) є безперервним. Це запевняє нас, що для будь-якого існують ймовірності і для яких $F^{-1}$ $\epsilon\gt 0$ $q_-\lt q$ $q_+\gt q$

F (Z_{q} - ϵ) = q_{-}, F (Z_{q} + ϵ) = q_{+},

$F(Z_q - \epsilon) = q_-,\quad F(Z_q + \epsilon) = q_+,$

і що як , межа інтервалу дорівнює . $\epsilon\to 0$ $[q_-, q_+]$ $\{q\}$

Розглянемо будь-який зразок розміру . Кількість елементів цього зразка, що менше має розподіл, оскільки кожен елемент незалежно має шанс бути меншим за . Теорема центрального граничного значення (звичайна!) Означає, що для досить великого кількість елементів, менших від , задається нормальним розподілом із середнім та дисперсією (до довільно гарне наближення). Нехай CDF стандартного нормального розподілу буде . Шанс, що ця кількість перевищує $n$ $Z_{q_-}$ $(q_-, n)$ $q_-$ $Z_{q_-}$ $n$ $Z_{q_-}$ $nq_-$ $nq_-(1-q_-)$ $\Phi$ $nq$ тому довільно близький до

1 - Φ (\frac{n q - n q_{-}}{\sqrt{n q_{-} (1 - q_{-})}}) = 1 - Φ (\sqrt{n} \frac{q - q_{-}}{\sqrt{q_{-} (1 - q_{-})}}) .

$1-\Phi\left(\frac{nq - nq_-}{\sqrt{nq_-(1-q_-)}}\right) = 1-\Phi\left(\sqrt{n}\frac{q - q_-}{\sqrt{q_-(1-q_-)}}\right).$

Оскільки аргумент на праворуч є фіксованим кратним , він зростає довільно великим, оскільки росте. Оскільки є CDF, його значення довільно наближається до , показуючи граничне значення цієї ймовірності дорівнює нулю. $\Phi$ $\sqrt{n}$ $n$ $\Phi$ $1$

На словах: у граничній майже напевно випадок, що елементів вибірки не менше . Аналогічний аргумент доводить, що майже напевно випадок, що елементів вибірки не більше . Разом з них випливає, що квантиль достатньо великої вибірки, ймовірно, лежить між та . $nq$ $Z_{q_-}$ $nq$ $Z_{q_+}$ $q$ $Z_q-\epsilon$ $Z_q+\epsilon$

Це все, що нам потрібно для того, щоб знати, що моделювання спрацює. Ви можете вибрати будь-яку бажану ступінь точності та рівень довіри та знати, що для досить великого розміру вибірки статистика порядку, найближча до у цьому зразку, матиме шанс принаймні опинитися в межах справжнього . $\epsilon$ $1-\alpha$ $n$ $nq$ $1-\alpha$ $\epsilon$ $Z_q$

Встановивши, що моделювання спрацює, решта легко. Межі довіри можна отримати з обмежень для розподілу біномів і потім перетворити назад. Подальше пояснення (для , але узагальнююче для всіх квантилів) можна знайти у відповідях із теореми центрального граничного значення для медіанів вибірки . $q=0.50$

квантиль є негативним. Його розподіл вибірки сильно перекошений. Щоб зменшити перекіс, На цьому малюнку показана гістограма логарифмів негативів в 1000 імітованих зразків значень . $q=0.01$ $Y$ $n=300$ $Y$

library(stabledist)
n <- 3e2
q <- 0.01
n.sim <- 1e3

Y.q <- replicate(n.sim, {
  Y <- apply(matrix(rstable(3*n, 3/2, 0, 1, 1), nrow=3), 2, prod) - 1
  log(-quantile(Y, 0.01))
})
m <- median(-exp(Y.q))
hist(Y.q, freq=FALSE, 
     main=paste("Histogram of the", q, "quantile of Y for", n.sim, "iterations" ),
     xlab="Log(-Y_q)",
     sub=paste("Median is", signif(m, 4), 
               "Negative log is", signif(log(-m), 4)),
     cex.sub=0.8)
abline(v=log(-m), col="Red", lwd=2)

— дзижчати
джерело