Тест на кінцеву дисперсію?

Чи можна перевірити на скінченність (або існування) дисперсії випадкової величини, що дається вибіркою? Як нуль, або {варіація існує і є кінцевою}, або {дисперсія не існує / є нескінченною} було б прийнятним. Філософсько (і обчислювально) це здається дуже дивним, оскільки не повинно бути різниці між сукупністю без кінцевої дисперсії та кількістю з дуже великою дисперсією (скажімо> ), тому я не сподіваюся, що ця проблема може бути вирішено.$10^{400}$

Один із підходів, який був запропонований мені, був через теорему про центральний межа: якщо припустити, що вибірки є ідентичними, а популяція має кінцеве середнє значення, можна якось перевірити, чи має середнє значення вибірки правильну стандартну помилку із збільшенням розміру вибірки. Я не впевнений, я вважаю, що цей метод спрацював би. (Зокрема, я не бачу, як зробити це належним тестом.)

Ні, це неможливо, оскільки кінцевий зразок розміру не може достовірно розрізнити, скажімо, нормальну популяцію та нормальну популяцію, забруднену 1 / N величиною розподілу Коші, де N >> n . (Звичайно, перший має кінцеву дисперсію, а другий - нескінченну дисперсію.) Таким чином, будь-який абсолютно непараметричний тест матиме довільно низьку потужність щодо таких альтернатив.$n$$1/N$$N$$n$

Ви не можете бути впевнені, не знаючи розподілу. Але ви можете зробити певні речі, такі як перегляд того, що можна назвати "частковою дисперсією", тобто якщо у вас є вибірка розміру , ви намалюєте дисперсію, оцінену з перших n термінів, причому n працює від 2 до N .$N$$n$$n$$N$

З обмеженою дисперсією населення ви сподіваєтесь, що часткова дисперсія незабаром осідає близько до дисперсії сукупності.

З нескінченною дисперсією сукупності ви бачите стрибки в частковій дисперсії з подальшим повільним зниженням до наступного дуже великого значення у вибірці.

Це ілюстрація з випадковими змінними Normal та Cauchy (та шкалою журналу)

Це може не допомогти, якщо форма вашого розповсюдження така, що потрібен набагато більший розмір вибірки, ніж у вас, щоб ідентифікувати його з достатньою впевненістю, тобто там, де дуже великі значення досить (але не надзвичайно) рідкісні для розподілу з кінцевою дисперсією, або вкрай рідкісні для розподілу з нескінченною дисперсією. Для даного розподілу існуватимуть вибіркові розміри, які швидше, ніж не розкриють його природу; навпаки, для заданого розміру вибірки існують розподіли, які швидше за все не маскують їхню природу під цей розмір вибірки.

Ось ще одна відповідь. Припустимо, ви могли б параметризувати проблему приблизно так:

$$H_{0}:\ X \sim t(\mathtt{df}=3)\mathrm{\ versus\ } H_{1}:\ X \sim t(\mathtt{df}=1).$$

Тоді ви могли б зробити звичайний тест вірогідності Неймана-Пірсона проти H 1 . Зауважимо, що H 1 - Коші (нескінченна дисперсія), а H 0 - звичайний t Стьюдента з 3 ступенями свободи (кінцева дисперсія), який має PDF: f ( x | ν ) = Γ ( ν + $H_{0}$$H_{1}$$H_{1}$$H_{0}$ $t$

$$f(x|\nu) = \frac{\Gamma\left(\frac{\nu + 1}{2}\right)}{\sqrt{\nu\pi}\Gamma\left(\frac{\nu}{2}\right)}\left(1 + \frac{x^{2}}{\nu} \right)^{-\frac{\nu + 1}{2}},$$

для . З урахуванням простих випадкових даних вибірки x 1 , x 2 , … , x n , тест відношення ймовірності відхиляє H 0, коли Λ ( x ) = ∏ n i = 1 f ( x i | ν = 1 $-\infty < x < \infty$$x_{1},x_{2},\ldots,x_{n}$$H_{0}$ деk≥0вибирається таким, що P(Λ(X)>

$$\Lambda(\mathbf{x}) = \frac{\prod_{i=1}^{n}f(x_{i}|\nu = 1)}{\prod_{i=1}^{n}f(x_{i}|\nu = 3)} > k,$$ $k \geq 0$ $$P(\Lambda(\mathbf{X}) > k\,|\nu = 3) = \alpha.$$

Трохи алгебри спростити

$$\Lambda(\mathbf{x}) = \left(\frac{\sqrt{3}}{2}\right)^{n}\prod_{i = 1}^{n}\frac{\left(1 + x_{i}^{2}/3 \right)^{2}}{1 + x_{i}^{2}}.$$

Отже, знову ж таки, ми отримуємо просту випадкову вибірку, обчислюємо і відкидаємо H 0, якщо Λ ( x ) занадто великий. Наскільки великий? Ось така весела частина! Буде важко (неможливо?) Отримати закриту форму для критичного значення, але ми могли б наблизити її так близько, як нам подобається. Ось один із способів зробити це за допомогою Р. Припустимо, α = 0,05 , а для сміху скажемо n = 13 .$\Lambda(\mathbf{x})$$H_{0}$$\Lambda(\mathbf{x})$$\alpha = 0.05$$n = 13$

Ми формуємо купу зразків під , обчислюємо Λ для кожного зразка, а потім знаходимо 95-й квантил.$H_{0}$$\Lambda$

set.seed(1)
x <- matrix(rt(1000000*13, df = 3), ncol = 13)
y <- apply(x, 1, function(z) prod((1 + z^2/3)^2)/prod(1 + z^2))
quantile(y, probs = 0.95)

Це виявляється, що (через кілька секунд) на моїй машині було , яке після множення на ( $\approx 12.8842$ єдо≈1,9859. Звичайно, є й інші, кращі способи наблизити це, але ми просто розігруємось.$(\sqrt{3}/2)^{13}$$k \approx 1.9859$

$H_{0}$$H_{1}$$\alpha$

Відмова від відповідальності: це приклад іграшки. У мене немає жодної ситуації в реальному світі, в якій мені було б цікаво дізнатися, чи надійшли мої дані з Коші, на відміну від t-студента з 3 df. І в оригінальному запитанні нічого не було сказано про параметризовані проблеми, здавалося, що він шукав більше непараметричного підходу, який, на мою думку, був вирішений іншими. Мета цієї відповіді - майбутнім читачам, які натрапляють на назву питання та шукають класичного запиленого підходу до підручника.

$H_{1}:\nu \leq 1$

$D\equiv Y_{1},Y_{2},\dots,Y_{N}$

1. $H_{0}:Y_{i}\sim Normal(\mu,\sigma)$
2. $H_{A}:Y_{i}\sim Cauchy(\nu,\tau)$

Одна гіпотеза має кінцеву дисперсію, одна - нескінченна дисперсія. Просто обчисліть шанси:

$$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\frac{\int P(D,\mu,\sigma|H_{0},I)d\mu d\sigma}{\int P(D,\nu,\tau|H_{A},I)d\nu d\tau}$$

$\frac{P(H_{0}|I)}{P(H_{A}|I)}$

$$P(D,\mu,\sigma|H_{0},I)=P(\mu,\sigma|H_{0},I)P(D|\mu,\sigma,H_{0},I)$$ $$P(D,\nu,\tau|H_{A},I)=P(\nu,\tau|H_{A},I)P(D|\nu,\tau,H_{A},I)$$

$L_{1}<\mu,\tau<U_{1}$$L_{2}<\sigma,\tau<U_{2}$

$$\frac{\left(2\pi\right)^{-\frac{N}{2}}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma$$

$s^2=N^{-1}\sum_{i=1}^{N}(Y_i-\overline{Y})^2$$\overline{Y}=N^{-1}\sum_{i=1}^{N}Y_i$

$$\frac{\pi^{-N}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau$$

І тепер, приймаючи співвідношення, ми виявляємо, що важливі частини констант, що нормалізуються, скасовуються, і ми отримуємо:

$$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{\pi}{2}\right)^{\frac{N}{2}}\frac{\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

І всі інтеграли все ще належні в межі, щоб ми могли отримати:

$$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{2}{\pi}\right)^{-\frac{N}{2}}\frac{\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

$$\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma=\sqrt{2N\pi}\int_{0}^{\infty}\sigma^{-N} exp\left(-\frac{Ns^{2}}{2\sigma^{2}}\right)d\sigma$$

$\lambda=\sigma^{-2}\implies d\sigma = -\frac{1}{2}\lambda^{-\frac{3}{2}}d\lambda$

$$-\sqrt{2N\pi}\int_{\infty}^{0}\lambda^{\frac{N-1}{2}-1} exp\left(-\lambda\frac{Ns^{2}}{2}\right)d\lambda=\sqrt{2N\pi}\left(\frac{2}{Ns^{2}}\right)^{\frac{N-1}{2}}\Gamma\left(\frac{N-1}{2}\right)$$

And we get as a final analytic form for the odds for numerical work:

$$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\times\frac{\pi^{\frac{N+1}{2}}N^{-\frac{N}{2}}s^{-(N-1)}\Gamma\left(\frac{N-1}{2}\right)}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

So this can be thought of as a specific test of finite versus infinite variance. We could also do a T distribution into this framework to get another test (test the hypothesis that the degrees of freedom is greater than 2).

The counterexample is not relevant to the question asked. You want to test the null hypothesis that a sample of i.i.d. random variables is drawn from a distribution having finite variance, at a given significance level. I recommend a good reference text like "Statistical Inference" by Casella to understand the use and the limit of hypothesis testing. Regarding h.t. on finite variance, I don't have a reference handy, but the following paper addresses a similar, but stronger, version of the problem, i.e., if the distribution tails follow a power law.

POWER-LAW DISTRIBUTIONS IN EMPIRICAL DATA SIAM Review 51 (2009): 661--703.

One approach that had been suggested to me was via the Central Limit Theorem.

This is a old question, but I want to propose a way to use the CLT to test for large tails.

Let $X = \{X_1,\ldots,X_n\}$ be our sample. If the sample is a i.i.d. realization from a light tail distribution, then the CLT theorem holds. It follows that if $Y = \{Y_1,\ldots,Y_n\}$ is a bootstrap resample from $X$ then the distribution of:

$$Z = \sqrt{n}\times\frac{mean(Y) - mean(X)}{sd(Y)},$$

is also close to the N(0,1) distribution function.

Now all we have to do is perform a large number of bootstraps and compare the empirical distribution function of the observed Z's with the e.d.f. of a N(0,1). A natural way to make this comparison is the Kolmogorov–Smirnov test.

The following pictures illustrate the main idea. In both pictures each colored line is constructed from a i.i.d. realization of 1000 observations from the particular distribution, followed by a 200 bootstrap resamples of size 500 for the approximation of the Z ecdf. The black continuous line is the N(0,1) cdf.