Чи можу я відновити нормальний розподіл за розміром вибірки, значеннями min та max? Я можу використовувати середню точку для проксі середнього

Я знаю, що це може бути трохи моторошно, статистично, але це моя проблема.

У мене дуже багато даних про діапазон, тобто мінімальний, максимальний і розмір вибірки змінної. Для деяких із цих даних я також маю на увазі, але не багато. Я хочу порівняти ці діапазони один з одним, щоб кількісно визначити мінливість кожного діапазону, а також порівняти засоби. У мене є вагомі підстави припустити, що розподіл симетричний навколо середнього значення, і що дані матимуть розподіл Гаусса. З цієї причини я думаю, що можу виправдати, використовуючи середину точки розподілу як проксі для середнього, коли вона відсутня.

Що я хочу зробити, це реконструювати розподіл для кожного діапазону, а потім використовувати його для надання стандартного відхилення або стандартної помилки для цього розподілу. Єдина інформація, яку я маю, - це макс та хв, що спостерігаються у вибірці, і середня точка як проксі для середнього.

Таким чином я сподіваюся, що зможу обчислити зважені засоби для кожної групи, а також розробити коефіцієнт варіації для кожної групи, виходячи з даних про діапазон і моїх припущень (симетричного та нормального розподілу).

Я планую використовувати R для цього, тому будь-яка допомога з кодом буде також вдячна.

— green_thinlake
джерело

Мені було цікаво, чому ви кажете, що у вас є дані для мінімальних та максимальних & максимальних значень; потім пізніше, що у вас є інформація лише про очікуваний мінімум та максимум. Що це - спостерігається чи очікується?

— Scortchi

Вибачте, це моя помилка. Максимальні та мінімальні дані спостерігаються (вимірюються з об'єктів реального життя). Я внесла зміни до посади.

— green_thinlake

Відповіді:

Функція спільного кумулятивного розподілу для мінімуму $x_{(1)}$ та максимуму $x_{(n)}$ для вибірки $n$ з гауссового розподілу із середнім $\mu$ & стандартним відхиленням $\sigma$ дорівнює

F (x_{(1)}, x_{(n)}; μ, σ) = Pr (X_{(1)} < x_{(1)}, X_{(n)} < x_{(n)}) = Pr (X_{(n)} < x_{(n)}) - Pr (X_{(1)} > x_{(1)}, X_{(n)} < x_{(n)} = Φ {(\frac{x_{(n)} - μ}{σ})}^{n} - {[Φ (\frac{x_{(n)} - μ}{σ}) - Φ (\frac{x_{(1)} - μ}{σ})]}^{n}

$F(x_{(1)},x_{(n)};\mu,\sigma) = \Pr(X_{(1)}<x_{(1)}, X_{(n)}<x_{(n)})\\ =\Pr( X_{(n)}<x_{(n)}) - \Pr(X_{(1)}>x_{(1)}, X_{(n)}<x_{(n)}\\ =\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right)^n - \left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) -\Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right]^n$

де - стандартний гауссова CDF. Диференціація відносно & дає функцію щільності ймовірності спільних $\Phi(\cdot)$ $x_{(1)}$ $x_{(n)}$

f (x_{(1)}, x_{(n)}; μ, σ) = n (n - 1) {[Φ (\frac{x_{(n)} - μ}{σ}) - Φ (\frac{x_{(1)} - μ}{σ})]}^{n - 2} \cdot ϕ (\frac{x_{(n)} - μ}{σ}) \cdot ϕ (\frac{x_{(1)} - μ}{σ}) \cdot \frac{1}{σ^{2}}

$f(x_{(1)},x_{(n)};\mu,\sigma) =\\ n(n-1)\left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) - \Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right]^{n-2}\cdot\phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right)\cdot\phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\cdot\tfrac{1}{\sigma^2}$

де - стандартний гауссовий PDF. Прийняття термінів журналу та випаду, що не містять параметрів, дає функцію вірогідності журналу $\phi(\cdot)$

ℓ (μ, σ; x_{(1)}, x_{(n)}) = (n - 2) \log [Φ (\frac{x_{(n)} - μ}{σ}) - Φ (\frac{x_{(1)} - μ}{σ})] + \log ϕ (\frac{x_{(n)} - μ}{σ}) + \log ϕ (\frac{x_{(1)} - μ}{σ}) - 2 \log σ

$\ell(\mu,\sigma;x_{(1)},x_{(n)}) =\\ (n-2)\log\left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) - \Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right] + \log\phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) + \log\phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right) - 2\log\sigma$

Це не виглядає дуже слухняною , але це легко бачити , що це максимально незалежно від значення , встановивши $\sigma$ , тобто середина - перший додаток максимізується, коли аргумент одного CDF є негативним аргументом іншого; другий і третій терміни представляють спільну ймовірність двох незалежних нормальних змінних. $\mu=\hat\mu=\frac{x_{(n)}+x_{(1)}}{2}$

Підставляючи в лог-правдоподібності і писати дає $\hat\mu$ $r=x_{(n)}-x_{(1)}$

ℓ (σ; x_{(1)}, x_{(n)}, \hat{μ}) = (n - 2) \log [1 - 2 Φ (\frac{- r}{2 σ})] - \frac{r^{2}}{4 σ^{2}} - 2 \log σ

$\ell(\sigma;x_{(1)},x_{(n)},\hat\mu)=(n-2)\log\left[1 - 2\Phi\left(\tfrac{-r}{2\sigma}\right)\right] - \frac{r^2}{4\sigma^2} -2\log{\sigma}$

Цей вислів має бути розгорнуто чисельно (наприклад, optimizeз R в statпакеті) , щоб знайти . (Виявляється, що , де постійна , що залежить тільки від -Можливо хто - то більш математично спритним , ніж я міг би показати , чому.) $\hat\sigma$ $\hat\sigma=k(n)\cdot r$ $k$ $n$

Оцінки не є корисними без супутньої міри точності. Спостережувана інформація Фішера може бути оцінена чисельно (наприклад, з пакета hessianR numDeriv) та використана для обчислення приблизних стандартних помилок:

I (μ) = - {\frac{\partial^{2} ℓ (μ; \hat{σ})}{(\partial μ)^{2}} |}_{μ = \hat{μ}}

$I(\mu)=-\left.\frac{\partial^2{\ell(\mu;\hat\sigma)}}{(\partial\mu)^2}\right|_{\mu=\hat\mu}$

I (σ) = - {\frac{\partial^{2} ℓ (σ; \hat{μ})}{(\partial σ)^{2}} |}_{σ = \hat{σ}}

$I(\sigma)=-\left.\frac{\partial^2{\ell(\sigma;\hat\mu)}}{(\partial\sigma)^2}\right|_{\sigma=\hat\sigma}$

$\sigma$

— Скорчі - Відновлення Моніки
джерело

2 \log (r)

$2\log(r)$

σ / r

$\sigma/r$

n

$n$

σ / r

$\sigma/r$

n \to k (n)

$n\to k(n)$

\hat{σ} = k (n) r

$\hat\sigma=k(n)r$ , як ви претендувати. Іншими словами, відповідна кількість, з якою потрібно працювати, - це відношення стандартного відхилення до (спостережуваного) діапазону або однаково добре його зворотного - що тісно пов'язане зВивчений діапазон .

— whuber

@whuber: Дякую! Здається очевидним із заднім оглядом. Я включу це у відповідь.

— Scortchi

$\mu$ $\sigma$ $R=x_{(n)} - x_{(1)}$ $99.7$

μ + 3 σ \approx x_{(n)}

$\mu + 3\sigma \approx x_{(n)}$

μ - 3 σ \approx x_{(1)}

$\mu - 3\sigma \approx x_{(1)}$

Віднімаючи друге від першого, отримуємо

6 σ \approx x_{(n)} - x_{(1)} = R

$6\sigma \approx x_{(n)} - x_{(1)}= R$

\hat{σ} = \frac{1}{6} ({\bar{x}}_{(n)} - {\bar{x}}_{(1)})

$\hat \sigma = \frac 16 \Big(\bar x_{(n)} - \bar x_{(1)}\Big)$ where the bar denotes averages. This is when you assume that all sub-samples come from the same distribution (you wrote about having expected ranges). If each sample is a different normal, with different mean and variance, then you can use the formula for each sample, but the uncertainty / possible inaccuracy in the estimated value of the standard deviation will be much larger.

Having a value for the mean and for the standard deviation completely characterizes the normal distribution.

— Alecos Papadopoulos
джерело

That's neither a close approximation for small

n

$n$ nor an asymptotic result for large

n

$n$ .

— Scortchi - Reinstate Monica

@Stortchi Well, I didn't say that it is a good estimate -but I believe that it is always good to have easily implemented solutions, even very rough, in order to get a quantitative sense of the issue at hand, alongside the more sophisticated and efficient approaches like for example the one outlined in the other answer to this question.

— Alecos Papadopoulos

I wouldn't carp at "the expectation of the sample range turns out to be about 6 times the standard deviation for values of

n

$n$ from 200 to 1000". But am I missing something subtle in your derivation, or wouldn't it work just as well to justify dividing the range by any number?

— Scortchi - Reinstate Monica

@Scortchi Well, the spirit of the approach is "if we expect almost all realizations to fall within 6 sigmas, then it is reasonable to expect that the extreme realizations will be near the border" -that's all there is to it, really. Perhaps I am too used to operate under extremely incomplete information, and obliged to say something quantitative about it... :)

— Alecos Papadopoulos

I could reply that even more observations would fall within

10 σ

$10 \sigma$ of the mean, giving a better estimate

\hat{σ} = \frac{R}{10}

$\hat\sigma=\frac{R}{10}$ . I shan't because it's nonsense. Any number over

1.13

$1.13$ will be a rough estimate for some value of

n

$n$ .

— Scortchi - Reinstate Monica

It is straightforward to get the distribution function of the maximum of the normal distribution (see "P.max.norm" in code). From it (with some calculus) you can get the quantile function (see "Q.max.norm").

Using "Q.max.norm" and "Q.min.norm" you can get the median of the range that is related with N. Using the idea presented by Alecos Papadopoulos (in previous answer) you can calculate sd.

Try this:

N = 100000    # the size of the sample

# Probability function given q and N
P.max.norm <- function(q, N=1, mean=0, sd=1){
    pnorm(q,mean,sd)^N
} 
# Quantile functions given p and N
Q.max.norm <- function(p, N=1, mean=0, sd=1){
    qnorm(p^(1/N),mean,sd)
} 
Q.min.norm <- function(p, N=1, mean=0, sd=1){
    mean-(Q.max.norm(p, N=N, mean=mean, sd=sd)-mean)
} 

### lets test it (takes some time)
Q.max.norm(0.5, N=N)  # The median on the maximum
Q.min.norm(0.5, N=N)  # The median on the minimum

iter = 100
median(replicate(iter, max(rnorm(N))))
median(replicate(iter, min(rnorm(N))))
# it is quite OK

### Lets try to get estimations
true_mean = -3
true_sd = 2
N = 100000

x = rnorm(N, true_mean, true_sd)  # simulation
x.vec = range(x)                  # observations

# estimation
est_mean = mean(x.vec)
est_sd = diff(x.vec)/(Q.max.norm(0.5, N=N)-Q.min.norm(0.5, N=N))

c(true_mean, true_sd)
c(est_mean, est_sd)

# Quite good, but only for large N
# -3  2
# -3.252606  1.981593

— Vyga
джерело

Continuing this approach,

E (R) = σ \int_{- \infty}^{\infty} 1 - (1 - Φ (x))^{n} - Φ (x)^{n} d x = σ d_{2} (n)

$\operatorname{E} (R) = \sigma \int_{-\infty}^{\infty} 1-(1-\Phi(x))^n -\Phi(x)^n\, \mathrm{d} x = \sigma d_2(n)$ , where

R

$R$ is the range &

Φ (\cdot)

$\Phi(\cdot)$ the standard normal cumulative distribution function. You can find tabulated values of

d_{2}

$d_2$ for small

n

$n$ in the statistical process control literature, numerically evaluate the integral, or simulate for your

n

$n$ .

— Scortchi - Reinstate Monica