Чи може стандартне відхилення негативних даних перевищувати середнє?

У мене є трикутні 3D-сітки. Статистика для районів трикутника:

• Мінімум 0,000
• Макс 2341,141
• Має на увазі 56.317
• Std dev 98.720

Отже, чи означає щось особливо корисне щодо стандартного відхилення чи припускаєте, що в його обчисленні є помилки, коли цифри виходять, як описано вище? Території, безумовно, далеко не звичайні.

І як хтось згадував в одній зі своїх відповідей нижче, річ мене справді здивувала, що знадобилося лише одне СД від середнього значення, щоб цифри стали негативними і, таким чином, вийшли з легальної сфери.

Спасибі

Ніщо не говорить про те, що стандартне відхилення повинно бути менше або більше середнього. Враховуючи набір даних, ви можете зберігати середнє значення однаковим, але змінювати стандартне відхилення на довільну ступінь, додаючи / віднімаючи додатне число відповідним чином .

Використовуючи набір даних @ whuber із коментаря до питання: {2, 2, 2, 202}. Як зазначає @whuber: середнє значення - 52, а стандартне відхилення - 100.

Тепер порушуйте кожен елемент даних наступним чином: {22, 22, 22, 142}. Середнє значення все ще 52, але стандартне відхилення - 60.

Звичайно, це незалежні параметри. Ви можете встановити прості дослідження в R (або іншому інструменті, який ви бажаєте).

R> set.seed(42)     # fix RNG
R> x <- rnorm(1000) # one thousand N(0,1)
R> mean(x)          # and mean is near zero
[1] -0.0258244
R> sd(x)            # sd is near one
[1] 1.00252
R> sd(x * 100)      # scale to std.dev of 100
[1] 100.252
R> 

Аналогічно ти стандартизуєш дані, які ви шукаєте, віднімаючи середнє значення і діливши на стандартне відхилення.

Редагувати та слідуючи ідеї @ whuber, ось одна нескінченність наборів даних, що наближаються до ваших чотирьох вимірювань:

R> data <- c(0, 2341.141, rep(52, 545))
R> data.frame(min=min(data), max=max(data), sd=sd(data), mean=mean(data))
  min     max      sd    mean
1   0 2341.14 97.9059 56.0898
R> 

Я не впевнений, чому @Andy здивований таким результатом, але я знаю, що він не один. Я також не впевнений, що нормальність даних пов'язана з тим, що sd вище середнього. Генерувати набір даних, який зазвичай розподіляється там, де це досить просто; Дійсно, стандартний нормальний має середнє значення 0, sd 1. Було б важко отримати нормально розподілений набір даних усіх позитивних значень з sd> mean; Дійсно, це не повинно бути можливим (але це залежить від розміру вибірки та того, який тест на нормальність ви використовуєте ... з дуже невеликим зразком, трапляються випадкові речі)

Однак, як тільки ви видалите умову про нормальність, як це зробив @Andy, немає жодної причини, чому sd повинен бути більшим чи меншим за середнє, навіть для всіх позитивних значень. Один з них зробить це. напр

x <- runif (100, 1, 200) x <- c (x, 2000)

дає середнє значення 113 і сд 198 (залежно від насіння, звичайно).

Але важливіше питання, чому це дивує людей.

Я не викладаю статистику, але мені цікаво, що щодо того, як навчають статистику, робить це поняття загальним.

Просто додавши загальну точку , що, з точки зору обчислення, і ∫ х 2 F ( х ) г х пов'язані нерівністю Єнсена , припускаючи , що існують обидва інтеграла, ∫ х 2 F ( х ) д х ≥ { ∫ x f ( x ) d x }

$$\int x f(x) \text{d}x$$ $$\int x^2 f(x) \text{d}x$$ Враховуючи цю загальну нерівність, ніщо не заважає дисперсії довільно збільшитися. Свідчіть розподілСтьюдентаз ν градусами свободи, X ∼ T ( ν , μ , σ ) і візьміть Y = | X | чий другий момент такий же, як другий момент X , E [ | X | 2 ] = $$\int x^2 f(x) \text{d}x \ge \left\{ \int x f(x) \text{d}x \right\}^2\,.$$ $\nu$ $$X \sim \mathfrak{T}(\nu,\mu,\sigma)$$ $Y=|X|$$X$ колиν>2. Таким чином, вона переходить до нескінченності, колиνопускається до2, тоді як середнє значенняYзалишається кінцевим, покиν>1. $$\mathbb{E}[|X|^2] = \frac{\nu}{\nu-2}\sigma^2 + \mu^2,$$ $\nu>2$$\nu$$2$$Y$$\nu>1$

Можливо, ОП дивується, що середнє значення - 1 SD - це від’ємне число (особливо там, де мінімум дорівнює 0).

Ось два приклади, які можуть уточнити.

Припустимо, у вас є клас з 20 першокласників, де 18 - 6 років, 1 - 5, а 1 - 7. Тепер додайте 49-річного вчителя. Середній вік - 8,0, тоді як стандартне відхилення - 9,402.

Ви можете подумати: один діапазон стандартних відхилень для цього класу становить від -1,402 до 17,402 років. Ви можете бути здивовані, що SD включає негативний вік, який видається необґрунтованим.

Вам не доведеться турбуватися про негативний вік (або тривимірні графіки, що розширюються менше, ніж мінімум 0,0). Інтуїтивно ви все ще маєте приблизно дві третини даних в межах 1 SD середнього. (У вас фактично є 95% даних у межах 2 SD середнього значення.)

Коли дані отримають ненормований розподіл, ви побачите напрочуд такі результати.

Другий приклад. У своїй книзі, обдуреній випадковістю , Нассім Талеб встановлює мислительний експеримент із зав'язаними очима лучником, що стріляє у стіну невиразної довжини. Стрілець може стріляти між +90 градусів і -90 градусів.

Раз у раз стрілець стрілятиме стрілою паралельно стіні, і вона ніколи не вдарить. Поміркуйте, наскільки стрілка пропускає ціль як розподіл чисел. Стандартне відхилення для цього сценарію було б невиразним.

Випадкова величина гами $X$ з щільністю

$$f_X(x) = \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x} I_{(0,\infty)}(x) \, ,$$ with $\alpha,\beta>0$, is almost surely positive. Choose any mean $m>0$ and any standard deviation $s>0$. As long as they are positive, it does not matter if $m>s$ or $m<s$. Putting $\alpha=m^2/s^2$ and $\beta=m/s^2$, the mean and standard deviation of $X$ are $\mathbb{E}[X]=\alpha/\beta=m$ and $\sqrt{\mathbb{Var}[X]}=\sqrt{\alpha/\beta^2}=s$. With a big enough sample from the distribution of $X$, by the SLLN, the sample mean and sample standard deviation will be close to $m$ and $s$. You can play with R to get a feeling about this. Here are examples with $m>s$ and $m<s$.

> m <- 10
> s <- 1
> x <- rgamma(10000, shape = m^2/s^2, rate = m/s^2)
> mean(x)
[1] 10.01113
> sd(x)
[1] 1.002632

> m <- 1
> s <- 10
> x <- rgamma(10000, shape = m^2/s^2, rate = m/s^2)
> mean(x)
[1] 1.050675
> sd(x)
[1] 10.1139

As pointed out in the other answers, the mean $\bar{x}$ and standard deviation $\sigma_x$ are essentially unrelated in that it is not necessary for the standard deviation to be smaller than the mean. However, if the data are nonnegative, taking on values in $[0,c]$, say, then, for large data sets (where the distinction between dividing by $n$ or by $n-1$ does not matter very much), the following inequality holds:

$$\sigma_x \leq \sqrt{\bar{x}(c-\bar{x})} \leq \frac{c}{2}$$ and so if $\bar{x} > c/2$, we can be sure that $\sigma_x$ will be smaller. Indeed, since $\sigma_x = c/2$ only for an extremal distribution (half the data have value $0$ and the other half value $c$), $\sigma_x < \bar{x}$ can hold in some cases when $\bar{x} < c/2$ as well. If the data are measurements of some physical quantity that is nonnegative (e.g. area) and have an empirical distribution that is a good fit to a normal distribution, then $\sigma_x$ will be considerably smaller than $\min\{\bar{x}, c - \bar{x}\}$ since the fitted normal distribution should assign negligibly small probability to the events $\{X < 0\}$ and $\{X > c\}$.

What you seem to have in mind implicitly is a prediction interval that would bound the occurrence of new observations. The catch is: you must postulate a statistical distribution compliant with the fact that your observations (triangle areas) must remain non-negative. Normal won't help, but log-normal might be just fine. In practical terms, take the log of observed areas, calculate the mean and standard deviation, form a prediction interval using the normal distribution, and finally evaluate the exponential for the lower and upper limits -- the transformed prediction interval won't be symmetric around the mean, and is guaranteed to not go below zero. This is what I think the OP actually had in mind.

Felipe Nievinski points to a real issue here. It makes no sense to talk in normal distribution terms when the distribution is clearly not a normal distribution. All-positive values with a relatively small mean and relatively large standard deviation cannot have a normal distribution. So, the task is to figure out what sort of distribution fits the situation. The original post suggests that a normal distribution (or some such) was clearly in mind. Otherwise negative numbers would not come up. Log normal, Rayleigh, Weibull come to mind ... I don't know but wonder what might be best in a case like this?