Чому стандартне відхилення визначається як sqrt дисперсії, а не як sqrt суми квадратів над N?

Сьогодні я викладав вступний клас статистики, і студент підійшов до мене із запитанням, яке я перефразую тут так: "Чому стандартне відхилення визначається як sqrt дисперсії, а не як sqrt суми квадратів над N?"

Визначимо дисперсію популяції: $\sigma^2=\frac{1}{N}\sum{(x_i-\mu)^2}$

І стандартне відхилення: $\sigma=\sqrt{\sigma^2}=\frac{1}{\sqrt{N}}\sqrt{\sum{(x_i-\mu)^2}}$ .

Інтерпретація ми можемо дати $\sigma$ , що вона дає середнє відхилення одиниць в популяції від середньої популяції $X$ .

Однак у визначенні sd ділимо sqrt суми квадратів на $\sqrt{N}$ . Студент ставить питання, чому ми не ділимо sqrt суми квадратів на$N$а не. Таким чином, ми приходимо до конкуруючої формули:

$$\sigma_{new}=\frac{1}{N}\sqrt{\sum{(x_i-\mu)^2}}.$$ Учень стверджував, що ця формула більше схожа на "середнє" відхилення від середнього, ніж при діленні на$\sqrt{N}$ як у$\sigma$.

Я вважав, що це питання не дурне. Я хотів би дати відповідь студенту, що йде далі, ніж сказати, що sd визначається як sqrt дисперсії, яка є середньоквадратичним девіатоном. По-іншому, чому студент повинен використовувати правильну формулу і не слідувати її ідеї?

Це питання стосується старішої теми та відповідей, наданих тут . Відповіді йдуть у трьох напрямках:

1. $\sigma$ - відхилення середньоквадратичного квадрату (RMS), а не «типове» відхилення від середнього (тобто,$\sigma_{new}$ ). Таким чином, воно визначається по-різному.
2. Він має приємні математичні властивості.
3. Крім того, sqrt повертає "одиниці" до їх початкового масштабу. Однак це було б і у випадку $\sigma_{new}$ , який натомість ділиться на $N$

Обидва пункти 1 і 2 є аргументами на користь sd як RMS, але я не бачу аргументу проти використання $\sigma_{new}$ . Які б хороші аргументи переконали учнів початкового рівня у використанні середньої відстані RMS $\sigma$ від середньої?

Є щонайменше три основні проблеми, які можна легко пояснити новачкам:

1. "Новий" SD навіть не визначений для нескінченного населення. (Можна було б оголосити це завжди рівним нулю в таких випадках, але це не зробить його більше корисним.)

2. Нова SD не поводиться так, як має робити середній показник при випадковому вибірці.

3. Хоча новий SD може використовуватися з усією математичною суворістю для оцінки відхилень від середнього (у вибірках та кінцевих сукупностях), його інтерпретація є надмірно складним.

1. Застосування нового SD обмежене

Точку (1) можна повернути додому, навіть тим, хто не розбирається в інтеграції, вказавши, що оскільки дисперсія явно є середнім арифметичним (у квадратичних відхиленнях), вона має корисне розширення до моделей "нескінченних" популяцій, для яких інтуїція існування середнього арифметичного все ще має місце. Тому його квадратний корінь - звичайний SD - також чудово визначений у таких випадках і настільки ж корисний у ролі дисперсії (нелінійного реекспресії). Однак новий SD розділяє це середнє значення на довільно великі , що робить проблематичним його узагальнення за межами кінцевих сукупностей та кінцевих зразків: що повинно1/$\sqrt{N}$ приймається рівним в таких випадках?$1/\sqrt{N}$

2. Нова SD не є середньою

Будь-яка статистика, яка заслуговує назви "середній", повинна мати властивість, що вона переходить до значення сукупності у міру збільшення розміру випадкової вибірки від сукупності. Будь-який фіксований кратний SD має цю властивість, оскільки множник застосовуватиметься як для обчислення вибіркової SD, так і для сукупності SD. (Хоча це прямо і не суперечить аргументу, запропонованому Алекосом Пападопулосом, це спостереження дозволяє припустити, що аргумент є лише дотичним до реальних питань.) Однак "новий" СД, рівний разів перевищує звичайний, очевидно, збільшиться до0за будь-яких обставин, оскільки розмір вибіркиNзростає. Отже,хоча для будь-якого фіксованого розміру вибіркиNновий SD (відповідний інтерпретація) є цілком адекватною мірою коливання середнього значення,він не може бути обгрунтованим вважатисяуніверсальнимзаходом, застосовним з однаковою інтерпретацією для всіх розмірів вибірки, і він не може правильно називати "середнім" у будь-якому корисному сенсі.$1/\sqrt{N}$$0$$N$$N$

3. Новий SD складний для тлумачення та використання

Розглянемо взяття зразків (скажімо) розміром . Нова SD в цих випадках становить 1 / $N=4$разів більше звичайного SD. Тому він користується порівнянними інтерпретаціями, такими як аналог правила 68-95-99 (близько 68% даних повинні лежати в межахдвохнових середніх SD, 95% з них у межахчотирьохнових SD середнього значеннятощо); і версії класичних нерівностей, такі як Чебичова, будуть дотримані (не більше1/k2даних може лежати більше ніж2kнових SD від їх середнього значення); і теорема про центральний ліміт може бути аналогічно перероблена з точки зору нової SD (один ділиться на$1/\sqrt{N}=1/2$$1/k^2$$2k$ разів більше нової SD для стандартизації змінної). Таким чином, у цьому конкретному і чітко обмеженому сенсінемає нічого поганого з пропозицією учня. Складність полягає в тому, що всі ці твердження містять - досить явно - фактори$\sqrt{N}$. Хоча з цим не існує притаманної математичної проблеми, це, безумовно, ускладнює висловлювання та тлумачення найбільш фундаментальних законів статистики.$\sqrt{N}=2$

---

Слід зазначити, що Гаус та інші спочатку параметризували розподіл Гаусса на , ефективно використовуючи$\sqrt{2}\sigma$ рази більше SD для кількісного визначення поширення нормальної випадкової величини. Це історичне використання демонструє пристосованість та ефективність використання іншихфіксованихкратних значень SD замість нього.$\sqrt{2}$

Припустимо, що ваш зразок містить лише дві реалізації. Я думаю, інтуїтивно зрозумілим показником дисперсії було б середнє абсолютне відхилення (AAD)

$$AAD = \frac 12 (|x_1-\bar x| + |x_2-\bar x|) = ...= \frac {|x_1-x_2|}{2}$$

Отже, ми хотіли б, щоб інші міри диспергування на тому ж рівні одиниць вимірювання були "близькими" до вищезгаданих.

Дисперсія вибірки визначається як

$$\sigma^2=\frac{1}{2}[(x_1-\bar x)^2 + (x_2-\bar x)^2] = \frac 12 \left[\left(\frac {x_1-x_2}{2}\right)^2 + \left(\frac {x_2-x_1}{2}\right)^2\right]$$

$$=\frac 12 \left[\frac {(x_1-x_2)^2}{4} + \frac {(x_1-x_2)^2}{4}\right]=\frac 12 \frac {(x_1-x_2)^2}{2}$$

$$=\frac 12\cdot \frac {|x_1-x_2|^2}{2}$$

To return to the original units of measurement, if we did as the student wondered/suggested,we would obtain the measure, call it $q$

$$q \equiv \frac 12\cdot \sqrt {\frac {|x_1-x_2|^2}{2}} = \frac 12 \frac {|x_1-x_2|}{\sqrt 2} = \frac 1{\sqrt 2} AAD < AAD$$

i.e. we would have "downplayed" the "intuitive" measure of dispersion, while if we have considered the standard deviation as defined,

$$SD \equiv \sqrt {\sigma^2} = \frac {|x_1-x_2|}{2} =AAD$$

Since we want to "stay as close as possible" to the intuitive measure, we should use $SD$.

ADDENDUM
Let's consider now a sample of size $n$ We have

$$n\cdot AAD = \sum_{i=1}^n |x_i-\bar x|$$

and

$$n \cdot \text{Var}(X) = \sum_{i=1}^n (x_i-\bar x)^2 = \sum_{i=1}^n |x_i-\bar x|^2$$

we can write the right-hand side of the variance expression as

$$\sum_{i=1}^n |x_i-\bar x|^2 = \left(\sum_{i=1}^n |x_i-\bar x|\right)^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|$$

$$= \left (n\cdot AAD\right)^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|$$

Then the dispersion measure $q_n$ will be

$$q_n \equiv \frac 1n \left[n^2\cdot AAD^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

$$= \left[AAD^2 - \frac 1{n^2} \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

Now think informally: note that $\sum_{j\neq i} |x_i-\bar x||x_j-\bar x|$ contains $n^2-n$ terms, and so divided by $n^2$ will left us with "one term in the second power". But also "one term in the 2nd power" is what we have in $AAD^2$: this is a primitive way to "sense" why $q_n$ will tend to zero as $n$ grows large. On the other hand the Standard Deviation as defined would be

$$SD \equiv \frac 1{\sqrt n} \left[n^2\cdot AAD^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

$$= \left[n\cdot AAD^2 - \frac 1{n} \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

Continuing are informal thinking, the first term gives us $n$ "terms in the 2nd power", while the second term gives us $n-1$ "terms in the second power" . So we will be left eventually with one such term, as $n$ grows large, and then we will take its square root.
This does not mean that the Standard Deviation as defined will equal the Average Absolute Deviation in general (it doesn't), but it does show that it is suitably defined so as to be "on a par" with it for any $n$, as well as for the case when $n\rightarrow \infty$.