Інтуїція за стандартним відхиленням

Я намагаюся краще зрозуміти стандартне відхилення.

З того, що я розумію, він є репрезентативним для середнього значення відмінностей набору спостережень у наборі даних від середнього значення для цього набору даних. Однак він НЕ насправді дорівнює середнім різницям, оскільки надає більшої ваги спостереженням далі від середнього.

Скажіть, у мене така сукупність значень -$\{1, 3, 5, 7, 9\}$

Середнє значення -$5$ .

Якщо я візьму міру спред на основі абсолютного значення, яке я отримаю

$$\frac{\sum_{i = 1}^5|x_i - \mu|}{5} = 2.4$$

Якщо я беру міру поширення, використовуючи стандартне відхилення, яке я отримую

$$\sqrt{\frac{\sum_{i = 1}^5(x_i - \mu)^2}{5}} = 2.83$$

Результат, що використовує стандартне відхилення, більший, як і очікувалося, через додаткову вагу, який він надає значенням, що знаходяться далі від середнього.

Але якби мені щойно сказали, що я маю справу з населенням із середнім значенням та стандартним відхиленням як би я зробив висновок, що населення складається зі значень, таких як ? Просто здається, що цифра дуже довільна ... Я не бачу, як ви повинні її інтерпретувати. Чи означає, що означає, що значення розкидані дуже широко, чи всі вони щільно згруповані навколо середнього ...2,83 { 1 , 3 , 5 , 7 , 9 } 2,83 $5$$2.83$$\{1, 3, 5, 7, 9\}$$2.83$$2.83$

Коли вам подають заяву, що ви маєте справу з населенням із середнім рівнем та стандартним відхиленням що це говорить про населення?$5$$2.83$

Моя інтуїція полягає в тому, що стандартне відхилення - це міра поширення даних.

У вас є хороша думка, що широка чи щільна вона залежить від того, яке наше основне припущення щодо розподілу даних.

Застереження: міра розповсюдження є найбільш корисною, коли розподіл ваших даних симетричний навколо середнього та має відхилення порівняно близьке до нормального розподілу. (Це означає, що це приблизно нормально.)

У випадку, коли дані приблизно нормальні, стандартне відхилення має канонічну інтерпретацію:

• Регіон: середнє значення вибірки +/- 1 стандартне відхилення, містить приблизно 68% даних
• Область: середнє значення вибірки +/- 2 стандартного відхилення, містить приблизно 95% даних
• Область: середнє значення вибірки +/- 3 стандартного відхилення, містить приблизно 99% даних

(див. першу графіку у Вікі )

Це означає, що якщо ми знаємо, середня сукупність дорівнює 5, а стандартне відхилення - 2,83, і ми вважаємо, що розподіл приблизно нормальний, я б сказав вам, що я абсолютно впевнений, що якщо ми зробимо (велике) багато спостережень, лише 5% бути менше 0,4 = 5 - 2 * 2,3 або більше 9,6 = 5 + 2 * 2,3.

Зауважте, який вплив має стандартне відхилення на наш довірчий інтервал? (чим більше поширення, тим більше невизначеності)

Крім того, у загальному випадку, коли дані навіть не є приблизно нормальними, але все ще симетричними, ви знаєте, що існує деяка для якої:$\alpha$

• Область: середнє значення вибіркового значення +/- стандартне відхилення, містить приблизно 95% даних$\alpha$

Ви можете дізнатися з підпроби, або припустити, що α = 2, і це часто дає вам хороше правило для обчислення в голові, які майбутні спостереження очікувати, або які з нових спостережень можна вважати пережилими. (майте на увазі, проте застереження!)$\alpha$$\alpha=2$

Я не бачу, як ви повинні це інтерпретувати. Чи означає, що 2,83 означає, що значення розкидані дуже широко, чи всі вони щільно згруповані навколо середнього ...

Я думаю, що кожне запитання, що задає "широке або тісне", повинно також містити: "стосовно чого?". Однією з пропозицій може бути використання відомого розподілу в якості посилання. Залежно від контексту може бути корисним подумати про те: "Чи набагато ширше, чи жорсткіше, ніж нормальне / пуассонне?".

EDIT: На основі корисного натяку в коментарях ще один аспект щодо стандартного відхилення як міри відстані.

Ще одна інтуїція корисності стандартного відхилення полягає в тому, що це вимірювання відстані між зразками даних x 1 , … , x N та його середнім ˉ x :$s_N$$x_1,… , x_N$$\bar{x}$

$s_N = \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \overline{x})^2}$

Для порівняння середня квадратична помилка (MSE), одна з найпопулярніших заходів помилок у статистиці, визначається як:

$\operatorname{MSE}=\frac{1}{n}\sum_{i=1}^n(\hat{Y_i} - Y_i)^2$

Можна поставити питання, чому вищезазначена функція відстані? Чому, наприклад, відстані в квадраті, а не абсолютні відстані? І чому ми беремо квадратний корінь?

Маючи квадратичну відстань або помилку, функції мають ту перевагу, що ми можемо як диференціювати, так і легко їх мінімізувати. Що стосується квадратного кореня, він додає інтерпретаційності, оскільки він перетворює помилку на масштаб наших спостережуваних даних.

Це може допомогти зрозуміти, що середнє значення є аналогом центру маси . Дисперсія - момент інерції . Стандартне відхилення - радіус обертання .

Для історичної точки зору подивіться на:

Джордж Ері (1875) Про алгебраїчну та чисельну теорію помилок спостережень та поєднання спостережень

Карл Пірсон (1894) Внески до математичної теорії еволюції.

Цей сюжет із Ері 1875 показує різні заходи відхилення, які легко перетинаються (стор. 17). Стандартне відхилення називається "похибка середнього квадрата". Він також обговорюється на сторінках 20-21, і він обґрунтовує його використання на сторінці 48, показуючи, що найпростіше обчислити вручну, оскільки немає необхідності в окремому обчисленні негативних та позитивних помилок. Термін стандартне відхилення було введено Пірсоном у цитованому вище документі на сторінці 75.

Зауважте: Зауважте, що корисність стандартного відхилення залежить від застосованості "закону помилок", також відомого як "нормальна крива", яка виникає з "великої кількості незалежних причин помилок" (Airy 1875 pg 7). Немає жодних підстав очікувати, що відхилення від групового значення кожної особи повинні дотримуватися цього закону. У багатьох випадках для біологічних систем нормальне розподіл журналу є кращим припущенням, ніж нормальне. Побачити:

Limpert et al (2001) Нормальні розподіли між науками: ключі та підказки

Далі сумнівно, чи доцільно трактувати окремі зміни як шум, оскільки процес генерування даних діє на рівні окремої людини, а не в групі.

Стандартне відхилення дійсно надає більшої ваги тим, хто знаходиться далі від середнього, оскільки це квадратний корінь середнього значення відстаней у квадраті. Причини використання цього (а не середнього абсолютного відхилення, яке ви пропонуєте, або середнього абсолютного відхилення, яке використовується у надійній статистиці) частково пов’язані з тим, що обчислення проходить легше з поліномами, ніж з абсолютними значеннями. Однак часто ми хочемо підкреслити крайні цінності.

Щодо вашого питання про інтуїтивний сенс - воно розвивається з часом. Ви правильні, що більш ніж один набір чисел може мати однакове середнє значення і sd; це тому, що середнє значення і sd - це лише два фрагменти інформації, а набір даних може бути 5 частин (як 1,3,5,7,9) або набагато більше.

Чи буде середнє значення 5 і sd 2,83 "широким" або "вузьким", залежить від поля, в якому ви працюєте.

Коли у вас всього 5 номерів, легко переглянути повний список; коли у вас багато чисел, більш інтуїтивні способи мислення про поширення включають такі речі, як підсумок п'яти чисел , а ще краще, графіки, такі як графік щільності.

Стандартне відхилення вимірює віддаленість вашої сукупності від середнього значення як випадкові величини.

$X: [0,1] \rightarrow \mathbb{R}$

$$X(t) = \begin{cases} 1 & 0 \leq t < \frac{1}{5} \\ 3 & \frac{1}{5} \leq t < \frac{2}{5}\\ 5 & \frac{2}{5} \leq t < \frac{3}{5}\\ 7 & \frac{3}{5} \leq t < \frac{4}{5}\\ 9 & \frac{4}{5} \leq t \leq 1 \end{cases}$$

Причина, коли ми переходимо до функцій та теорії вимірювань, полягає в тому, що нам потрібно систематично обговорювати, як два простори ймовірностей однакові до подій, які мають нульовий шанс виникнення. Тепер, коли ми перейшли до функцій, нам потрібно відчуття відстані.

$$||Y||_p = \left(\int_{0}^1|Y(t)|^pdt\right)^{1/p}$$ $Y: [0,1] \rightarrow \mathbb{R}$$1 \leq p < \infty$$d_p(Y,Z) = ||X - Z||_p$

$p=1$

$$d_1(X,5) = ||X - \underline{5} ||_1 = 2.4.$$ $p=2$ $$d_2(X,5) = ||X-\underline{5}||_2 = 2.83.$$

$\underline{5}$$t \mapsto 5$

$d_2$