Різниця між стандартною помилкою та стандартним відхиленням

Я намагаюся зрозуміти різницю між стандартною помилкою та стандартним відхиленням. Чим вони відрізняються і чому потрібно вимірювати стандартну помилку?

Щоб завершити відповідь на питання, Ocram добре вирішив стандартну помилку, але не порівняв її зі стандартним відхиленням і не згадав про залежність від розміру вибірки. В якості окремого випадку для оцінювача розглянемо середнє значення вибірки. Стандартна помилка для середнього значення - де$\sigma \, / \, \sqrt{n}$$\sigma$- це стандартне відхилення населення. Тож у цьому прикладі ми чітко бачимо, як стандартна помилка зменшується зі збільшенням розміру вибірки. Стандартне відхилення найчастіше використовується для позначення окремих спостережень. Таким чином, стандартне відхилення описує мінливість окремих спостережень, тоді як стандартна помилка показує мінливість оцінювача. Хороші оцінки є послідовними, що означає, що вони сходяться до справжнього значення параметра. Коли їх стандартна похибка зменшується до 0, коли розмір вибірки збільшується, оцінювачі послідовні, що в більшості випадків трапляється, тому що стандартна помилка йде до 0, як явно ми бачимо із середньою вибіркою.

Ось більш практична (а не математична) відповідь:

• SD (стандартне відхилення) кількісно визначає розсіювання - наскільки значення змінюються одна від одної.
• SEM (стандартна похибка середнього значення) кількісно визначає, наскільки точно ви знаєте справжнє середнє значення сукупності. Він враховує як значення SD, так і розмір вибірки.
• І SD, і SEM знаходяться в одних і тих же одиницях - одиницях даних.
• SEM, за визначенням, завжди менше, ніж SD.
• SEM стає меншим, коли ваші зразки стають більшими. Це має сенс, тому що середнє значення для великої вибірки, швидше за все, буде ближче до справжнього середнього показника популяції, ніж середнє для малого вибірки. Завдяки величезній вибірці ви знатимете значення середнього значення з великою точністю, навіть якщо дані дуже розпорошені.
• SD не змінюється передбачувано, оскільки ви отримуєте більше даних. Оцінка SD, яку ви обчислюєте з вибірки, є найкращою можливою оцінкою SD загальної сукупності. Коли ви збираєте більше даних, ви будете оцінювати рівень населення з більшою точністю. Але ви не можете передбачити, чи буде SD з більшого зразка більшим чи меншим, ніж SD з малого зразка. (Це спрощення, не зовсім вірно. Дивіться коментарі нижче.)

Зауважте, що стандартні помилки можна обчислити майже для будь-якого параметра, який ви обчислюєте з даних, а не лише середнього значення. Фраза «стандартна помилка» трохи неоднозначна. Пункти вище стосуються лише стандартної середньої помилки.

(З посібника зі статистики GraphPad, який я написав.)

Нехай - ваш параметр, що цікавить, для якого ви хочете зробити висновок. Для цього у вас є зразок спостережень разом з деякою технікою для отримання оцінки , . У цій нотації я чітко зазначив, що залежить від . Дійсно, якби у вас був інший зразок, , ви б закінчилися з іншою оцінкою . Це робить реалізацією випадкової величини, яку я позначаю$\theta$$\mathbf{x} = \{x_1, \ldots, x_n \}$$\theta$$\hat{\theta}(\mathbf{x})$$\hat{\theta}(\mathbf{x})$$\mathbf{x}$$\tilde{\mathbf{x}}$$\hat{\theta}(\tilde{\mathbf{x}})$$\hat{\theta}(\mathbf{x})$$\hat{\theta}$. Ця випадкова величина називається оцінкою. Стандартна помилка з (= оцінка) є стандартним відхиленням від (= випадкова величина). Він містить інформацію про те, наскільки ви впевнені у своїй оцінці. Якщо вона велика, це означає, що ви могли б отримати зовсім іншу оцінку, якби ви намалювали інший зразок. Стандартна помилка використовується для побудови довірчих інтервалів.$\hat{\theta}(\mathbf{x})$$\hat{\theta}$

(зауважте, що я зосереджуюсь на стандартній похибці середнього значення, на яку я вважаю, що і запитуючий був, але ви можете створити стандартну помилку для будь-якої статистичної вибірки)

Стандартна помилка пов'язана зі стандартним відхиленням, але вони не є одне і те ж, і збільшення розміру вибірки не зближує їх. Швидше, це робить їх далі один від одного. Стандартне відхилення вибірки стає ближчим до стандартного відхилення сукупності, оскільки розмір вибірки збільшується, але не є стандартною помилкою.

Іноді термінологія навколо цього трохи товста, щоб пройти.

Коли ви збираєте вибірку і обчислюєте стандартне відхилення цього зразка, оскільки вибірка зростає в розмірах, оцінка стандартного відхилення стає все більш точною. З вашого запитання виходить саме те, про що ви думали. Але також врахуйте, що середнє значення вибірки, як правило, в середньому наближається до популяційного. Це важливо для розуміння стандартної помилки.

Стандартна помилка полягає в тому, що станеться, якщо у вас буде кілька зразків заданого розміру. Якщо взяти зразок 10, ви можете отримати деяку оцінку середнього значення. Потім ви берете ще один зразок з 10 і нову середню оцінку тощо. Стандартне відхилення засобів цих зразків - це стандартна помилка. З огляду на те, що ви поставили своє запитання, ви, ймовірно, тепер можете бачити, що якщо N високий, то стандартна помилка менша, оскільки засоби зразків будуть менш відхилятися від справжнього значення.

Для деяких це звучить чудово, враховуючи, що ви обчислили це з одного зразка. Отже, те, що ви можете зробити, це завантажувати стандартну помилку за допомогою симуляції, щоб продемонструвати взаємозв'язок. У R це виглядатиме так:

# the size of a sample
n <- 10
# set true mean and standard deviation values
m <- 50
s <- 100

# now generate lots and lots of samples with mean m and standard deviation s
# and get the means of those samples. Save them in y.
y <- replicate( 10000, mean( rnorm(n, m, s) ) )
# standard deviation of those means
sd(y)
# calcuation of theoretical standard error
s / sqrt(n)

Ви побачите, що ці дві останні команди генерують однакове число (приблизно). Ви можете змінювати значення n, m та s, і вони завжди вийдуть досить близько один до одного.