Інтуїтивне пояснення ділення на при обчисленні стандартного відхилення?

Мене сьогодні в класі запитали, чому ви ділите суму квадратної помилки на замість на при обчисленні стандартного відхилення.$n-1$$n$

Я сказав, що не збираюся відповідати на уроці (оскільки я не хотів вступати в неупереджені оцінки), але пізніше я задумався - чи є інтуїтивне пояснення цьому ?!

Стандартне відхилення, обчислене дільником - це стандартне відхилення, обчислене від вибірки як оцінка стандартного відхилення сукупності, з якої було взято вибірку. Оскільки спостережувані значення в середньому падають ближче до середнього показника вибірки, ніж до середнього показника сукупності, стандартне відхилення, яке розраховується за допомогою відхилень від середньої вибірки, недооцінює бажане стандартне відхилення сукупності. Використання замість як дільник виправляє це, роблячи результат трохи більшим.n - 1 $n-1$$n-1$$n$

Зауважимо, що корекція має більший пропорційний ефект, коли є малим, ніж коли воно великим, чого ми хочемо, тому що, коли n більше, середня вибірка, ймовірно, буде хорошим оцінювачем середньої сукупності.$n$

Коли зразок все населення ми використовуємо стандартне відхилення з як дільник , тому що вибіркове середнє є математичне очікування.$n$

(Я зазначу в думках, що нічого, що починається з "другого моменту, переглянутого навколо відомого, певного значення", не буде виконати запит запитувача про інтуїтивне пояснення.)

Спільним є те, що визначення дисперсії (розподілу) є другим моментом, переглянутим навколо відомого, визначеного середнього, тоді як в оцінці використовується оціночне середнє. Ця втрата ступеня свободи (з огляду на середнє значення, ви можете відновити набір даних із знанням лише значень даних) вимагає використання а не для "коригування" результату.n - 1 $n-1$$n-1$$n$

Таке пояснення відповідає оціненим дисперсіям в аналізі ANOVA та дисперсійних компонентів. Це дійсно просто особливий випадок.

Необхідність внесення певних коригувань, що надуває дисперсію, може бути зрозуміла інтуїтивно зрозумілим аргументом, який не є лише ex post facto маханням рукою. (Я пам'ятаю, що Студент, можливо, висловив такий аргумент у своїй роботі 1908 року про t-тест.) Чому коригування дисперсії має бути саме коефіцієнтом важче виправдати, особливо якщо врахувати що скоригована SD не є об'єктивним оцінювачем. (Це просто квадратний корінь неупередженого оцінювача дисперсії. Будучи неупередженим зазвичай не переживає нелінійного перетворення.) Отже, насправді правильне налаштування SD для усунення його зміщення не є фактором$n/(n-1)$$\sqrt{n/(n-1)}$ зовсім!

Деякі вступні підручники навіть не заважають вводити скоригований sd: вони вчать одну формулу (ділити на ). Я вперше негативно відреагував на це, коли викладав таку книгу, але зростав, щоб оцінити мудрість: зосередившись на поняттях та програмах, автори позбавляють усіх несуттєвих математичних приємностей. Виявляється, нічого не боляче і ніхто не вводить в оману.$n$

За визначенням дисперсія обчислюється шляхом взяття суми квадратних різниць від середнього та ділення на величину. У нас є загальна формула

μ$\sigma^2= \frac{\sum_{i}^{N}(X_i-\mu)^2}{N}$ де - середнє значення, а - розмір сукупності.$\mu$$N$

Відповідно до цього визначення, дисперсія вибірки (наприклад, зразок ) також повинна бути розрахована таким чином.$t$

¯ X$\sigma^2_t= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n}$ де - середнє значення, а - розмір цього невеликого зразка .$\overline{X}$$n$

Однак під вибірковою дисперсією ми маємо на увазі оцінку дисперсії сукупності . Як ми можемо оцінити лише за допомогою значень з вибірки?σ 2 σ $S^2$$\sigma^2$$\sigma^2$

Відповідно до формул, наведених вище, випадкова величина відхиляється від середньої вибірки з дисперсією . Середнє значення вибірки також відхиляється від з відхиленням оскільки середнє значення вибірки отримує різні значення від вибірки до вибірки, і це випадкова величина із середнім та дисперсією . (Можна легко довести.)¯ X σ 2 t ¯ X μ σ $X$$\overline{X}$$\sigma^2_t$$\overline{X}$$\mu$ μσ$\frac{\sigma^2}{n}$$\mu$$\frac{\sigma^2}{n}$

Тому, приблизно, повинен відхилятися від з дисперсією, яка включає дві дисперсії, тому складіть ці дві і отримайте . Розв’язуючи це, ми отримуємо . Заміна дає наш оцінювач для дисперсії населення:μ σ 2 = σ 2 t + σ $X$$\mu$ σ2=σ 2 t ×$\sigma^2=\sigma^2_t+\frac{\sigma^2}{n}$ σ 2 $\sigma^2=\sigma^2_t \times\frac{n}{n-1}$$\sigma^2_t$

$S^2= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n-1}$ .

Можна також довести, що істинно.$E[S^2]=\sigma^2$

Це тотальна інтуїція, але найпростіша відповідь - це корекція, яка робить стандартне відхилення одноелементного зразка невизначеним, а не 0.

Ви можете глибше зрозуміти термін використовуючи лише геометрію, не тільки чому це не n, а чому саме він приймає саме таку форму, але, можливо, спочатку вам потрібно буде скласти свою інтуїцію, щоб впоратися з n- мірною геометрією. Звідси, однак, це невеликий крок до глибшого розуміння ступенів свободи в лінійних моделях (тобто модель df & залишковий df). Я думаю, що мало сумнівів, що Фішер думав так. Ось книга, яка створює її поступово:$n-1$$n$$n$

Saville DJ, Wood GR. Статистичні методи: геометричний підхід . 3-е видання. Нью-Йорк: Спрингер-Верлаг; 1991. 560 сторінок. 9780387975177

(Так, 560 сторінок. Я це сказав поступово.)

Оцінювач дисперсії популяції є упередженим при застосуванні на вибірці сукупності. Для того, щоб відкоригувати цей ухил, потрібно розділити на n-1 замість n. Можна математично показати, що оцінювач дисперсії вибірки є неупередженим, коли ділимо на n-1 замість n. Тут наводиться офіційний доказ:

https://economictheoryblog.com/2012/06/28/latexlatexs2/

Спочатку я вважав, що саме математична правильність привела до формули. Однак, якщо хочеться додати інтуїції до формули, згадані пропозиції здаються розумними.

По-перше, спостереження вибірки в середньому ближче до середньої вибірки, ніж до середньої сукупності. Оцінювач дисперсії використовує середню вибірку і, як наслідок, недооцінює справжню дисперсію сукупності. Ділення на n-1 замість n виправляє цю зміщення.

Крім того, ділення на n-1 робить дисперсію одноелементного зразка не визначеною, а не нульовою.

Чому ділимо на а не n ? Тому що це звичайно і призводить до неупередженої оцінки дисперсії. Однак це призводить до упередженої (низької) оцінки стандартного відхилення, як видно, застосовуючи нерівність Дженсена до увігнутої функції, квадратного кореня.$n-1$$n$

То що ж такого чудового в тому, щоб мати неупереджений оцінювач? Це не обов'язково мінімізувати середню квадратичну помилку. MLE для нормального розподілу - ділити на а не n - 1 . Навчіть своїх учнів думати, а не відригувати і бездумно застосовувати старовинні уявлення від століття тому.$n$$n-1$

Загальновідомо (або легко доведено), що квадратичний має екстремум при z = - $\alpha z^2 + 2\beta z + \gamma$$z = -\frac{\beta}{\alpha}$$n$$x_1, x_2, \ldots, x_n$

$$G(a) = \sum_{i=1}^n (x_i-a)^2 = \left(\sum_{i=1}^n x_i^2\right) -2a\left(\sum_{i=1}^n x_i\right) + na^2,$$ $\displaystyle a = \frac 1n \sum_{i=1}^n x_i =\bar{x}$

$x_i$$n$$\mu$$\sigma^2$$\mu$$\frac 1n \sum_{i=1}^n x_i = \bar{x}$$\sigma^2$$\frac 1n \sum_{i=1}^n (x_i-\mu)^2 = n^{-1}G(\mu)$$\mu$$G(\bar{x})$$G(\mu) \geq G(\bar{x})$$G(\mu)$$G(\mu)$$G(\bar{x})$$\frac{n}{n-1}$

$$G(\mu) \approx \frac{n}{n-1}G(\bar{x})\tag{1}$$ $\displaystyle n^{-1}G(\mu)= \frac 1n\sum_{i=1}^n(x_i-\mu)^2$$\displaystyle \frac{1}{n-1}G(\bar{x}) = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar{x})^2.$

$(1)$

$$\begin{align} G(\mu) &= \sum_{i=1}^n (x_i-\mu)^2\\ &= \sum_{i=1}^n (x_i-\bar{x} + \bar{x}-\mu)^2\\ &= \sum_{i=1}^n \left((x_i-\bar{x})^2 + (\bar{x}-\mu)^2 + 2(x_i-\bar{x})(\bar{x}-\mu)\right)\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 + (\bar{x}-\mu)\sum_{i=1}^n(x_i-\bar{x})\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 \tag{2} \end{align}$$ $\sum_{i=1}^n (x_i-\bar{x}) = n\bar{x}-n\bar{x} = 0$ $$\begin{align} n(\bar{x}-\mu)^2 &= n\frac{1}{n^2}\left(\sum_{i=1}^n(x_i-\mu)\right)^2\\ &= \frac 1n \sum_{i=1}^n(x_i-\mu)^2 + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\\ &= \frac 1n G(\mu) + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\tag{3} \end{align}$$ $x_i$$\mu$$\mu$$(x_i-\mu)(x_j-\mu)$$(3)$$\frac 1nG(\mu)$$(3)$$(2)$ $$G(\mu) \approx G(\bar{x}) + \frac 1nG(\mu) \Longrightarrow G(\mu) \approx \frac{n}{n-1}G(\bar{x})$$ $(1)$

$(x_i-x_j)^2/2$

$$s^2 = \frac{2}{n(n-1)}\sum_{i< j}\frac{(x_i-x_j)^2}{2} = \frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2 .$$

$X$$Y$

$$V(X) = E\left(\frac{(X-Y)^2}{2}\right) = E((X-E(X))^2) .$$

Перейти від визначення дисперсії довільної змінної до визначення дисперсії вибірки - це питання оцінки очікування середнім рівнем, що може бути виправдано філософським принципом типовості: Зразок є типовим поданням розподілу. (Зауважте, це пов'язано з, але не те саме, що оцінювання за моментами.)

$N=1$$x$$\overline{m}=x$$1$

$$V=\frac{\sum_N (x_n - \overline{m} )^2}{N}$$

$$\overline{V}=\frac{(x-\overline{m})^2}{1} = 0\,.$$

$y$$x\neq y$$N-1=0$

$0$$d+1$$d$$d+1$

За пропозицією юбера , ця відповідь була скопійована з іншого подібного питання .

Поправка Бесселя прийнята для виправлення упередженості використання вибіркової дисперсії як оцінювача справжньої дисперсії. Зміщення в некоректованій статистиці виникає тому, що середнє значення вибірки ближче до середини спостережень, ніж справжнє середнє, і тому відхилення у квадраті навколо вибірки систематично недооцінюють квадратичні відхилення навколо справжнього середнього.

$S_*^2$$n$

$$\begin{equation} \begin{aligned} S_*^2 &= \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2 \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (X_i^2 - 2 \bar{X} X_i + \bar{X}^2) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 \bar{X} \sum_{i=1}^n X_i + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 n \bar{X}^2 + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2. \end{aligned} \end{equation}$$

Беручи очікувані результати:

$$\begin{equation} \begin{aligned} \mathbb{E}(S_*^2) &= \frac{1}{n} \sum_{i=1}^n \mathbb{E}(X_i^2) - \mathbb{E} (\bar{X}^2) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= \sigma^2 - \frac{\sigma^2}{n} \\[8pt] &= \frac{n-1}{n} \cdot \sigma^2 \\[8pt] \end{aligned} \end{equation}$$

$\sigma^2$$n-1$

Зазвичай використання "n" в знаменнику дає менші значення, ніж дисперсія популяції, яку ми хочемо оцінити. Особливо це відбувається, якщо брати невеликі зразки. Мовою статистики ми говоримо, що вибіркова дисперсія дає «необ’єктивну» оцінку дисперсії популяції і її потрібно робити «неупередженою».

Якщо ви шукаєте інтуїтивне пояснення, ви повинні дозволити своїм учням бачити причину для себе, фактично беручи зразки! Слідкуйте за цим, воно точно відповідає на ваше запитання.

https://www.youtube.com/watch?v=xslIhnquFoE

$\bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i$$S^2 = \frac{1}{n-1}\sum_{i=1}^{n} (X_i - \bar{X})^2$$n - 1$

Щоб відповісти на це питання, ми повинні повернутися до визначення об'єктивного оцінювача. Незаангажований оцінювач - це той, чиє очікування схильне до справжнього очікування. Середнє значення вибірки - це об'єктивний оцінювач. Щоб зрозуміти, чому:

$$E[\bar{X}] = \frac{1}{n}\sum_{i=1}^{n} E[X_i] = \frac{n}{n} \mu = \mu$$

Давайте подивимось на очікування дисперсії вибірки,

$$S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i^2) - n\bar{X}^2$$

$$E[S^2] = \frac{1}{n-1} \left( n E[(X_i^2)] - nE[\bar{X}^2] \right).$$

$\bar{X}$$E[\bar{X}^2]$$n-1$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + Var(\bar{X})) \right).$$ $$Var(\bar{X}) = Var(\frac{1}{n}\sum_{i=1}^{n} X_i) = \sum_{i=1}^{n} \frac{1}{n^2} Var(X_i) = \frac{\sigma^2}{n}$$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + \sigma^2/n) \right). = \frac{(n-1)\sigma^2}{n-1} = \sigma^2 \\ $$

$n$$n-1$$n-1$$S^2$

$\mu$$\sigma^2$$n$$\mu$

$$\sigma^2 \left(\frac{n+1}{n-1}\right),$$

$2n$

Узагальнений розподіл T студентів має три параметри та використовує всі три ваші статистичні дані. Якщо ви вирішили викинути якусь інформацію, ви можете додатково наблизити свої дані, використовуючи двопараметричний звичайний розподіл, як описано у вашому запитанні.

З точки зору Байєса, ви можете уявити, що невизначеність у гіперпараметрах моделі (розподіли по середньому та дисперсії) призводять до того, що дисперсія заднього передбачення є більшою, ніж дисперсія популяції.

Боже, все ускладнюється! Я подумав, що відповідь проста: якщо у вас є всі точки даних, ви можете використовувати "n", але якщо у вас є "зразок", припускаючи, що це випадкова вибірка, у вас є більше вибіркових балів зсередини стандартного відхилення ніж зовні (визначення стандартного відхилення). Вам просто не вистачає даних на вулиці, щоб гарантувати отримання всіх точок даних, які вам потрібні випадковим чином. N-1 допомагає розширитись до "реального" стандартного відхилення.