Як саме статистики погодились використовувати (n-1) як неупереджений оцінювач дисперсії популяції без моделювання?

67

Формула для обчислення дисперсії має у знаменнику: $(n-1)$

$s^2 = \frac{\sum_{i=1}^N (x_i - \bar{x})^2}{n-1}$

Я завжди цікавився, чому. Однак, читаючи та переглядаючи кілька хороших відеороликів про "чому" це, здається, - це хороший об'єктивний оцінювач мінливості населення. Тоді як занижує і завищує дисперсію населення. $(n-1)$ $n$ $(n-2)$

Що мені цікаво знати, це те, що в епоху відсутності комп’ютерів, як саме був зроблений цей вибір? Чи є фактичні математичні докази, що підтверджують це, чи це суто емпіричні, і статистики зробили МНОГО обчислення вручну, щоб придумати "найкраще пояснення" в той час?

Як тільки статистики придумали цю формулу на початку 19 століття за допомогою комп'ютерів? Посібник чи в ньому більше, ніж на очі?

— Кандидат наук
джерело

13

Я припускаю, що ви хочете сказати " без допомоги комп'ютерів". Відповідь - можливо, не дивно - використанням алгебри. Виведення є досить простим, і в багатьох місцях студентам статистики прийнято сприймати це як вправу / вивчати її як нижчу.

— Glen_b

Я думаю, що це дає досить гарне пояснення: en.wikipedia.org/wiki/Variance#Sample_variance

— Верена Хауншмід

5

Дуже тісно пов'язане: Чому стандартне відхилення вибірки є упередженим оцінювачем

σ

$\sigma$ та інтуїтивним поясненням ділення на при обчисленні sd? .

n - 1

$n-1$

— whuber

Я відредагував вашу формулу, щоб використовувати та оскільки в знаменнику призначений для дисперсії вибірки (латинські символи), а не дисперсії сукупності (грецькі символи).

s^{2}

$s^{2}$

\bar{x}

$\bar{x}$

n - 1

$n-1$

— Олексій

40

Корекція називається корекцією Бесселя і має математичне підтвердження. Особисто мене навчили цьому простому способу: за допомогою ви зміщення (див. Тут ). $n-1$ $E[\frac{1}{n}\sum_1^n(x_i - \bar x)^2]$

Ви також можете пояснити виправлення, виходячи з концепції ступенів свободи, моделювання не є строго необхідним.

— муген
джерело

15

Доказчик №3 має прекрасне інтуїтивне пояснення, яке може зрозуміти навіть непрофесіонал. Основна ідея полягає в тому, що середня вибірка не є такою, як середня кількість населення. Ваші спостереження, природно, будуть ближче до вибіркової середньої величини, ніж середня сукупність, і це в кінцевому рахунку недооцінює ці терміни терміни. Це, мабуть, очевидно для більшості людей, але я ніколи не замислювався над "інтуїцією" щодо того, чому зміщення вибіркової вибірки дотепер є необ'єктивним. Я дізнався лише формальні докази.

(x_{i} - μ)^{2}

$(x_i - \mu)^2$

(x_{i} - \bar{x})^{2}

$(x_i - \bar{x})^2$

— WetlabStudent

2

Існує також геометричний підхід, чому слід виправляти n-1 (це дуже добре пояснено у Савіллі та Вуді: Статистичні методи: Геометричний підхід). Коротше кажучи: вибірку з n можна розглядати як n-мірний простір даних. Вектори точкових зразків додають до спостережуваного вектора, який можна розкласти на модельний вектор з p-розмірністю, що відповідає p параметру, та вектором помилки з np-виміром. Відповідний піфагорейський розпад вектора помилок має np квадрати, середнє значення яких є мірою для варіації.

— giordano

Я надішлю вам гарне посилання, яке містить коротке пояснення: en.wikipedia.org/wiki/Bias_of_an_estimator

— Крістіна

Чи можете ви пояснити, чому у доказі (чергування 3) ми припускаємо, що як істинні, так і упереджені відхилення обчислюються за допомогою 's? Проблема різних дисперсій виникає тоді, коли ми маємо сукупність (з справжньою дисперсією) та вибірку (з упередженою дисперсією). Але якщо ми обчислимо дисперсію на одних і тих же даних, а саме , чому вони взагалі повинні відрізнятися? Там ми думаємо про як істинну дисперсію, обчислену з використанням таких самих , що і упереджений . Я не можу погодитися з цим доказом. Допоможіть, будь ласка, що я пропускаю?

n

$n$

x

$x$

x_{1}, x_{2}, . . ., x_{n}

$x_1, x_2, ... , x_n$

σ^{2}

$\sigma^2$

x

$x$

s_{biased}^{2}

$s_\text{biased}^2$

— Туркхан Бадалов

56

Більшість доказів, які я бачив, досить прості, що Гаусс (проте він це зробив), ймовірно, виявив це досить легко довести.

Я шукав висновок про резюме, до якого я міг би зв’язати вас (є ряд посилань на докази поза сайтом, включаючи принаймні одне у відповідях тут), але я не знайшов його тут у CV у пара пошуків, тому для повноти я наведу простий. Зважаючи на його простоту, легко зрозуміти, як люди почали б використовувати те, що зазвичай називають виправленням Бесселя .

Це сприймає як припущене знання і передбачає, що перші кілька основних властивостей дисперсії відомі. $E(X^2)=\text{Var}(X) + E(X)^2$

\begin{array}{rcl} E [\sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}] & = & E [\sum_{i = 1}^{n} x_{i}^{2} - 2 \bar{x} \sum_{i = 1}^{n} x_{i} + n {\bar{x}}^{2}] \\ = & E [\sum_{i = 1}^{n} x_{i}^{2} - n {\bar{x}}^{2}] \\ = & n E [x_{i}^{2}] - n E [{\bar{x}}^{2}] \\ = & n (μ^{2} + σ^{2}) - n (μ^{2} + σ^{2} / n) \\ = & (n - 1) σ^{2} \end{array}

$\begin{eqnarray} E[\sum_{i=1}^{n} (x_i-\bar x)^2] &=& E[\sum_{i=1}^{n} x_i^2-2\bar x\sum_{i=1}^{n} x_i+n\bar{x}^2]\\ &=& E[\sum_{i=1}^{n} x_i^2-n\bar{x}^2] \\ &=& n E[x_i^2]- n E[\bar{x}^2]\\ &=& n (\mu^2 + \sigma^2) - n(\mu^2+\sigma^2/n)\\ &=& (n-1) \sigma^2 \end{eqnarray}$

— Glen_b
джерело

1

яке властивість змушує термін зникнути?

- 2 \bar{x} \sum_{i = 1}^{n} x_{i}

$-2\bar{x}\sum_{i=1}^{n}x_i$

— Ciprian Tomoiagă

3

Він не зникає. Ви помітили, що ознака останнього терміну змінилася?

— Glen_b

1

(+1) Нещодавно я почув чудовий доказ того, що я особисто вважаю більш інтуїтивним. Дисперсія вибірки з коефіцієнтом може бути повторно виражена як середнє значення всіх різниць у квадраті між усіма парами балів. Тепер зауважте, що пари, де одна і та сама точка входить двічі, дорівнюють нулю, і це зміщує вираз. Здається розумним виправити зміщення, виключаючи всі ці пари з подвійної суми і лише усереднюючи всі інші. Це дає коригування Бесселя.

1 / n

$1/n$

— амеба каже: Відновіть Моніку

1

Ніпе, неважливо, зрозумів це. , тож ви просто застосовуєте ту саму особу, яку ви згадали вище, до обох термінів у рядку 3.

V [\bar{x}] = \frac{V [x]}{n}

$V[\bar{x}] = \frac{V[x]}{n}$

— тел

1

Будь-яка з змінних iid має той самий другий момент. Ми йдемо від розмови про всіх них до просто обговорення одного з них. Ви могли так само легко взяти (а це деякі люди) або або ... але я взяв -й

x_{1}

$x_1$

x_{2}

$x_2$

x_{n}

$x_n$

i

$i$

— Glen_b

37

Відповідно до Світу математики Вайштейна, він був вперше доведений Гауссом у 1823 році. Довідка - це том 4 Гаусса Верке, який можна прочитати на https://archive.org/details/werkecarlf04gausrich . Відповідних сторінок здається 47-49. Схоже, що Гаус розслідував це питання і придумав доказ. Я не читаю латиниці, але в тексті є резюме німецької мови. Сторінки 103-104 пояснюють, що він робив (Редагувати: я додав грубий переклад):

Allein та людина Nicht berechtigt IST, вмирають sichersten Werthe Fuer померти Варен Werthe Селбст цу Halten, так ueberzeugt людина Січі Leicht, Дасс людина Durch Dieses Verfahren allemal ден wahrscheinlichsten унд mittleren Fehler цу Клейн Фінден мус, унд Даер померти gegebenen Resultaten зробіть groessere Genauigkeit beilegt, als sie wirklich besitzen. [Але оскільки ніхто не має права ставитися до найбільш ймовірних значень як до фактичних значень, можна легко переконати себе в тому, що завжди потрібно виявити, що найбільш вірогідна помилка та середня помилка занадто малі, і тому дані результати володіють більшою точністю, ніж вони насправді.]

з якого, здавалося б, було добре відомо, що дисперсія вибірки є упередженою оцінкою дисперсії популяції. У статті йдеться про те, що різницю між ними зазвичай ігнорують, оскільки це не важливо, чи розмір вибірки досить великий. Тоді воно говорить:

Der Verfasser hat daher diesen Gegenstand eine besondere Untersuchung unterworfen, die zu einem sehr Merkwuerdigen hoechst einfachen Resultate gefuehrt hat. Man braucht nemlich den nach dem angezeigten fahlerhaften Verfahren gefundenen mittleren Fehler, um ihn in die richtigen zu verwandeln, nur mit

$\sqrt{\frac{π - ρ}{π}}$ $\sqrt{\frac{\pi-\rho}{\pi}}$
zu multiplicieren, wo die Anzahl der beobachtungen (кількість спостережень) und die Anzahl der undekannten groessen (кількість невідомих) bedeutet. [Отже, автор провів спеціальне дослідження цього об'єкта, що призвело до дуже дивного і надзвичайно простого результату. А саме, потрібно лише помножити середню помилку, знайдену вищезгаданим помилковим процесом, на (заданий вираз), щоб змінити її на правильну, де - кількість спостережень, а - кількість невідомих величин.] $\pi$ $\rho$ $\pi$ $\rho$

Тож якщо це справді вперше було знайдено виправлення, то, схоже, це було знайдено розумним розрахунком Гауссом, але люди вже усвідомлювали, що потрібна певна корекція, тож, можливо, хтось ще міг би це довідатися емпірично перед цим . Або, можливо, попередні автори не мали бажання отримати точну відповідь, оскільки вони все одно працювали з досить великими наборами даних.

Резюме: посібник, але люди вже знали, що в знаменнику не зовсім правильно. $n$

— Флорандер
джерело

Якби хтось міг надати переклад з німецької, це було б добре. Я ні для кого не читаю німецьку.

— Faheem Mitha

2

Так, Google Translate не так добре працює через мої орфографічні помилки! Додам у спробі перекладу; це буде гарний спосіб практикувати мою німецьку.

— Флондерер

14

Для мене одна інтуїція - це те

\begin{matrix} The degree to which \\ X_{i} varies from \bar{X} \end{matrix} + \begin{matrix} The degree to which \\ \bar{X} varies from μ \end{matrix} = \begin{matrix} The degree to which \\ X_{i} varies from μ . \end{matrix}

$\begin{array}{c} \mbox{The degree to which}\\ X_{i}\mbox{ varies from }\bar{X} \end{array}+\begin{array}{c} \mbox{The degree to which}\\ \bar{X}\mbox{ varies from }\mu \end{array}=\begin{array}{c} \mbox{The degree to which }\\ X_{i}\mbox{ varies from }\mu. \end{array}$

Це,

E [{(X_{i} - \bar{X})}^{2}] + E [{(\bar{X} - μ)}^{2}] = E [{(X_{i} - μ)}^{2}] .

$\mathbf{E}\left[\left(X_{i}-\bar{X}\right)^{2}\right]+\mathbf{E}\left[\left(\bar{X}-\mu\right)^{2}\right]=\mathbf{E}\left[\left(X_{i}-\mu\right)^{2}\right].$

Насправді доведення вищевказаного рівняння вимагає трохи алгебри (ця алгебра дуже схожа на відповідь @ Glen_b вище). Але якщо припустити, що це правда, ми можемо переставити, щоб отримати:

E [{(X_{i} - \bar{X})}^{2}] = \underset{σ^{2}}{\underset{⏟}{E [{(X_{i} - μ)}^{2}]}} - \underset{\frac{σ^{2}}{n}}{\underset{⏟}{E [{(\bar{X} - μ)}^{2}]}} = \frac{n - 1}{n} σ^{2} .

$\mathbf{E}\left[\left(X_{i}-\bar{X}\right)^{2}\right]=\underset{\sigma^{2}}{\underbrace{\mathbf{E}\left[\left(X_{i}-\mu\right)^{2}\right]}}-\underset{\frac{\sigma^{2}}{n}}{\underbrace{\mathbf{E}\left[\left(\bar{X}-\mu\right)^{2}\right]}}=\frac{n-1}{n}\sigma^2.$

Для мене ще однією інтуїцією є те, що використання замість вносить упередження. І це зміщення точно дорівнює . $\bar{X}$ $\mu$ $\mathbf{E}\left[\left(\bar{X}-\mu\right)^{2}\right]=\frac{\sigma^2}{n}$

— Кенні LJ
джерело

12

Більшість відповідей це вже детально пояснили, окрім тих, що є одна проста ілюстрація, яка може бути корисною:

Припустимо, вам дано, що і перші три числа: $n=4$

$8,4,6$ , _

Тепер четвертим числом може бути що завгодно, оскільки немає обмежень. Тепер розглянемо ситуацію, коли вам дано, що і , то якщо перші три числа: то четверте число повинно бути . $n=4$ $\bar x=6$ $8,4,6$ $6$

Це означає, що якщо ви знаєте значення і , то значення не має свободи. Таким чином, дає нам неупереджений оцінювач. $n-1$ $\bar x$ $nth$ $n-1$

— Satwik Bhattamishra
джерело