Чи можливо знайти комбіноване стандартне відхилення?

Припустимо, у мене є 2 набори:

Встановіть A : кількість елементів , , $n= 10$ $\mu = 2.4$ $\sigma = 0.8$

Встановити B : кількість елементів , , $n= 5$ $\mu = 2$ $\sigma = 1.2$

Я можу легко знайти комбіноване середнє значення ( ), але як я повинен знайти комбіноване стандартне відхилення? $\mu$

standard-deviation

— кейп
джерело

en.wikipedia.org/wiki/Pooled_variance#Pooled_standard_deviation

— Кріс

Відповіді:

Отже, якщо ви просто хочете, щоб два зразки були об'єднані в один, у вас є:

$s_1 = \sqrt{\frac{1}{n_1}\Sigma_{i = 1}^{n_1} (x_i - \bar{y}_1)^2}$

$s_2 = \sqrt{\frac{1}{n_2}\Sigma_{i = 1}^{n_2} (y_i - \bar{y}_2)^2}$

де і - вибіркові засоби, а і - стандартні відхилення вибірки. $\bar{y}_1$ $\bar{y}_2$ $s_1$ $s_2$

Щоб додати їх, у вас є:

$s = \sqrt{\frac{1}{n_1 + n_2}\Sigma_{i = 1}^{n_1 + n_2} (z_i - \bar{y})^2}$

що не так просто, оскільки нове середнє значення відрізняється від та : $\bar{y}$ $\bar{y}_1$ $\bar{y}_2$

$\bar{y} = \frac{1}{n_1 + n_2}\Sigma_{i = 1}^{n_1 + n_2} z_i = \frac{n_1 \bar{y}_1 + n_2 \bar{y}_2}{n_1 + n_2}$

Остаточна формула:

$s = \sqrt{\frac{n_1 s_1^2 + n_2 s_2^2+ n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1 + n_2 }}$

Для поширеної версії стандартного відхилення з коригуваною Бесселем (" знаменником") результати для засобів є такими, як раніше, але $n-1$

$s = \sqrt{\frac{(n_1 - 1)s_1^2 + (n_2 - 1)s_2^2 + n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1+n_2 - 1} }$

Більше інформації можна прочитати тут: http://en.wikipedia.org/wiki/Standard_deviation

— сашкелло
джерело

Якщо ОП використовує скореговану Бесселем ( знаменник для дисперсії) версію зразкового стандартного відхилення (як це робитимуть майже всі, хто запитає тут), ця відповідь не дасть їм того, чого вони прагнуть.

n - 1

$n-1$

— Glen_b -Встановіть Моніку

У цьому випадку цей розділ виконує свою справу . (редагувати для посилання на стару версію вікіпедії, оскільки її видалено з нової)

— Glen_b -Встановити Моніку

@Glen_b Хороший улов. Чи можете ви відредагувати це у відповідь, щоб потім було корисніше?

— сашкелло

Я пішов у Вікіпедію, щоб знайти докази, але, на жаль, цієї формули вже немає. Хочете розробити (доказ) чи покращити Вікіпедію? :)

— Рауні Ліллемець

@RauniLillemets см en.wikipedia.org/wiki/Pooled_variance#Pooled_standard_deviation

— Chris

Це, очевидно, поширюється на групи: $K$

s = \sqrt{\frac{\sum_{k = 1}^{K} (n_{k} - 1) s_{k}^{2} + n_{k} ({\bar{y}}_{k} - \bar{y})^{2}}{(\sum_{k = 1}^{K} n_{k}) - 1}}

$s = \sqrt{ \frac{\sum_{k=1}^K (n_k-1)s_k^2 + n_k(\bar{y}_k-\bar{y})^2} {(\sum_{k=1}^K n_k) -1} }$

— Раві Варадхан
джерело

Це трохи стисло за стандартами. Не могли б ви сказати трохи більше про те, як це відбувається та чому це правильна відповідь?

— Sycorax каже, що повернеться Моніка

У мене була така ж проблема: маючи стандартне відхилення, засоби та розміри декількох підмножин із порожнім перетином, обчислити стандартне відхилення об'єднання цих підмножин.

Мені подобається відповідь sashkello та Glen_b ♦ , але я хотів знайти доказ цього. Я зробив це таким чином, і залишаю його тут, якщо це комусь допоможе.

s = {(\frac{n_{1} s_{1}^{2} + n_{2} s_{2}^{2} + n_{1} ({\bar{y}}_{1} - \bar{y})^{2} + n_{2} ({\bar{y}}_{2} - \bar{y})^{2}}{n_{1} + n_{2}})}^{1 / 2}

$s = \left(\frac{n_1 s_1^2 + n_2 s_2^2+ n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1 + n_2 }\right)^{1/2}$

{(\frac{n_{1} s_{1}^{2} + n_{2} s_{2}^{2} + n_{1} ({\bar{y}}_{1} - \bar{y})^{2} + n_{2} ({\bar{y}}_{2} - \bar{y})^{2}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i} - \bar{y_{1}})^{2} + \sum_{i = 1}^{n_{2}} (y_{i} - \bar{y_{2}})^{2} + n_{1} ({\bar{y}}_{1} - \bar{y})^{2} + n_{2} ({\bar{y}}_{2} - \bar{y})^{2}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} ((x_{i} - \bar{y_{1}})^{2} + ({\bar{y}}_{1} - \bar{y})^{2}) + \sum_{i = 1}^{n_{2}} ((y_{i} - \bar{y_{2}})^{2} + ({\bar{y}}_{2} - \bar{y})^{2})}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} + 2 {\bar{y_{1}}}^{2} - 2 x_{i} \bar{y_{1}} - 2 \bar{y_{1}} \bar{y})}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} (y_{i}^{2} + {\bar{y}}^{2} + 2 {\bar{y_{2}}}^{2} - 2 y_{i} \bar{y_{2}} - 2 \bar{y_{2}} \bar{y})}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{1}} \frac{x_{j}}{n_{1}}) + 2 n_{1} {\bar{y_{1}}}^{2} - 2 \bar{y_{1}} \sum_{i = 1}^{n_{1}} x_{i}}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} (y_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{2}} \frac{y_{j}}{n_{2}}) + 2 n_{2} {\bar{y_{2}}}^{2} - 2 \bar{y_{2}} \sum_{i = 1}^{n_{2}} y_{i}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{1}} \frac{x_{j}}{n_{1}}) + 2 n_{1} {\bar{y_{1}}}^{2} - 2 \bar{y_{1}} n_{1} \bar{y_{1}}}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} (y_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{2}} \frac{y_{j}}{n_{2}}) + 2 n_{2} {\bar{y_{2}}}^{2} - 2 \bar{y_{2}} n_{2} \bar{y_{2}}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{1}} \frac{x_{j}}{n_{1}})}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} (y_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{2}} \frac{y_{j}}{n_{2}})}{n_{1} + n_{2}})}^{1 / 2}

$\left(\frac{n_1 s_1^2 + n_2 s_2^2+ n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1 + n_2 }\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}(x_i - \bar{y_1})^2 + \sum_{i=1}^{n_2}(y_i - \bar{y_2})^2+ n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1 + n_2 }\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left((x_i - \bar{y_1})^2 + (\bar{y}_1-\bar{y})^2\right) + \sum_{i=1}^{n_2}\left((y_i - \bar{y_2})^2 + (\bar{y}_2-\bar{y})^2\right)}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 + 2\bar{y_1}^2 -2x_i\bar{y_1} -2\bar{y_1}\bar{y} \right)}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i^2 + \bar{y}^2 + 2\bar{y_2}^2 -2y_i\bar{y_2} -2\bar{y_2}\bar{y} \right)}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_1}\frac{x_j}{n_1}\right) + 2n_1\bar{y_1}^2 -2\bar{y_1}\sum_{i=1}^{n_1}x_i}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_2}\frac{y_j}{n_2}\right) + 2n_2\bar{y_2}^2 -2\bar{y_2}\sum_{i=1}^{n_2}y_i}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_1}\frac{x_j}{n_1}\right) + 2n_1\bar{y_1}^2 -2\bar{y_1}n_1\bar{y_1}}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_2}\frac{y_j}{n_2}\right) + 2n_2\bar{y_2}^2 -2\bar{y_2}n_2\bar{y_2}}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_1}\frac{x_j}{n_1}\right)}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_2}\frac{y_j}{n_2}\right)}{n_1 + n_2}\right)^{1/2}$

- 2 \bar{y} \sum_{j = 1}^{n_{1}} \frac{x_{j}}{n_{1}}

$-2\bar{y}\sum_{j=1}^{n_1}\frac{x_j}{n_1}$

n_{1}

$n_1$

\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} x_{i}),

$\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 -2\bar{y}x_i\right),$

= {(\frac{\sum_{i = 1}^{n_{1}} {(x_{i} - \bar{y})}^{2}}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} {(y_{i} - \bar{y})}^{2}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1} + n_{2}} {(z_{i} - \bar{y})}^{2}}{n_{1} + n_{2}})}^{1 / 2} = s ◻

$= \left(\frac{\sum_{i=1}^{n_1}\left(x_i - \bar{y}\right)^2}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i - \bar{y}\right)^2}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1 + n_2}\left(z_i - \bar{y}\right)^2}{n_1 + n_2}\right)^{1/2} = s \qquad \square$

Це було сказано, мабуть, є простіший спосіб зробити це.

$k$

— iipr
джерело

Я не бачу, наскільки питання зрозуміле. Чи передбачається, що два набори даних походять від одного розподілу? Чи є в ОП фактичні спостереження чи просто вибіркові оцінки середнього та стандартного відхилень?

— Майкл Р. Черник

Так, вони приймаються з того самого розповсюдження. Спостереження недоступні, лише середнє та стандартне відхилення підмножини.

— iipr

Тоді навіщо використовувати формулу, яка передбачає окремі спостереження?

— Майкл Р. Черник

Можливо, моя відповідь не зрозуміла. Я просто розміщую математичне підтвердження вищевказаної формули, що дозволяє обчислити sстандартні відхилення, засоби та розміри двох підмножин. У формулі немає посилання на окремі спостереження. У доказу є, але це просто доказ, і з моєї точки зору, правильний.

— iipr