Яка дисперсія зваженої суміші двох гаусів?

Скажіть, у мене є два нормальних розподілу A і B зі значеннями і та дисперсіями та . Я хочу взяти зважену суміш цих двох розподілів, використовуючи ваги і де і . Я знаю, що середнє значення цієї суміші було б . $\mu_A$ $\mu_B$ $\sigma_A$ $\sigma_B$ $p$ $q$ $0\le p \le 1$ $q = 1-p$ $\mu_{AB} = (p\times\mu_A) + (q\times\mu_B)$

Якою буде дисперсія?

Конкретним прикладом було б, якби я знав параметри розподілу чоловічого та жіночого зросту. Якби у мене була кімната людей, яка становила 60% чоловіків, я могла б отримати очікуваний середній зріст для всієї кімнати, але як бути з дисперсією?

normal-distribution mixture

— JoFrhwld
джерело

Ре термінологія: суміш просто має середнє значення та дисперсію; немає сенсу кваліфікувати їх як "очікувані", якщо ви, можливо, не натякаєте, що

p

$p$ і

q

$q$ слід вважати випадковими змінними.

— whuber

Я знаю, що суміш двох гауссових розподілів визначена. Але якщо два розподіли однакові? Тобто, ідентифікується суміш двох нормальних розподілів з однаковими засобами та різними стандартними відхиленнями? У цьому контексті є документи? Заздалегідь

Подібне запитання з відповідями (маючи справу і з ПОСЛУГАМИ) тут: math.stackexchange.com/q/195911/96547

— hplieninger

Дисперсія - це другий момент мінус квадрат першого моменту, тому досить обчислити моменти сумішей.

В цілому, з урахуванням розподілу з PDF - і постійна (невипадковий) вага , Ф суміші становить $f_i$ $p_i$

f (x) = \sum_{i} p_{i} f_{i} (x),

$f(x) = \sum_i{p_i f_i(x)},$

з якого випливає відразу на будь-який момент що $k$

μ^{(k)} = E_{f} [x^{k}] = \sum_{i} p_{i} E_{f_{i}} [x^{k}] = \sum_{i} p_{i} μ_{i}^{(k)} .

$\mu^{(k)} = \mathbb{E}_{f}[x^k] = \sum_i{p_i \mathbb{E}_{f_i}[x^k]} = \sum_i{p_i \mu_i^{(k)}}.$

Я написав для моменту і для моменту . $\mu^{(k)}$ $k^{th}$ $f$ $\mu_i^{(k)}$ $k^{th}$ $f_i$

За допомогою цих формул може бути записана дисперсія

Var (f) = μ^{(2)} - {(μ^{(1)})}^{2} = \sum_{i} p_{i} μ_{i}^{(2)} - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} .

$\text{Var}(f) = \mu^{(2)} - \left(\mu^{(1)}\right)^2 = \sum_i{p_i \mu_i^{(2)}} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2.$

Equivalently, if the variances of the $f_i$ are given as $\sigma^2_i$ , then $\mu^{(2)}_i = \sigma^2_i + \left(\mu^{(1)}_i\right)^2$ , enabling the variance of the mixture $f$ to be written in terms of the variances and means of its components as

\begin{aligned} Var (f) & = \sum_{i} p_{i} (σ_{i}^{2} + {(μ_{i}^{(1)})}^{2}) - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} \\ = \sum_{i} p_{i} σ_{i}^{2} + \sum_{i} p_{i} {(μ_{i}^{(1)})}^{2} - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} . \end{aligned}

$\eqalign{ \text{Var}(f) &= \sum_i{p_i \left(\sigma^2_i + \left(\mu^{(1)}_i\right)^2\right)} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2 \\ &= \sum_i{p_i \sigma^2_i} + \sum_i{p_i\left(\mu_i^{(1)}\right)^2} - \left(\sum_{i}{p_i \mu_i^{(1)}}\right)^2. }$

In words, this is the (weighted) average variance plus the average squared mean minus the square of the average mean. Because squaring is a convex function, Jensen's Inequality asserts that the average squared mean can be no less than the square of the average mean. This allows us to understand the formula as stating the variance of the mixture is the mixture of the variances plus a non-negative term accounting for the (weighted) dispersion of the means.

In your case the variance is

p_{A} σ_{A}^{2} + p_{B} σ_{B}^{2} + [p_{A} μ_{A}^{2} + p_{B} μ_{B}^{2} - (p_{A} μ_{A} + p_{B} μ_{B})^{2}] .

$p_A \sigma_A^2 + p_B \sigma_B^2 + \left[p_A\mu_A^2 + p_B\mu_B^2 - (p_A \mu_A + p_B \mu_B)^2\right].$

We can interpret this is a weighted mixture of the two variances, $p_A\sigma_A^2 + p_B\sigma_B^2$ , plus a (necessarily positive) correction term to account for the shifts from the individual means relative to the overall mixture mean.

The utility of this variance in interpreting data, such as given in the question, is doubtful, because the mixture distribution will not be Normal (and may depart substantially from it, to the extent of exhibiting bimodality).

— whuber
джерело

In particular, noting that

p_{A} + p_{B} = 1

$p_A+p_B=1$ , your last expression simplifies to

σ^{2} = μ^{(2)} - μ^{2} = p_{A} σ_{A}^{2} + p_{B} σ_{B}^{2} + p_{A} p_{B} (μ_{A} - μ_{B})^{2}

$\sigma^2=\mu^{(2)}-\mu^2=p_A\sigma_A^2+p_B\sigma_B^2+p_Ap_B(\mu_A-\mu_B)^2$ .

— Ilmari Karonen

Or, if we do impose a probabilistic explanation for a mixture density (there is an event

A

$A$ of probabiity

p_{A}

$p_A$ and the conditional density of

X

$X$ given

A

$A$ is

N (μ_{A}, σ_{A}^{2})

$N(\mu_A,\sigma_A^2)$ while the conditional density of

X

$X$ given

A^{c} = B

$A^c = B$ is

N (μ_{B}, σ_{B}^{2})

$N(\mu_B,\sigma_B^2)$ ), then var

(X)

$(X)$ is the sum of the mean of the conditional variance plus the variance of the conditional mean. The latter is a discrete RV

Y

$Y$ with values

μ_{A}, μ_{B}

$\mu_A, \mu_B$ with probabilities

p

$p$ and

q

$q$ and your expression in square brackets is readily recognized to be

E [Y^{2}] - (E [Y])^{2}

$E[Y^2]-(E[Y])^2$ .

— Dilip Sarwate

@Neodyme By definition, the variance is the second moment minus the mean squared. Therefore, the second moment is the variance plus the mean squared.

— whuber

@Neodyme use

E (X) = μ

$E(X)=\mu$ .

— whuber

@Kiran Although in some cases the mixture might look Normal, it will not be. One way to see that is to compute its excess kurtosis using the formulas given here. It will be nonzero unless all the standard deviations are equal--in which case the "mixture" isn't really a mixture in the first place.

— whuber