Максимальна оцінка ймовірності - багатоваріантний гаусс

Контекст

Багатоваріантний Гауссан часто з'являється в машинному навчанні, і наступні результати використовуються у багатьох книгах та курсах МЛ без виводів.

Наведені дані у вигляді матриці розмірів , якщо припустити, що за даними слід варіантний гауссовий розподіл із значеннями параметрів ( ) та матриці коваріації ( ) Оцінки максимальної ймовірності задаються: $\mathbf{X}$ $m \times p$ $p$ $\mu$ $p \times 1$ $\Sigma$ $p \times p$

$\hat \mu = \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}}$

$\hat \Sigma = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T$

Я розумію, що знання про багатоваріантність Гаусса є необхідною умовою для багатьох курсів з МЛ, але було б корисно повне виведення в самостійній відповіді раз і назавжди, тому що я відчуваю, що багато самостійних учнів підстрибують навколо статистики. Веб-сайти stackexchange та math.stackexchange шукають відповіді.

Питання

Яке повне виведення оцінок максимальної ймовірності для багатовимірного гаусса

Приклади:

Ці конспекти лекцій (стор. 11) про лінійний дискримінантний аналіз, або вони використовують результати та використовують попередні знання.

Також є кілька публікацій, на які частково відповідають або закриваються:

— Xavier Bourret Sicotte
джерело

Відповіді:

Отримання оцінок максимальної ймовірності

Припустимо, що у нас є $m$ випадкових векторів, кожен з розміру : де кожен випадковий вектор може бути інтерпретований як спостереження (точка даних) через змінних. Якщо кожен є iid як багатоваріантний гауссовский вектор: $p$ $\mathbf{X^{(1)}, X^{(2)},...,X^{(m)}}$ $p$ $\mathbf{X}^{(i)}$

X^{(i)} \sim N_{p} (μ, Σ)

$\mathbf{X^{(i)}} \sim \mathcal{N}_p(\mu, \Sigma)$

Де параметри невідомі. Для отримання їх оцінки ми можемо використовувати метод максимальної ймовірності та максимізувати функцію вірогідності журналу. $\mu, \Sigma$

Зверніть увагу , що в незалежності випадкових векторів, спільна щільність даних - добуток окремих густин, тобто . Прийняття логарифму дає функцію вірогідності журналу $\mathbf{ \{X^{(i)}}, i = 1,2,...,m\}$ $\prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} ; \mu , \Sigma })$

\begin{aligned} l (μ, Σ | x^{(i)}) & = \log \prod_{i = 1}^{m} f_{X^{(i)}} (x^{(i)} | μ, Σ) \\ = \log \prod_{i = 1}^{m} \frac{1}{(2 π)^{p / 2} | Σ |^{1 / 2}} \exp (- \frac{1}{2} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ)) \\ = \sum_{i = 1}^{m} (- \frac{p}{2} \log (2 π) - \frac{1}{2} \log | Σ | - \frac{1}{2} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ)) \end{aligned}

$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \log \prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} | \mu , \Sigma }) \\ & = \log \ \prod_{i=1}^m \frac{1}{(2 \pi)^{p/2} |\Sigma|^{1/2}} \exp \left( - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \\ & = \sum_{i=1}^m \left( - \frac{p}{2} \log (2 \pi) - \frac{1}{2} \log |\Sigma| - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \end{aligned}$

\begin{aligned} l (μ, Σ;) & = - \frac{m p}{2} \log (2 π) - \frac{m}{2} \log | Σ | - \frac{1}{2} \sum_{i = 1}^{m} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ) \end{aligned}

$\begin{aligned} l(\mu, \Sigma ; ) & = - \frac{mp}{2} \log (2 \pi) - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \end{aligned}$

виведення $\hat \mu$

Щоб взяти похідну відносно та прирівняти до нуля, ми скористаємося такою ідентичністю матричного обчислення: $\mu$

якщо не залежить відіє симетричним. $\mathbf{ \frac{\partial w^T A w}{\partial w} = 2Aw}$ $\mathbf{w}$ $\mathbf{A}$ $\mathbf{A}$

\begin{aligned} \frac{\partial}{\partial μ} l (μ, Σ | x^{(i)}) & = \sum_{i = 1}^{m} Σ^{- 1} (μ - x^{(i)}) = 0 \\ Since Σ is positive definite \\ 0 & = m μ - \sum_{i = 1}^{m} x^{(i)} \\ \hat{μ} & = \frac{1}{m} \sum_{i = 1}^{m} x^{(i)} = \bar{x} \end{aligned}

$\begin{aligned} \frac{\partial }{\partial \mu} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \sum_{i=1}^m \mathbf{ \Sigma^{-1} ( \mu - x^{(i)} ) } = 0 \\ & \text{Since $\Sigma$ is positive definite} \\ 0 & = m \mu - \sum_{i=1}^m \mathbf{ x^{(i)} } \\ \hat \mu &= \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}} \end{aligned}$

Що часто називають середнім зразком вектора.

виводячи $\hat \Sigma$

Виведення MLE для коваріаційної матриці вимагає додаткової роботи та використання таких властивостей лінійної алгебри та обчислення:

Слід інваріантний при циклічних перестановках матричних продуктів: $tr[ACB] = tr[CAB] = tr[BCA]$

Since $x^TAx$ is scalar, we can take its trace and obtain the same value: $x^tAx = tr[x^TAx] = tr[x^txA]$

$\frac{\partial}{\partial A} tr[AB] = B^T$

$\frac{\partial}{\partial A} \log |A| = A^{-T}$

Combining these properties allows us to calculate

\frac{\partial}{\partial A} x^{t} A x = \frac{\partial}{\partial A} t r [x^{T} x A] = [x x^{t}]^{T} = x^{T T} x^{T} = x x^{T}

$\frac{\partial}{\partial A} x^tAx =\frac{\partial}{\partial A} tr[x^TxA] = [xx^t]^T = x^{TT}x^T = xx^T$

Which is the outer product of the vector $x$ with itself.

We can now re-write the log-likelihood function and compute the derivative w.r.t. $\Sigma^{-1}$ (note $C$ is constant)

\begin{aligned} l (μ, Σ | x^{(i)}) & = C - \frac{m}{2} \log | Σ | - \frac{1}{2} \sum_{i = 1}^{m} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ) \\ = C + \frac{m}{2} \log | Σ^{- 1} | - \frac{1}{2} \sum_{i = 1}^{m} t r [(x^{(i)} - μ) (x^{(i)} - μ)^{T} Σ^{- 1}] \\ \frac{\partial}{\partial Σ^{- 1}} l (μ, Σ | x^{(i)}) & = \frac{m}{2} Σ - \frac{1}{2} \sum_{i = 1}^{m} {(x^{(i)} - μ) (x^{(i)} - μ)}^{T} Since Σ^{T} = Σ \end{aligned}

$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \text{C} - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \\ & = \text{C} + \frac{m}{2} \log |\Sigma^{-1}| - \frac{1}{2} \sum_{i=1}^m tr[ \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)^T \Sigma^{-1} } ] \\ \frac{\partial }{\partial \Sigma^{-1}} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \frac{m}{2} \Sigma - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \ \ \text{Since $\Sigma^T = \Sigma$} \end{aligned}$

Equating to zero and solving for $\Sigma$

\begin{aligned} 0 & = m Σ - \sum_{i = 1}^{m} {(x^{(i)} - μ) (x^{(i)} - μ)}^{T} \\ \hat{Σ} & = \frac{1}{m} \sum_{i = 1}^{m} {(x^{(i)} - \hat{μ}) (x^{(i)} - \hat{μ})}^{T} \end{aligned}

$\begin{aligned} 0 &= m \Sigma - \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \\ \hat \Sigma & = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T \end{aligned}$

Sources

— Xavier Bourret Sicotte
джерело

Alternative proofs, more compact forms, or intuitive interpretation are welcome !

— Xavier Bourret Sicotte

In the derivation for

μ

$\mu$ , why does

Σ

$\Sigma$ need to be positive definite? Does it seem enough that

Σ

$\Sigma$ is invertible? For an invertible matrix

A

$A$ ,

A x = 0

$Ax=0$ only when

x = 0

$x=0$ ?

— Tom Bennett

To clarify,

Σ

$\Sigma$ is an

m \times m

$m \times m$ matrix that may have finite diagonal and non-diagonal components indicating correlation between vectors, correct? If that is the case, in what sense are these vectors independent? Also, why is the joint probability function equal to the likelihood? Shouldn't the joint density,

f (x, y)

$f(x,y)$ , be equal to the likelihood multiplied by the prior, i.e.

f (x | y) f (y)

$f(x|y)f(y)$ ?

— Mathews24

@TomBennett the sigma matrix is positive definite by definition - see stats.stackexchange.com/questions/52976/… for the proof. The matrix calculus identity requires the matrix to be symmetric, not positive definite. But since positive definite matrices are always symmetric that works

— Xavier Bourret Sicotte

Yes indeed - independence between observations allow to get the likelihood - the wording may be unclear faie enough - this is the multivariate version of the likelihood. The prior is still irrelevant regardless

— Xavier Bourret Sicotte

Альтернативний доказ для $\widehat{\Sigma}$ що приймає похідну відносно $\Sigma$ безпосередньо:

Вибір з імовірністю журналу, як описано вище:

\begin{array}{rcl} ℓ (мк, Σ) & = & С - \frac{м}{2} журнал | Σ | - \frac{1}{2} \sum_{i = 1}^{м} тр [(х^{(i)} - мк)^{Т} Σ^{- 1} (х^{(i)} - мк)] \\ = & С - \frac{1}{2} (м журнал | Σ | + \sum_{i = 1}^{м} тр [(х^{(i)} - мк) (х^{(i)} - мк)^{Т} Σ^{- 1}]) \\ = & С - \frac{1}{2} (м журнал | Σ | + тр [S_{мк} Σ^{- 1}]) \end{array}

$\begin{eqnarray} \ell(\mu, \Sigma) &=& C - \frac{m}{2}\log|\Sigma|-\frac{1}{2} \sum_{i=1}^m \text{tr}\left[(\mathbf{x}^{(i)}-\mu)^T \Sigma^{-1} (\mathbf{x}^{(i)}-\mu)\right]\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| + \sum_{i=1}^m\text{tr} \left[(\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T\Sigma^{-1} \right]\right)\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| +\text{tr}\left[ S_\mu \Sigma^{-1} \right] \right) \end{eqnarray}$ де

S_{μ} = \sum_{i = 1}^{m} (x^{(i)} - μ) (x^{(i)} - μ)^{T}

$S_\mu = \sum_{i=1}^m (\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T$ і ми використали циклічні та лінійні властивості

tr

$\text{tr}$ . Для обчислення

\partial ℓ / \partial Σ

$\partial \ell /\partial \Sigma$ ми спочатку це спостерігаємо

\frac{\partial}{\partial Σ} журнал | Σ | = Σ^{- Т} = Σ^{- 1}

$\frac{\partial}{\partial \Sigma} \log |\Sigma| = \Sigma^{-T}=\Sigma^{-1}$ четвертою властивістю вище. Для отримання похідної другого доданка нам знадобиться властивість, яка

\frac{\partial}{\partial Х} тр (А Х^{- 1} Б) = - (Х^{- 1} Б А Х^{- 1})^{Т} .

$\frac{\partial}{\partial X}\text{tr}\left( A X^{-1} B\right) = -(X^{-1}BAX^{-1})^T.$ (з Кулінарної книги «Матриця» , рівняння 63). Застосовуючи це за допомогою

B = I

$B=I$ ми отримуємо це

\frac{\partial}{\partial Σ} тр [S_{мк} Σ^{- 1}] = - {(Σ^{- 1} S_{мк} Σ^{- 1})}^{Т} = - Σ^{- 1} S_{мк} Σ^{- 1}

$\frac{\partial}{\partial \Sigma}\text{tr}\left[S_\mu \Sigma^{-1}\right] = -\left( \Sigma^{-1} S_\mu \Sigma^{-1}\right)^T = -\Sigma^{-1} S_\mu \Sigma^{-1}$ бо обидва

Σ

$\Sigma$ і

S_{μ}

$S_\mu$ є симетричними. Потім

\frac{\partial}{\partial Σ} ℓ (μ, Σ) \propto m Σ^{- 1} - Σ^{- 1} S_{μ} Σ^{- 1} .

$\frac{\partial}{\partial \Sigma}\ell(\mu, \Sigma) \propto m \Sigma^{-1} - \Sigma^{-1} S_\mu \Sigma^{-1}.$ Setting this to 0 and rearranging gives

\hat{Σ} = \frac{1}{m} S_{μ} .

$\widehat{\Sigma} = \frac{1}{m}S_\mu.$

This approach is more work than the standard one using derivatives with respect to $\Lambda = \Sigma^{-1}$ , and requires a more complicated trace identity. I only found it useful because I currently need to take derivatives of a modified likelihood function for which it seems much harder to use $\partial/{\partial \Sigma^{-1}}$ than $\partial/\partial \Sigma$ .

— Eric Kightley
джерело

Максимальна оцінка ймовірності - багатоваріантний гаусс

Контекст

Питання

Приклади:

Отримання оцінок максимальної ймовірності

виведення μμ^μ^\hat \mu

виводячи ΣΣ^Σ^\hat \Sigma

Sources

виведення $\hat \mu$

виводячи $\hat \Sigma$