Як забезпечити властивості коваріаційної матриці при встановленні багатоваріантної нормальної моделі з максимальною ймовірністю?

22

Припустимо, у мене є така модель

y_{i} = f (x_{i}, θ) + ε_{i}

$y_i=f(x_i,\theta)+\varepsilon_i$

де $y_i\in \mathbb{R}^K$ , $x_i$ - вектор пояснювальних змінних, $\theta$ - параметри нелінійної функції $f$ і $\varepsilon_i\sim N(0,\Sigma)$ , де $\Sigma$ природно - матриця $K\times K$

Мета звичайна для оцінки $\theta$ і $\Sigma$ . Очевидним вибором є метод максимальної ймовірності. Вхід правдоподібності для цієї моделі (передбачається , що у нас є зразок $(y_i,x_i),i=1,...,n$ ) виглядає як

l (θ, Σ) = - \frac{n}{2} \log (2 π) - \frac{n}{2} \log det Σ - \sum_{i = 1}^{n} (y_{i} - f (x_{i}, θ))^{'} Σ^{- 1} (y - f (x_{i}, θ)))

$l(\theta,\Sigma)=-\frac{n}{2}\log(2\pi)-\frac{n}{2} \log\det\Sigma-\sum_{i=1}^n(y_i-f(x_i,\theta))'\Sigma^{-1}(y-f(x_i,\theta)))$

Тепер це здається простим, імовірність журналу задається, вводиться в дані та використовується якийсь алгоритм для нелінійної оптимізації. Проблема полягає в тому, як забезпечити, що є позитивним. Використання, наприклад, R (або будь-якого іншого алгоритму нелінійної оптимізації) не гарантує мені, що є позитивно визначеним. $\Sigma$ optim $\Sigma$

Тож питання полягає в тому, як забезпечити, щоб залишався позитивним? Я бачу два можливі рішення: $\Sigma$

Репараметрія як де - верхня трикутна або симетрична матриця. Тоді завжди буде позитивно-визначеним, а може бути необмеженим. $\Sigma$ $RR'$ $R$ $\Sigma$ $R$
Використовуйте ймовірність профілю. Вивести формули для & і . Почнемо з деякого & і ітерація , до збіжності. $\hat\theta(\Sigma)$ $\hat{\Sigma}(\theta)$ $\theta_0$ $\hat{\Sigma}_j=\hat\Sigma(\hat\theta_{j-1})$ $\hat{\theta}_j=\hat\theta(\hat\Sigma_{j-1})$

Чи є якийсь інший спосіб, і як щодо цих двох підходів, чи вони працюватимуть, чи є вони стандартними? Це здається досить стандартною проблемою, але швидкий пошук не дав мені ніяких покажчиків. Я знаю, що оцінка Байєса також була б можливою, але на даний момент я не хотів би цим займатися.

maximum-likelihood optimization covariance

— mpiktas
джерело

У мене така ж проблема в алгоритмі Калмана, але проблема набагато складніша і не так проста у використанні хитрості Гамільтона. Тоді мені цікаво, чи простішою річчю було б просто використовувати

. Таким чином я змушую код не помилитися і не змінювати рішення. Це також має вигоду змусити цей термін мати той самий знак, що і заключна частина ймовірності. Будь-які ідеї?

\log (det Σ + 1)

$\log (\det \Sigma+1)$

— econ_pipo

6

Якщо припустити, що будуючи матрицю коваріації, ви автоматично піклуєтесь про проблему симетрії, ваша ймовірність журналу буде коли не є позитивно визначеним через термін в моделі правильно? Щоб запобігти числовій помилці, якщо я б перерахував а якщо вона не є додатною, то зробить вірогідність журналу рівним -Inf, інакше продовжуйте. Ви завжди повинні обчислити визначник, тому це не коштуватиме вам додаткових розрахунків. $-\infty$ $\Sigma$ $\log {\rm det} \ \Sigma$ ${\rm det} \ \Sigma < 0$ ${\rm det} \ \Sigma$

— Макрос
джерело

5

Як виявилося, ви можете використовувати максимальну ймовірність профілю, щоб забезпечити необхідні властивості. Ви можете довести , що для даного & , максимізує $\hat\theta$ $l(\hat\theta,\Sigma)$

\hat{Σ} = \frac{1}{n} \sum_{i = 1}^{n} {\hat{ε}}_{i} {\hat{ε}}_{i}^{'},

$\hat\Sigma=\frac{1}{n}\sum_{i=1}^n\hat{\varepsilon}_i\hat{\varepsilon}_i',$

де

{\hat{ε}}_{i} = y_{i} - f (x_{i}, \hat{θ})

$\hat{\varepsilon}_i=y_i-f(x_i,\hat\theta)$

Тоді це можна показати

\sum_{i = 1}^{n} (y_{i} - f (x_{i}, \hat{θ}))^{'} {\hat{Σ}}^{- 1} (y - f (x_{i}, \hat{θ}))) = c o n s t,

$\sum_{i=1}^n(y_i-f(x_i,\hat\theta))'\hat\Sigma^{-1}(y-f(x_i,\hat\theta)))=const,$

hence we only need to maximise

l_{R} (θ, Σ) = - \frac{n}{2} \log det \hat{Σ} .

$l_R(\theta,\Sigma)=-\frac{n}{2} \log\det\hat\Sigma.$

Naturally in this case $\Sigma$ will satisfy all the necessary properties. The proofs are identical for the case when $f$ is linear which can be found in Time Series Analysis by J. D. Hamilton page 295, hence I omitted them.

— mpiktas
джерело

3

An alternative parameterization for the covariance matrix is in terms of eigenvalues $\lambda_1,...,\lambda_p$ and $p(p-1)/2$ "Givens" angles $\theta_ij$ .

That is, we can write

Σ = G^{T} Λ G

$\Sigma = G^T \Lambda G$

where $G$ is orthonormal, and

Λ = d i a g (λ_{1}, . . ., λ_{p})

$\Lambda = diag(\lambda_1, ..., \lambda_p)$

with $\lambda_1 \geq ... \geq \lambda_p \geq 0$ .

Meanwhile, $G$ can be parameterized uniquely in terms of $p(p-1)/2$ angles, $\theta_{ij}$ , where $i = 1,2,...,p-1$ and $j = i, ..., p-1$ .[1]

(details to be added)

[1]: Hoffman, Raffenetti, Ruedenberg. "Generalization of Euler Angles to N‐Dimensional Orthogonal Matrices". J. Math. Phys. 13, 528 (1972)

— charles.y.zheng
джерело

The matrix

G

$G$ is actually orthogonal, because

Σ

$\Sigma$ is a symmetric matrix. This is the approach I was going to recommend - Basically amounts to rotating the

y_{i}

$y_i$ vector and the model function

f (x_{i}, θ)

$f(x_i,\theta)$ so that the errors are independent, then applying OLS to each of the rotated components (I think).

— probabilityislogic

2

Along the lines of charles.y.zheng's solution, you may wish to model $\Sigma = \Lambda + C C^{\top}$ , where $\Lambda$ is a diagonal matrix, and $C$ is a Cholesky factorization of a rank update to $\Lambda$ . You only then need to keep the diagonal of $\Lambda$ positive to keep $\Sigma$ positive definite. That is, you should estimate the diagonal of $\Lambda$ and the elements of $C$ instead of estimating $\Sigma$ .

— shabbychef
джерело

Can below diagonal elements in this settings be anything I want as long as the diagonal is positive? When simulate matrices this way in numpy not all of them are positive definite.

— sztal

Λ

$\Lambda$ is a diagonal matrix.

— shabbychef