Що робити, коли матриця коваріації зразка не обернена?

Я працюю над деякими методами кластеризації, де для заданого кластера d-розмірних векторів я припускаю багатоваріантне нормальне розподіл і обчислюю вибірковий d-розмірний середній вектор та матрицю коваріації вибірки.

Тоді, намагаючись вирішити, чи належить новий, невидимий, d-мірний вектор до цього кластеру, я перевіряю його відстань за допомогою цієї міри:

{(X_{i} - {\hat{μ}}_{X})}^{'} {\hat{σ}}_{X}^{- 1} (X_{i} - {\hat{μ}}_{X}) > B_{0.95} (\frac{p}{2}, \frac{- p}{2})

$\left(X_i-\hat{\mu}_X\right)'\hat{\sigma}_X^{-1}\left(X_i-\hat{\mu}_X\right)>B_{0.95}\left(\frac{p}{2},\frac{-p}{2}\right)$

Що вимагає від мене обчислити зворотну матрицю коваріації . Але, враховуючи деякі зразки, я не можу гарантувати, що матриця коваріації буде незворотною, що робити в тому випадку, якщо це не так? $\hat{\sigma}_X$

Дякую

— Алі
джерело

це залежить від того, що призводить до того, що матриця не може бути зворотна. Можливими причинами можуть бути: (а) зразок, який ви використовували для обчислення матриці коваріації, є занадто малим (б) ваш зразок має достатній розмір, але його член не витягується з безперервного розподілу, щоб частина стовпця / рядка вашого зразка повторювалася .

— user603

Я думаю , що розмір вибірки стає малим

— Aly

@ Anonymous-Mousse Я переконався, що зараз використовую щонайменше стільки зразків, скільки розміри, інакше матриця буде дефіцитною. Поки немає проблем, але я думаю, що з коваріацією вибірки це може бути незворотним?

— Алі

Чому завжди повинен бути зворотним? При одному спостереженні середнє значення дорівнює цьому спостереженню, тому коваріація вибірки - це нульова матриця, яка не буде інвертуватися. Я думаю, що матриця повинна бути повноцінної, щоб її перевернути, і вона буде повною, якщо кількість вибірок> = розмірність

M M^{T}

$MM^T$

— Короне

@corone робить це суворим>

— user603

Якщо розмірність ваших зразків менша за розмірність векторного простору, можуть виникати сингулярні матриці. Якщо у вас менше зразків, ніж (коли - ваша розмірність), така ситуація навіть обов'язково виникне: проби охоплюють щонайменше мірну гіперплану. З огляду на такий невеликий зразок, ви, очевидно, не можете обчислити дисперсію в ортогональному просторі. $d+1$ $d$ $k+1$ $d$

Ось чому зазвичай не використовувати буквальний PCA, а замість цього виконувати сингулярне розкладання значення , яке можна використовувати для обчислення псевдоінверсії матриці. Якщо матриця є зворотною, псевдоінверс буде оберненим.

Однак, якщо ви бачите неперевернуті матриці, велика ймовірність, що ваша відстань від кластера буде безглуздою, якщо вектор знаходиться поза гіперпланом, кластер відкидається, оскільки ви не знаєте дисперсії в ортогональному просторі (ви можете думати про ця дисперсія як 0!) SVD може обчислити псевдоінверс, але "відхилення" все одно не визначатимуться вашими даними.

У цьому випадку вам, мабуть, слід було б спочатку зробити глобальне зменшення розмірності. Збільшення розміру вибірки допоможе лише тоді, коли ви насправді маєте не надмірні розміри: незалежно від того, скільки зразків ви отримаєте з розподілів з , матриця завжди буде незворотною, і ви не зможете судити про відхилення щодо стандартного відхилення (яке дорівнює 0). $y=x$ $x-y$

Крім того, залежно від способу обчислення матриці коваріації, ви можете зіткнутися з числовими проблемами через катастрофічне скасування. Найпростіший спосіб вирішення - це завжди спочатку центрировать дані, щоб отримати нульове значення.

— Має QUIT - Аноні-Мус
джерело

вибачте за відповіді тут, але я працюю над тим же питанням. Я порівнюю відстані кластеризації через відстань махаланобіса, що вимагає зворотної матриці коваріації. однак у моєму випадку я отримую таку ж помилку. тому я спробував SingularValueDecomposition, але цього разу всі відстані рівні 1,4: D я не можу це зрозуміти

— MonsterMMORPG