Як зробити матрицю позитивною?

Я намагаюся реалізувати алгоритм ЕМ для наступної моделі аналізу факторів;

W_{j} = μ + B a_{j} + e_{j} for j = 1, \dots, n

$W_j = \mu+B a_j+e_j \quad\text{for}\quad j=1,\ldots,n$

де - р-розмірний випадковий вектор, - q-мірний вектор прихованих змінних і - матриця pxq параметрів. $W_j$ $a_j$ $B$

У результаті інших припущень, використаних для моделі, я знаю, що де - матриця дисперсії помилок термінів , = diag ( , , ..., ). $W_j\sim N(\mu, BB'+D)$ $D$ $e_j$ $D$ $\sigma_1^2$ $\sigma_2^2$ $\sigma_p^2$

Для алгоритму EM до роботи, я роблю ітерації купольні з участю оцінки і матриць і в протягом цих ітерацій я обчислення зворотної на кожній ітерації , використовуючи нові оцінки і . На жаль, під час ітерацій втрачає свою позитивну визначеність (але це не повинно, оскільки це матриця дисперсії-коваріації), і ця ситуація руйнує конвергенцію алгоритму. Мої запитання: $B$ $D$ $BB'+D$ $B$ $D$ $BB'+D$

Чи показує ця ситуація, що в моєму алгоритмі щось не так, оскільки ймовірність повинна збільшуватися на кожному кроці ЕМ?
Які практичні способи зробити матрицю позитивною?

Редагувати: Обчислюю інверсію, використовуючи матричну інверсійну лему, яка говорить, що:

(B B^{'} + D)^{- 1} = D^{- 1} - D^{- 1} B (I_{q} + B^{'} D^{- 1} B)^{- 1} B^{'} D^{- 1}

$(BB'+D)^{-1}=D^{-1}-D^{-1}B (I_q+B'D^{-1}B)^{-1} B'D^{-1}$

де права сторона включає лише обертання матриць . $q\times q$

factor-analysis expectation-maximization

— Енді Амос
джерело

Це може допомогти зрозуміти, як

B B^{'} + D

$BB'+D$ "втрачає" свою позитивну визначеність. Це означає, що або

або

(або обидва) стають непозитивними. Це важко зробити, коли

обчислюється безпосередньо з

а ще важче, коли

обчислюється як діагональна матриця з квадратами на її діагоналі!

B B^{'}

$BB'$

D

$D$

B B^{'}

$BB'$

B

$B$

D

$D$

— whuber

@whuber Зазвичай у FA

, тому

ніколи не є позитивним певним. Але (теоретично)

повинно бути, якщо вважати, що

's всі більше нуля.

q < p

$q<p$

B B^{'}

$BB'$

B B^{'} + D

$BB' + D$

σ_{j}^{2}

$\sigma^2_j$

— JMS

Це пов’язано з цим питанням: stats.stackexchange.com/questions/6364/…

— Gilead

@JMS Дякую Я думаю, що мій коментар досі актуальний:

може бути невизначеним, але все ж не повинно мати жодних негативних власних значень. Проблеми виникнуть, коли найменша з

порівнянна з числовою помилкою в алгоритмі інверсії. Якщо це так, то одне рішення застосувати СВД для

і нулю поза дійсно малих (або негативних) власних значень, то перераховувати

і додати

B B^{'}

$BB'$

σ_{i}^{2}

$\sigma_i^2$

B B^{'}

$BB'$

B B^{'}

$BB'$

D

$D$

— whuber

Це повинні бути маленькі елементи в

;

має бути добре обумовлений інакше, оскільки

D

$D$

I_{q} + B^{'} D^{- 1} B

$I_q + B'D^{-1}B$

q < p

$q<p$

— JMS

Гаразд, оскільки ви робите FA, я припускаю, що повна колона і . Нам потрібно ще кілька деталей. Це може бути числова проблема; це також може бути проблемою з вашими даними. $B$ $q$ $q<p$

Як ви обчислюєте зворотне? Вам потрібен зворотній явний вигляд, чи можете повторно виразити обчислення як рішення лінійної системи? (тобто, щоб отримати вирішити для x, що, як правило, швидше і стабільніше) $A^{-1}b$ $Ax=b$

Що відбувається з ? Чи справді оцінки незначні / 0 / негативні? У певному сенсі це є критичною ланкою, оскільки , звичайно, не вистачає рангу і визначає сингулярну матрицю коваріації перед додаванням , тому ви не можете її інвертувати. Додавання позитивної діагональної матриці технічно робить її повноцінною, але все ще може бути жахливо поганим, якщо малий. $D$ $BB'$ $D$ $D$ $BB'+D$ $D$

Часто оцінка ідіосинкратичних варіацій (ваш , діагональні елементи ) майже до нуля або навіть негативні; це називаються випадками Хейвуда. Див., Наприклад, http://www.technion.ac.il/docs/sas/stat/chap26/sect21.htm (будь-який текст FA повинен також обговорювати це, це дуже стара і відома проблема). Це може бути наслідком неправильної специфікації моделі, невдалої удачі, невдачі, спалахів сонячної енергії ... MLE особливо схильний до цієї проблеми, тому якщо ваш алгоритм ЕМ призначений для виходу з MLE на вигляд. $\sigma^2_i$ $D$

Якщо ваш алгоритм ЕМ наближається до режиму з такими оцінками , я думаю, що втратить свою позитивну визначеність. Є різні рішення; особисто я вважаю за краще байєсівський підхід, але навіть тоді вам потрібно бути обережними зі своїми пріорами (неналежні пріорі або навіть власні пріори із занадто великою масою близько 0 можуть мати ту ж проблему з тієї самої причини) $BB'+D$

— JMS
джерело

Дозвольте зазначити, що в основній частині алгоритмів ви ніколи не хочете фактично інвертувати матрицю. Можливо, вам знадобиться в самому кінці, щоб отримати стандартні оцінки. Дивіться це повідомлення в блозі johndcook.com/blog/2010/01/19/dont-invert-that-matrix

— Samsdram

Значення матриці D стають меншими, оскільки кількість ітерацій збільшується. Можливо, це проблема, як ви вказали.

— Енді Амос

@Andy Amos: Я б став на це гроші. Як @whuber зазначає, що майже неможливо, щоб

мав негативні власні значення, якщо ви його обчислюєте безпосередньо, а нулі (від дефіциту за рангом) слід подбати про це, додаючи

з моменту його позитивної діагоналі - якщо тільки деякі з них елементів справді мало. Спробуйте згенерувати деякі дані з моделі , де

досить великий і

. Чим більше даних, тим краще, щоб оцінки були точними та стабільними. Це принаймні скаже вам, чи є проблема у вашій реалізації.

B B^{'}

$BB'$

D

$D$

σ_{i}^{2}

$\sigma_i^2$

\sum_{q} B_{i q}^{2} \approx σ_{i}^{2}

$\sum_q B_{iq}^2 \approx \sigma_i^2$

— JMS