Чи алгоритм ЕМ послідовно оцінює параметри в моделі Гауссової суміші?


9

Я вивчаю модель Гауссової суміші і сам придумую це питання.

Припустимо, основні дані генеруються із суміші K Гауссова розподіл і кожен з них має середній вектор μkRp, де 1kK і кожен з них має однакову ко-дисперсійну матрицю Σ і припустимо це Σє діагональною матрицею. І припустимо, коефіцієнт змішування є1/Kтобто кожен кластер має однакову вагу.

Тож у цьому ідеальному прикладі єдиною роботою є оцінка вартості K середні вектори μkRp, де 1kK і матриця ко-дисперсії Σ.

Моє питання: якщо ми будемо використовувати алгоритм ЕМ, чи зможемо ми послідовно оцінювати μk і Σ, тобто при розмірі вибірки n, чи досягне оцінювач, створений алгоритмом ЕМ, справжнє значення μk і Σ?

Відповіді:


1

Якщо алгоритм ініціалізується випадковими значеннями щоразу, то ні, конвергенція не обов'язково буде послідовною. Невипадкова ініціалізація, мабуть, даватиме один і той же результат кожного разу, але я не вірю, що це призвело б до отримання "правильних" значеньμk.

Як сторону, зафіксувавши коефіцієнт змішування до 1/K і фіксація Σ щоб бути діагональною, алгоритм стає дуже схожим на k-означає алгоритм. Це також має непослідовну конвергенцію, залежно від випадкової ініціалізації.


Я численно експериментував, принаймні для 2 незалежних класів нормального розподілу, ЕМ виробляє послідовний оцінювач середнього класу. Однак K означає, що не може цього зробити, я довів це математично
KevinKim

1
Чи можете ви детальніше розповісти? Наприклад, які дані ви використовували, як ви ініціалізували параметри тощо
dcorney

Погодьтеся з @dcorney. Це дійсно залежить від початкових значень, які ви оберете. Принаймні, на практиці неправильний вибір початкових значень призводить до суперечливої ​​оцінки (я використовую пакунок mixtools R)
Німецький Демидов
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.