Швидкі альтернативи алгоритму ЕМ

13

Чи існують швидкі альтернативи алгоритму ЕМ для вивчення моделей із прихованими змінними (особливо pLSA)? Я добре з жертвою точності на користь швидкості.

— Aslan986
джерело

1

Ви робили опитування літератури? Цей документ виглядає особливо актуальним: опуклі релаксації прихованої змінної підготовки

— Емре

1

Як щодо LSA? :-)

— кон'югатприор

1

Загальний спосіб прискорити ЕМ називається "прискорювач Ейткена". Якщо точність не є проблемою, можливо, спробуйте оцінити момент або узагальнити оцінку моменту.

— JohnRos

4

Алгоритми Ньютона-Рафсона часто можна використовувати. Я не знайомий з pSLA, але досить часто застосовується алгоритми Ньютона-Рафсона для моделей латентного класу. Алгоритми Ньютона-Рафсона трохи більше турбують погані початкові значення, ніж ЕМ, тому одна стратегія - спочатку використовувати кілька ітерацій (скажімо, 20) ЕМ, а потім перейти на алгоритм Ньютона-Рафсона. Один алгоритм, з яким я мав великий успіх, це: Чжу, Сійо, Річард Х. Берд, Пейхуанг Лу та Хорхе Ночедал (1997), "Алгоритм 778: L-BFGS-B: Підпрограми Fortran для широкомасштабних обмежених програм. обмежена оптимізація, "Архів ACM на математичному програмному забезпеченні (TOMS), архів 23 (4), 550-60.

— Тім
джерело

4

Дуже схожий на алгоритм ЕМ - алгоритм ММ, який, як правило, використовує опуклість, а не відсутні дані в мажоризації або зменшенні об'єктивної функції. Ви повинні перевірити, чи застосовується алгоритм ММ для вашої конкретної проблеми.

— sebp
джерело

3

Для LDA, "LDA в Інтернеті" є швидкою альтернативою, ніж пакетні методи, наприклад, стандартний EM (http://www.cs.princeton.edu/~blei/papers/HoffmanBleiBach2010b.pdf).

Девід Блей надає програмне забезпечення на своїй сторінці: http://www.cs.princeton.edu/~blei/topicmodeling.html

— користувач1149913
джерело

2

Ще одна альтернатива, що не згадується у відповідях, - це варіаційні наближення. Хоча ці алгоритми не є точно такими алгоритмами ЕМ у всіх випадках, в деяких випадках алгоритми ЕМ обмежують випадки варіаційних алгоритмів середнього поля Баєса. Ліміт стосується граничного випадку гіперпараметрів, вибір граничних значень - в деяких випадках - дасть вам алгоритм ЕМ.

В будь-якому випадку (алгоритми EM, VB або навіть MM) є два загальних способи прискорити роботу:

(1) зменшити розмірність задачі - від -dim задачі до універсальної задачі . Зазвичай це алгоритми спускання координат, але я бачив алгоритми ММ, які також роблять цей тип прискорення. $p$ $p$

(2) поліпшення швидкості конвергенції вашого алгоритму ЕМ (або іншого типу). У коментарі JohnRos згадав про прискорення Aitken. Це з чисельного світу, але це обговорюється в ЕМ-книзі Маклаклана та Крішнана.

Можливо, є й інші, які я пропустив, але це, здається, два великих.

— Лукас Робертс
джерело