Різниця між MLE та Baum Welch щодо штуцерів HMM

У цьому популярному питанні відповідь з високою оцінкою робить MLE та Baum Welch відокремленими у підході до HMM.

Для тренувальної задачі ми можемо використовувати наступні 3 алгоритми: MLE (максимальна оцінка ймовірності), навчання Вітербі (НЕ плутати з декодуванням Вітербі), Baum Welch = алгоритм вперед-назад.

АЛЕ у Вікіпедії , йдеться

Алгоритм Баума-Уелча використовує добре відомий алгоритм ЕМ для пошуку максимальної оцінки ймовірності параметрів

Отже, яка взаємозв'язок між алгоритмом MLE та Baum – Welch?

Моя спроба: Завдання алгоритму Баума – Велча - максимальна ймовірність, але він використовує спеціалізований алгоритм (ЕМ) для вирішення оптимізації. Ми все ще можемо максимально підвищити ймовірність, використовуючи інші методи, такі як градієнт гідний. Ось чому у відповіді роблять два алгоритми відокремленими.

Я маю рацію і чи може хтось допомогти мені уточнити?

Перегляньте один із відповідей (від Masterfool) із наданого вами посилання на питання,

Відповідь Мората є помилковою в одному пункті: Баум-Велч - алгоритм очікування-максимізації, який використовується для тренування параметрів HMM. Він використовує алгоритм вперед-назад під час кожної ітерації. Алгоритм вперед-назад дійсно є лише комбінацією алгоритмів вперед та назад: один прохід вперед, один прохід назад.

І я згоден з відповіддю PierreE тут, алгоритм Баума-Вельча використовується для вирішення максимальної ймовірності HHM. Якщо стану відомі (контрольована, мічена послідовність), то застосовується інший метод максимізації MLE (можливо, просто, просто порахуйте частоту кожного випромінювання та переходу, що спостерігаються в тренувальних даних, див. Слайди, надані Франком Дернонкуром).

У налаштуваннях MLE для HMM, я не думаю, що ви можете просто використовувати градієнтний спуск, оскільки ймовірність (або, схожість на журнал) не має рішення закритої форми і повинна вирішуватися ітераційно, як у випадку моделей суміші, тож ми переходимо до ЕМ. (Докладніше див. У Bishop, Книга розпізнавання образів, розділ 13.2.1 Pg614)

Отже, яка взаємозв'язок між алгоритмом MLE та Baum – Welch?

Алгоритм максимізації очікувань (ЕМ) є загальнішим, а алгоритм Баума-Велча - це просто інстанція, а ЕМ - це ітеративний алгоритм максимальної вірогідності (ML). Тоді алгоритм Баума-Велча є також ітераційним алгоритмом максимальної ймовірності.

Зазвичай існує три алгоритми оптимізації для максимальної оцінки вірогідності (частістський підхід): 1) спуск градієнта; 2) Ланцюжок Маркова Монте-Карло; 3) максимізація очікування.

Це питання існує тут уже кілька місяців, але ця відповідь може допомогти новим читачам як доповнення до коментаря Девіда Батісти.

Алгоритм Baulm-Welch (BM) - це алгоритм максимізації очікування для вирішення максимальної оцінки ймовірності (MLE) з метою навчання вашого HMM, коли стану невідомі / приховані (тренування без нагляду).

Але якщо ви знаєте стани, ви можете використовувати метод MLE (який не буде BM), щоб підходити вашу модель до парних даних / станів під наглядом.