Чому ніхто не використовує байєсовський багаточленний класичний наївний Байєс?

Так, у (непідконтрольному) текстовому моделюванні, латентне розподілення Діріхле (LDA) є баєсовою версією ймовірнісного латентного семантичного аналізу (PLSA). По суті, LDA = PLSA + Діріхле перед своїми параметрами. Я розумію, що LDA тепер є контрольним алгоритмом і реалізується в різних пакетах, тоді як PLSA більше не слід використовувати.

Але в (під наглядом) текстовій категоризації ми могли б зробити саме те ж саме для багаточленного класичного Naive Bayes і поставити Діріхле перед попередніми параметрами. Але я не думаю, що я ніколи не бачив, щоб хтось робив це, і версія "багатоцільової оцінки" багаточленних Naive Bayes, здається, є версією, реалізованою в більшості пакетів. Чи є причина для цього?

Ось приємний документ, який стосується деяких «системних» недоліків класифікатора багаточленних наївних баєсів (MNB). Ідея полягає в тому, що ви можете підвищити продуктивність MNB за допомогою деяких налаштувань. І вони згадують про використання (рівномірних) пріорів Діріхле.

Загалом, якщо ви зацікавлені в MNB і ви ще не прочитали цю статтю, настійно рекомендую це зробити.

Я також знайшов супровідну дисертацію з тієї самої людини / людей, але ще не читав її. Ви можете це перевірити.

Я підозрюю, що більшість реалізацій NB дозволяють оцінити умовні ймовірності за допомогою корекції Лапласа , яка дає рішення MAP для класифікатора Байєсового NB (з певним диріхле). Як зазначає @Zhubarb (+1), байєсські методи лікування класифікаторів NB вже були отримані та впроваджені (тези / статті Ренні варто прочитати). Однак припущення про незалежність НБ майже завжди є помилковим, і в цьому випадку зробити модель сильніше залежною від цього припущення (через повне байєсівське лікування) не вдасться зробити.

Я не вірю, що те, що ви описуєте, є правдою. Імовірнісні моделі для LDA та MNB різні.

Основна відмінність між ними полягає в тому, що в генеративній моделі LDA, коли складається слово, спочатку вибирається тема цього слова, а потім вибирається слово з цього розподілу теми. Як кожне слово в документі може бути виведене з іншої теми.

У генеративної моделі для MNB документу присвоюється один клас, і всі слова в цьому документі черпаються з (того ж) розподілу для цього класу.