Різниця між наївним Байєсом та багаточленним наївним Байєсом

Я раніше мав справу з класифікатором Naive Bayes . Я читав про багаточленних наївних байесах останнім часом.

Також задня ймовірність = (попередня * ймовірність) / (докази) .

Єдина головна різниця (програмуючи ці класифікатори), яку я виявив між Naive Bayes та Multinomial Naive Bayes, полягає в тому, що

Мультиноміальний Naive Bayes обчислює ймовірність підрахунку слова / лексеми (випадкова величина), а Naive Bayes обчислює ймовірність наступного:

введіть тут опис зображення

Виправте мене, якщо я помиляюся!

— гарак
джерело

Ви знайдете багато інформації у наступному pdf: cs229.stanford.edu/notes/cs229-notes2.pdf

— B_Miner

Крістофер Д. Меннінг, Прабхакар Рагаван і Генріх Шютце. " Вступ до пошуку інформації ". 2009, розділ 13, "Класифікація тексту та Naive Bayes" також хороший.

— Франк Дернонкурт

Відповіді:

$f_1$ $f_n$

p (f_{1}, . . ., f_{n} | c) = \prod_{i = 1}^{n} p (f_{i} | c)

$p(f_1,..., f_n|c) = \prod_{i=1}^n p(f_i|c)$

Це означає, що коли я хочу використовувати модель Naive Bayes для класифікації нового прикладу, задня ймовірність працювати набагато простіше:

p (c | f_{1}, . . ., f_{n}) \propto p (c) p (f_{1} | c) . . . p (f_{n} | c)

$p(c|f_1,...,f_n) \propto p(c)p(f_1|c)...p(f_n|c)$

Звичайно, ці припущення про незалежність є рідкісними, що може пояснити, чому деякі з них називають модель "Ідіот Баєса", але на практиці моделі "Наївні Бейса" спрацювали напрочуд добре, навіть у складних завданнях, коли зрозуміло, що сильний Припущення незалежності помилкові.

$p(f_i|c)$ $p(f_i|c)$

Розподіл, який ви використовували за допомогою свого класифікатора Naive Bayes, - це гуаський pdf, тому, мабуть, ви могли б назвати його класифікатором Guassian Naive Bayes.

Підсумовуючи, класифікатор Naive Bayes - це загальний термін, який позначає умовну незалежність кожної з особливостей моделі, тоді як Multinomial Naive Bayes класифікатор - це специфічний екземпляр класифікатора Naive Bayes, який використовує мультиноміальне розподіл для кожної з ознак.

Список літератури:

Стюарт Дж. Рассел та Пітер Норвіг. 2003. Штучний інтелект: сучасний підхід (2 видання). Пірсон освіта. Див. С. 499 для посилання на "ідіот Байєса", а також загальне визначення моделі "Наївний Бейс" та припущення про її незалежність

— jlund3
джерело

Посилання розірвані

— ssoler

@ jlund3, Дякую за приємне пояснення. Як ми включаємо інформацію про розподіл у свій класифікатор? Я маю на увазі, як змінюється fomula p (c | f1, ..., fn) ∝p (c) p (f1 | c) ... p (fn | c), виходячи з того, чи це розподіл Гуасса проти мультимодального

— Девід

Дякую за коротке пояснення, але я рекомендую книгу (Стюарт Дж. Рассел та Пітер Норвіг. 2003. Штучний інтелект: сучасний підхід (2 видання)), про яку йдеться вище, для отримання додаткових знань про НБ та методи штучного інтелекту.

— Мірані

підрахунки багаточленного розподілу не є незалежними. дивіться моє запитання тут: datascience.stackexchange.com/questions/32016/…

— Hanan Shteingart

$P(x_i | c_j)$ $1 \leq i \leq n$ $1 \leq j \leq k$ $(i,j)$ $P(x_i|c_{j_1})$ $P(x_i | c_{j_2})$

Мультиноміальний Naive Bayes просто передбачає розподіл багаточленів для всіх пар, що в деяких випадках є розумним припущенням, тобто для підрахунку слів у документах.

— sjm.majewski
джерело