Розуміння наївного Байєса

( Statisoft, Inc.) (2013), Підручник з електронної статистики , "Класифікатор Naive Bayes" :

Щоб продемонструвати концепцію класифікації наївних баїв, розглянемо приклад, показаний на ілюстрації вище. Як зазначено, об'єкти можна класифікувати як ЗЕЛЕНІ або ЧЕРВЕНІ. Моє завдання - класифікувати нові випадки по мірі їх надходження, тобто вирішувати, до якої мітки класу вони належать, виходячи з існуючих в даний час об'єктів.

Оскільки ЗЕЛЕНИХ об’єктів удвічі більше, ніж ЧЕРВЕНО, доцільно вважати, що новий випадок (який ще не спостерігався) має вдвічі більше шансів на приналежність до ЗЕЛЕНОГО, а не ЧЕРВЕНОГО. У байєсівському аналізі ця віра відома як попередня ймовірність. Попередні ймовірності ґрунтуються на попередньому досвіді, в цьому випадку відсотках ЗЕЛЕНИХ та КРАСНИХ об'єктів, і часто використовуються для прогнозування результатів до того, як вони насправді відбудуться.

Таким чином, ми можемо написати:

Оскільки загалом існує 60 об’єктів, 40 з яких - ЗЕЛЕНІ та 20 ЧЕРВОНІ, то наші попередні ймовірності для належності до класу:

Сформулювавши попередню ймовірність, ми зараз готові класифікувати новий об’єкт (БІЛЕ коло). Оскільки об'єкти добре кластеризовані, доцільно припустити, що чим більше ЗЕЛЕНИХ (або ЧЕРВЕНИХ) об’єктів поблизу X, тим більше ймовірність того, що нові випадки належать саме цьому кольору. Щоб виміряти цю ймовірність, ми намалюємо коло навколо X, яке охоплює кількість точок (вибирати їх апріорі) точок незалежно від міток класу. Потім обчислюємо кількість точок у колі, що належать кожній мітці класу. З цього обчислюємо ймовірність:

З вищенаведеної ілюстрації видно, що ймовірність отримання X із ЗЕЛЕНОГО менша, ніж ймовірність X даного ЧЕРВЕНОГО, оскільки коло охоплює 1 ЗЕЛЕНИЙ об’єкт та 3 КРАСНІ. Таким чином:

Хоча попередні ймовірності вказують на те, що X може належати до ЗЕЛЕНОГО (враховуючи, що ЗЕЛЕНО в два рази більше порівняно з КРАСНИМ), ймовірність вказує на інше; що приналежність до класу X є RED (враховуючи, що поблизу X більше об'єктів RED, ніж ЗЕЛЕНО). У байєсівському аналізі остаточна класифікація виробляється шляхом об'єднання обох джерел інформації, тобто попереднього та ймовірного, щоб сформувати задню ймовірність, використовуючи так зване правило Байєса (назване на честь преподобного Томаса Бейса 1702-1761).

Нарешті, ми класифікуємо X як RED, оскільки його членство в класі досягає найбільшої задньої ймовірності.

Ось тут і виникають труднощі мого розуміння математики.

введіть тут опис зображення

p (Cj | x1, x2, x ..., xd) - задня ймовірність членства в класі, тобто ймовірність того, що X належить Cj, але навіщо писати його так?

Обчислення ймовірності?

введіть тут опис зображення

Задня ймовірність?

введіть тут опис зображення

Я ніколи не займався математикою, але моє розуміння наївних байєсів добре, я думаю, що саме, коли мова йде про ці розкладені методи, мене бентежить. Чи може хтось допомогти у візуалізації цих методів і як виписати математику зрозумілим способом?

machine-learning naive-bayes

— Г Гр
джерело

(+1) Я захоплююсь справді обережним і зрозумілим способом, яким ви поставили своє запитання.

— rolando2

@ rolando2: всі цифри та майже весь текст цього питання походить від statsoft.com/textbook/naive-bayes-classifier

— Franck Dernoncourt

Будь ласка, відредагуйте цю публікацію, щоб чітко віднести матеріали з інших місць, згідно з посиланням на матеріали, написані іншими .

— Scortchi

Належне віднесення прямих котирувань завжди було вимогою на сайтах Stack Exchange. У всякому разі, упущення легко виправляється; & Я це зробив. Видаляти обліковий запис не потрібно - перегляньте.

— Scortchi

Відповіді:

Я збираюся пройти весь процес Naive Bayes з нуля, оскільки мені не зовсім зрозуміло, де ти зациклюється.

Ми хочемо знайти ймовірність того, що до кожного класу належить новий приклад: ). Потім ми обчислюємо цю ймовірність для кожного класу і вибираємо найбільш ймовірний клас. Проблема полягає в тому, що ми зазвичай не маємо цих ймовірностей. Однак теорема Байєса дозволяє нам переписати це рівняння в більш простежуваній формі. $P(class|feature_1, feature_2,..., feature_n$

Байєсовий «Там» просто або з точки зору нашої проблеми:

P (A | B) = \frac{P (B | A) \cdot P (A)}{P (B)}

$P(A|B)=\frac{P(B|A) \cdot P(A)}{P(B)}$

P (c l a s s | f e a t u r e s) = \frac{P (f e a t u r e s | c l a s s) \cdot P (c l a s s)}{P (f e a t u r e s)}

$P(class|features)=\frac{P(features|class) \cdot P(class)}{P(features)}$

Ми можемо спростити це, видаливши . Ми можемо це зробити, тому що ми збираємося класифікувати для кожного значення ; будуть щоразу однакові - це не залежить від . Це залишає нам $P(features)$ $P(class|features)$ $class$ $P(features)$ $class$

P (c l a s s | f e a t u r e s) \propto P (f e a t u r e s | c l a s s) \cdot P (c l a s s)

$P(class|features) \propto P(features|class) \cdot P(class)$

Попередні ймовірності, , можна обчислити так, як ви описали у своєму запитанні. $P(class)$

Це залишає . Ми хочемо усунути масовий і, мабуть, дуже рідкий, спільний ймовірність . Якщо кожна функція не є незалежною, тоді особливість_2 Навіть якщо вони насправді не є незалежними, можна припустити, що вони є (це " наївна "частина наївного Байєса). Я особисто думаю, що простіше продумати дискретні (тобто категоричні) змінні, тому давайте скористаємося трохи іншою версією вашого прикладу. Тут я розділив кожен вимір функції на дві категоричні змінні. $P(features|class)$ $P(feature_1, feature_2, ..., feature_n|class)$

P (f e a t u r e_{1}, f e a t u r e_{2}, . . ., f e a t u r e_{n} | c l a s s) = \prod_{i} P (f e a t u r e_{i} | c l a s s)

$P(feature_1, feature_2, ..., feature_n|class) = \prod_i{P(feature_i|class})$

Дискретні приклади даних .

Приклад: Навчання класифікатора

Для підготовки класифікатора ми підраховуємо різні підмножини точок та використовуємо їх для обчислення попередніх та умовних ймовірностей.

Пріори тривіальні: Є шістдесят загальних балів, сорок - зелений, а двадцять - червоний. Таким чином,

П (c л а с с = г r е е н) = \frac{40}{60} = 2 / 3 і П (c л а с с = r е г) = \frac{20}{60} = 1 / 3

$P(class=green)=\frac{40}{60} = 2/3 \text{ and } P(class=red)=\frac{20}{60}=1/3$

Далі ми повинні обчислити умовні ймовірності кожної функції-значення, що задається класом. Тут є дві особливості: та , кожна з яких приймає одне з двох значень (A або B для одного, X або Y для іншого). Тому нам потрібно знати наступне: $feature_1$ $feature_2$

$P(feature_1=A|class=red)$
$P(feature_1=B|class=red)$
$P(feature_1=A|class=green)$
$P(feature_1=B|class=green)$
$P(feature_2=X|class=red)$
$P(feature_2=Y|class=red)$
$P(feature_2=X|class=green)$
$P(feature_2=Y|class=green)$
(якщо це не очевидно, це всі можливі пари характеристик-значень та класу)

Їх легко обчислити шляхом підрахунку та ділення. Наприклад, для ми дивимось лише на червоні точки і підраховуємо, скільки з них є в області "A" для . Є двадцять червоних точок, всі вони знаходяться в області "А", тому . Жодна з червоних точок не знаходиться у регіоні B, тому . Далі робимо те саме, але враховуємо лише зелені точки. Це дає нам і . Повторимо цей процес для , щоб округлити таблицю ймовірностей. Припускаючи, що я правильно порахував, ми отримуємо $P(feature_1=A|class=red)$ $feature_1$ $P(feature_1=A|class=red)=20/20=1$ $P(feature_1|class=red)=0/20=0$ $P(feature_1=A|class=green)=5/40=1/8$ $P(feature_1=B|class=green)=35/40=7/8$ $feature_2$

$P(feature_1=A|class=red)=1$
$P(feature_1=B|class=red)=0$
$P(feature_1=A|class=green)=1/8$
$P(feature_1=B|class=green)=7/8$
$P(feature_2=X|class=red)=3/10$
$P(feature_2=Y|class=red)=7/10$
$P(feature_2=X|class=green)=8/10$
$P(feature_2=Y|class=green)=2/10$

Ці десять ймовірностей (два пріори плюс вісім умов) є нашою моделлю

Класифікація нового прикладу

Давайте класифікуємо білу точку з вашого прикладу. Він знаходиться в області "А" для та в області "Y" для . Ми хочемо знайти ймовірність того, що це є в кожному класі. Почнемо з червоного. Використовуючи формулу вище, ми знаємо, що: Subbing у ймовірності з таблиці отримаємо $feature_1$ $feature_2$

П (c л а с с = r е г | е х а м p л е) \propto П (c л а с с = r е г) \cdot П (f е а т у r е_{1} = А | c л а с с = r е г) \cdot П (f е а т у r е_{2} = Y | c л а с с = r е г)

$P(class=red|example) \propto P(class=red) \cdot P(feature_1=A|class=red) \cdot P(feature_2=Y|class=red)$

П (c л а с с = r е г | е х а м p л е) \propto \frac{1}{3} \cdot 1 \cdot \frac{7}{10} = \frac{7}{30}

$P(class=red|example) \propto \frac{1}{3} \cdot 1 \cdot \frac{7}{10} = \frac{7}{30}$ Потім робимо те ж саме для зеленого:

П (c л а с с = г r е е н | е х а м p л е) \propto П (c л а с с = г r е е н) \cdot П (f е а т у r е_{1} = А | c л а с с = г r е е н) \cdot П (f е а т у r е_{2} = Y | c л а с с = г r е е н)

$P(class=green|example) \propto P(class=green) \cdot P(feature_1=A|class=green) \cdot P(feature_2=Y|class=green)$

Підчинення в цих значеннях отримує нас 0 ( ). Нарешті ми подивимось, який клас дав нам найбільшу ймовірність. У цьому випадку це очевидно червоний клас, тож саме тут ми присвоюємо бал. $2/3 \cdot 0 \cdot 2/10$

Примітки

У вашому оригінальному прикладі функції безперервні. У такому випадку потрібно знайти спосіб присвоїти P (характеристика = значення | клас) для кожного класу. Ви можете розглянути можливість пристосування до відомого розподілу ймовірностей (наприклад, гаусса). Під час навчання ви знайдете середню величину та відхилення для кожного класу вздовж кожного виду ознак. Щоб класифікувати точку, ви знайдете , підключивши відповідне середнє значення та дисперсію для кожного класу. Інші розповсюдження можуть бути більш підходящими, залежно від деталей ваших даних, але гауссова людина буде гідною відправною точкою. $P(feature=value|class)$

Я не надто знайомий із набором даних DARPA, але ви зробите по суті те ж саме. Ви, ймовірно, обчислюєте щось на зразок P (атака = ІСТИНА | послуга = палець), P (атака = помилка | служба = палець), P (атака = TRUE | послуга = ftp) тощо, а потім комбінуєте їх у так само, як приклад. Як зауваження, частина хитрості тут полягає у створенні хороших особливостей. Наприклад, вихідний IP, ймовірно, буде безнадійно рідким - ви, мабуть, матимете лише один-два приклади для даного IP. Ви можете зробити набагато краще, якщо ви розмістили IP-адресу та використали "Source_in_same_building_as_dest (true / false)" або щось як функцію.

Я сподіваюся, що це допомагає більше. Якщо що-небудь потребує роз'яснення, я буду радий спробувати ще раз!

— Метт Краузе
джерело

Звичайно. Якщо з вами все гаразд, я відредагую свою відповідь, щоб було більше місця (і я можу робити LaTex речі).

— Метт Крауз

Я розширив навчальні та тестові частини і склав їх у свій розділ. Перші пара абзаци однакові ...

— Метт Крауз

Метт, це набагато чіткіше, ніж будь-яке визначення текстової книги про Найві Бейса, на яке я натрапив. Це, мабуть, найкраща відповідь на будь-яке питання, яке я бачив поки що на цьому веб-сайті.

— Жубарб

@Berkan, дякую; це дуже ласкаво з вас (хоча є і багато інших чудових відповідей!) Якщо у вас є якісь пропозиції, я би радий спробувати їх вирішити!

— Метт Крауз

+ 1 та stackoverflow.com/questions/10059594/…, де є подібне пояснення

— Дрей

Спрощуючи позначення за допомогою що позначає дані, ми хочемо знайти, який із різних є найбільшим. Тепер формула Байєса дає де знаменник на право є однаковим для всіх . Якщо ми хочемо знайти, який з , є найбільшим, ми можемо, звичайно, обчислити кожен і порівняти значення. Але зауважте, що порівняння насправді не впливає на значення яке однакове у всіх випадках. Ми могли б однаково добре обчислити всі $D$ $P(C_j\mid D)$

П (С_{j} ∣ D) = \frac{П (D ∣ С_{j}) П (С_{j})}{П (D)}, j = 1, 2, \dots

$P(C_j\mid D) = \frac{P(D\mid C_j)P(C_j)}{P(D)}, ~ j = 1, 2, \ldots$

j

$j$

P (C_{1} ∣ D)

$P(C_1\mid D)$

P (C_{2} ∣ D), \dots

$P(C_2\mid D), \ldots$

P (C_{j} ∣ D)

$P(C_j\mid D)$

P (D)

$P(D)$

P (D ∣ C_{j}) P (C_{j})

$P(D\mid C_j)P(C_j)$ і порівняйте (тобто не намагаючись розділити кожен на перед порівняннями), і буде обраний той самий , який має найбільшу задню ймовірність. Іншими словами, апостериорная ймовірність є пропорційним до ймовірності раз апріорна ймовірність Нарешті, коли дані - це сукупність (умовно) незалежних спостережень заданих , ми маємо це

P (D ∣ C_{j}) P (C_{j})

$P(D\mid C_j)P(C_j)$

P (D)

$P(D)$

C_{j}

$C_j$

P (C_{j} ∣ D)

$P(C_j\mid D)$ $P(D\mid C_j)$

P (C_{j})

$P(C_j)$

П (С_{j} ∣ D) \propto П (D ∣ С_{j}) П (С_{j}) .

$P(C_j\mid D) \propto P(D\mid C_j)P(C_j).$

D

$D$

(x_{1}, x_{2}, \dots, x_{d})

$(x_1, x_2, \ldots, x_d)$

C_{j})

$C_j)$

\begin{aligned} П (D ∣ С_{j}) & = П (х_{1}, х_{2}, \dots, х_{г} ∣ С_{j}) \\ = П (х_{1} ∣ С_{j}) П (х_{2} ∣ С_{j}) \dots П (х_{г} ∣ С_{j}) \\ = \prod_{1 = 1}^{г} П (х_{i} ∣ С_{j}) \end{aligned}

$\begin{align*} P(D\mid C_j) &= P(x_1, x_2, \ldots, x_d\mid C_j)\\ &= P(x_1\mid C_j)P(x_2\mid C_j)\cdots P(x_d\mid C_j)\\ &= \prod_{1=1}^d P(x_i\mid C_j) \end{align*}$

— Діліп Сарват
джерело

Основне припущення, що стоїть за моделлю наївних байєсів, полягає в тому, що кожна ознака (x_i) умовно не залежить від усіх інших ознак даного класу. Це припущення - це те, що дозволяє нам записати ймовірність як простий продукт (як ви показали).

Це також допомагає моделі наївних баєсів добре узагальнити на практиці. Розглянемо етап навчання: якби ми не зробили це припущення, тоді навчання передбачало б оцінку складного високорозмірного розподілу: p (x1, x2, ..., xn, c), в якому всі функції спільно розподіляються. Натомість ми можемо тренуватися, оцінюючи p (x1, c), p (x2, c), ..., p (xn, c), оскільки знаючи значення c, значення всіх інших ознак роблять невідповідними (вони надають додаткової інформації про x_i) немає.

Я не знаю хорошого способу візуалізації цього (крім стандартних позначень графічної моделі), але щоб зробити його більш конкретним, ви можете написати якийсь код, щоб дізнатися модель Naive Bayes ( ви можете захопити деякі приклади даних тут ). Тренуйтеся і тестуйте. Тепер відкиньте припущення про умовну незалежність та змініть код. Тренуйтеся, тестуйте та порівнюйте з попередньою моделлю.

— Нік
джерело