Як Naive Bayes є лінійним класифікатором?

Я бачив інший потік тут , але я не думаю , що відповідь задовольнила актуальне питання. Що я постійно читав, це те, що Naive Bayes є лінійним класифікатором (наприклад, тут ) (таким, що він малює лінійну межу рішення), використовуючи демонстрацію шансів журналу.

Однак я імітував дві хмари Гаусса і встановив межу рішення і отримав результати як такі (бібліотека e1071 в r, використовуючи naiveBayes ()) 1- зелений, 0 - червоний

Як ми бачимо, межа прийняття рішення є нелінійною. Чи намагається сказати, що параметри (умовні ймовірності) є лінійною комбінацією в просторі журналу, а не сказати, що сам класифікатор розділяє дані лінійно?

classification naive-bayes

— Кевін Пей
джерело

як ви створили межу прийняття рішень? я підозрюю, що це стосується вашої підгонки, а не істинної межі рішення класифікатора. зазвичай можна створити межу рішення шляхом обчислення рішення у кожній окремій точці вашого квадранта.

— seanv507

Ось що я і зробив, я взяв два діапазони X = [Min (x), Max (x)] та Y = [Min (Y), Max (Y)]] з проміжком 0,1. Потім я встановив усі ці точки даних підготовленим класифікатором і виявив такі бали, що шанси журналу були між -0,05 та 0,05

— Кевін Пей

Відповіді:

В основному наївний класифікатор Байєса не є лінійним, але якщо ймовірність факторів походить із експоненціальних родин , наївний класифікатор Байєса відповідає лінійному класифікатору у певному просторі ознак. Ось як це бачити. $p(x_i \mid c)$

Ви можете написати будь-який наївний класифікатор Байєса як *

p (c = 1 ∣ x) = σ (\sum_{i} \log \frac{p (x_{i} ∣ c = 1)}{p (x_{i} ∣ c = 0)} + \log \frac{p (c = 1)}{p (c = 0)}),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right),$

де - логістична функція . Якщо походить із експоненціальної родини, ми можемо записати це як $\sigma$ $p(x_i \mid c)$

p (x_{i} ∣ c) = h_{i} (x_{i}) \exp (u_{i c}^{⊤} ϕ_{i} (x_{i}) - A_{i} (u_{i c})),

$p(x_i \mid c) = h_i(x_i)\exp\left(\mathbf{u}_{ic}^\top \phi_i(x_i) - A_i(\mathbf{u}_{ic})\right),$

і отже

p (c = 1 ∣ x) = σ (\sum_{i} w_{i}^{⊤} ϕ_{i} (x_{i}) + b),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \mathbf{w}_i^\top \phi_i(x_i) + b \right),$

де

\begin{aligned} w_{i} & = u_{i 1} - u_{i 0}, \\ b & = \log \frac{p (c = 1)}{p (c = 0)} - \sum_{i} (A_{i} (u_{i 1}) - A_{i} (u_{i 0})) . \end{aligned}

$\begin{align} \mathbf{w}_i &= \mathbf{u}_{i1} - \mathbf{u}_{i0}, \\ b &= \log \frac{p(c = 1)}{p(c = 0)} - \sum_i \left( A_i(\mathbf{u}_{i1}) - A_i(\mathbf{u}_{i0}) \right). \end{align}$

Зауважимо, що це схоже на логістичну регресію - лінійний класифікатор - у просторі функцій, визначеному . Для більш ніж двох класів ми аналогічно отримуємо багаточленну логістичну (або софтмакс) регресію . $\phi_i$

Якщо - гауссова, тоді і ми повинні мати $p(x_i \mid c)$ $\phi_i(x_i) = (x_i, x_i^2)$

\begin{aligned} w_{i 1} & = σ_{1}^{- 2} μ_{1} - σ_{0}^{- 2} μ_{0}, \\ w_{i 2} & = 2 σ_{0}^{- 2} - 2 σ_{1}^{- 2}, \\ b_{i} & = \log σ_{0} - \log σ_{1}, \end{aligned}

$\begin{align} w_{i1} &= \sigma_1^{-2}\mu_1 - \sigma_0^{-2}\mu_0, \\ w_{i2} &= 2\sigma_0^{-2} - 2\sigma_1^{-2}, \\ b_i &= \log \sigma_0 - \log \sigma_1, \end{align}$

припустимо, що . $p(c = 1) = p(c = 0) = \frac{1}{2}$

* Ось як отримати цей результат:

\begin{aligned} p (c = 1 ∣ x) & = \frac{p (x ∣ c = 1) p (c = 1)}{p (x ∣ c = 1) p (c = 1) + p (x ∣ c = 0) p (c = 0)} \\ = \frac{1}{1 + \frac{p (x ∣ c = 0) p (c = 0)}{p (x ∣ c = 1) p (c = 1)}} \\ = \frac{1}{1 + \exp (- \log \frac{p (x ∣ c = 1) p (c = 1)}{p (x ∣ c = 0) p (c = 0)})} \\ = σ (\sum_{i} \log \frac{p (x_{i} ∣ c = 1)}{p (x_{i} ∣ c = 0)} + \log \frac{p (c = 1)}{p (c = 0)}) \end{aligned}

$\begin{align} p(c = 1 \mid \mathbf{x}) &= \frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 1) p(c = 1) + p(\mathbf{x} \mid c = 0) p(c = 0)} \\ &= \frac{1}{1 + \frac{p(\mathbf{x} \mid c = 0) p(c = 0)}{p(\mathbf{x} \mid c = 1) p(c = 1)}} \\ &= \frac{1}{1 + \exp\left( -\log\frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 0) p(c = 0)} \right)} \\ &= \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right) \end{align}$

— Лукас
джерело

Дякую за виведення, яке я зараз розумію, чи можете ви пояснити позначення в рівнянні 2 та нижче? (u, h (x_i), phi (x_i) тощо) Чи P (x_i | c) під експонентною сім'єю просто просто приймає значення з pdf?

— Кевін Пей

u

$\mathbf{u}$

ϕ

$\phi$

ϕ (x) = (x, x^{2})

$\phi(x) = (x, x^2)$

w

$\mathbf{w}$

Я вважаю цю відповідь оманливою: як уже вказувалося в коментарі, і відповідь трохи нижче, наївний Гаусс Байєс не лінійний у первинному просторі функцій, а в нелінійному перетворенні. Отже, це не є звичайним лінійним класифікатором.

— Gael Varoquaux

p (x_{i} | c)

$p(x_i|c)$

ϕ_{i} (x_{i}) = (x_{i}, x_{i}^{2})

$\phi_i(x_i)=(x_i,x_i^2)$

T (x)

$T(x)$

x / σ

$x/\sigma$

Він лінійний, лише якщо матриці умовної дисперсії класу однакові для обох класів. Щоб побачити це, запишіть раціон плакатів журналу, і ви отримаєте з нього лише лінійну функцію, якщо відповідні відхилення будуть однаковими. Інакше це квадратично.

— сокира
джерело

Я хотів би додати ще один додатковий момент: причина певної плутанини полягає в тому, що означає виконувати "класифікацію наївних Байєсів".

Під широкою темою "Гауссовий дискримінантний аналіз (GDA)" є кілька методик: QDA, LDA, GNB та DLDA (квадратичний DA, лінійний DA, гауссові наївні затоки, діагональ LDA). [ОНОВЛЕНО] LDA та DLDA повинні бути лінійними в просторі даних провісників. (Див., Наприклад, Мерфі , 4.2, стор. 101 для DA та стор. 82 для NB. Примітка. GNB не обов'язково лінійний. Дискретний NB (для якого використовується багаточленний розподіл під капотом) лінійний. Ви також можете перевірити Дуду , Харт і Лелека розділ 2.6). QDA є квадратичним, як вказували інші відповіді (і, на мою думку, саме це відбувається у вашій графіці - див. Нижче).

$\Sigma_c$

$\Sigma_c$
$\Sigma_c = \Sigma$
$\Sigma_c = {diag}_c$ $\rightarrow$
$\Sigma_c = diag$

У той час як документи для e1071 стверджують, що він набуває класово-умовної незалежності (тобто, GNB), я підозрюю, що він справді робить QDA. Деякі люди пов'язують "наївних Байєсів" (роблячи припущення про незалежність) з "простим баєсовським правилом класифікації". Усі методи GDA отримані з пізніших; але лише GNB та DLDA використовують попереднє.

Велике попередження: я не читав вихідний код e1071, щоб підтвердити, що він робить.

— MrDrFenner
джерело