Приклад того, як працює трюк log-sum-exp у Naive Bayes

Я читав про трюк log-sum-exp у багатьох місцях (наприклад, тут і тут ), але ніколи не бачив прикладу того, як він застосовується спеціально до класифікатора Naive Bayes (наприклад, з дискретними особливостями та двома класами)

Як саме можна уникнути проблеми числового підтоку, використовуючи цей трюк?

naive-bayes underflow

— Джош
джерело

Тут є кілька прикладів його використання, хоча не обов'язково явно для наївних Байєсів. Однак це навряд чи має значення, оскільки ідея про трюк досить відверта і легко адаптована.

— Glen_b -Встановіть Моніку

Проблема, швидше за все, переповнення, ніж перелив.

— Генрі

Я б запропонував вам спробувати здійснити пошук під потоком , а потім оновіть своє запитання, щоб конкретніше вирішити все, що вже не охоплено.

— Glen_b -Встановити Моніку

Чи можете ви також уточнити - це наївна модель Беерлі Байєса? щось інше, можливо?

— Glen_b -Встановіть Моніку

Дивіться приклад тут , внизу (безпосередньо перед "Дивіться також", де вони беруть журнали; експоненцію обох сторін, але залишення RHS "як є" (як exp суми журналів) буде прикладом журналу - це дає вам достатню інформацію, що стосується його використання в Naive Bayes, щоб задати більш конкретний питання?

— Glen_b -Встановити Моніку

Відповіді:

p (Y = C | x) = \frac{p (x | Y = C) p (Y = C)}{\sum_{k = 1}^{| C |} p (x | Y = C_{k}) p (Y = C_{k})}

$p(Y=C|\mathbf{x}) = \frac{p(\mathbf{x}|Y=C)p(Y=C)}{~\sum_{k=1}^{|C|}{}p(\mathbf{x}|Y=C_k)p(Y=C_k)}$

і знаменник, і чисельник можуть стати дуже маленькими, як правило, тому, що може бути близьким до 0, і ми множимо багато з них один з одним. Щоб запобігти підтокам, можна просто взяти журнал чисельника, але для використання в знаменнику потрібно використовувати трюк log-sum-exp. $p(x_i \vert C_k)$

Більш конкретно, для запобігання надтокам:

Якщо нас цікавить лише те, до якого класу вхід швидше за все, належить з максимальним правилом післяорі (MAP), ми не будемо повинні застосувати трюк log-sum-exp, оскільки в цьому випадку нам не потрібно обчислювати знаменник . Для чисельника можна просто взяти журнал, щоб запобігти підтокам: . Більш конкретно: $(\hat{y})$ $(\mathbf{x}=x_1, \dots, x_n)$ $log \left( p(\mathbf{x}|Y=C)p(Y=C) \right)$

$\hat{y} = \underset{k \in {1, \dots, | C |}}{argmax} p (C_{k} | x_{1}, \dots, x_{n}) = \underset{k \in {1, \dots, | C |}}{argmax} p (C_{k}) \prod_{i = 1}^{n} p (x_{i} | C_{k})$ $\hat{y} = \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}}p(C_k \vert x_1, \dots, x_n) = \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \ p(C_k) \displaystyle\prod_{i=1}^n p(x_i \vert C_k)$
що стає після взяття журналу:

\begin{aligned} \hat{y} & = \underset{k \in {1, \dots, | C |}}{argmax} \log (p (C_{k} | x_{1}, \dots, x_{n})) \\ = \underset{k \in {1, \dots, | C |}}{argmax} \log (p (C_{k}) \prod_{i = 1}^{n} p (x_{i} | C_{k})) \\ = \underset{k \in {1, \dots, | C |}}{argmax} (\log (p (C_{k})) + \sum_{i = 1}^{n} \log (p (x_{i} | C_{k}))) \end{aligned}

$\begin{align} \hat{y} &= \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \log \left( p(C_k \vert x_1, \dots, x_n) \right)\\ &= \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \log \left( \ p(C_k) \displaystyle\prod_{i=1}^n p(x_i \vert C_k) \right) \\ &= \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \left( \log \left( p(C_k) \right) + \ \displaystyle\sum_{i=1}^n \log \left(p(x_i \vert C_k) \right) \right) \end{align}$

Якщо ми хочемо обчислити ймовірність класу , нам знадобиться обчислити знаменник: $p(Y=C|\mathbf{x})$

$\begin{aligned} \log (p (Y = C | x)) & = \log (\frac{p (x | Y = C) p (Y = C)}{\sum_{k = 1}^{| C |} p (x | Y = C_{k}) p (Y = C_{k})}) \\ = \log (\underset{numerator}{\underset{⏟}{p (x | Y = C) p (Y = C)}}) - \log (\underset{denominator}{\underset{⏟}{\sum_{k = 1}^{| C |} p (x | Y = C_{k}) p (Y = C_{k})}}) \end{aligned}$

Елемент може перетікати через може бути дуже малим: це те саме питання, що і в чисельнику, але на цей раз у нас є підсумок всередині логарифму, що заважає нам перетворити (може бути близьким до 0) в (негативний і більше не близький до 0, оскільки ). Щоб обійти це питання, ми можемо використати той факт, що для отримання: $\log \left( ~\sum_{k=1}^{|C|}{}p(\mathbf{x}|Y=C_k)p(Y=C_k) \right)\\$ $p(x_i \vert C_k)$ $p(x_i \vert C_k)$ $\log \left(p(x_i \vert C_k) \right)$ $0 \leq p(x_i \vert C_k) \leq 1$ $p(x_i \vert C_k) = \exp \left( {\log \left(p(x_i \vert C_k) \right)} \right)$

$\log (\sum_{k = 1}^{| C |} p (x | Y = C_{k}) p (Y = C_{k})) = \log (\sum_{k = 1}^{| C |} \exp (\log (p (x | Y = C_{k}) p (Y = C_{k}))))$

У цей момент виникає нова проблема: може бути досить негативним, що означає, що може стати дуже близьким до 0, тобто підводним. Тут ми використовуємо фокус log-sum-exp : $\log \left( p(\mathbf{x}|Y=C_k)p(Y=C_k) \right)$ $\exp \left( \log \left( p(\mathbf{x}|Y=C_k)p(Y=C_k) \right) \right)$

$\log \sum_{k} e^{a_{k}} = \log \sum_{k} e^{a_{k}} e^{A - A} = A + \log \sum_{k} e^{a_{k} - A}$

з:
- $a_k=\log \left( p(\mathbf{x}|Y=C_k)p(Y=C_k) \right)$ ,
- $A = \underset{k \in \{1, \dots, |C|\}} \max a_k.$
Ми можемо бачити, що введення змінної дозволяє уникнути підтоків. Наприклад, , маємо: $A$ $k=2, a_1 = - 245, a_2 = - 255$
- $\exp \left(a_1\right) = \exp \left(- 245\right) =3.96143\times 10^{- 107}$
- $\exp \left(a_2\right) = \exp \left(- 255\right) =1.798486 \times 10^{-111}$
Використовуючи трюк log-sum-exp, ми уникаємо , з : $A=\max ( -245, -255 )=-245$ $\begin{align}\log \sum_k e^{a_k} &= \log \sum_k e^{a_k}e^{A-A} \\&= A+ \log\sum_k e^{a_k -A}\\ &= -245+ \log\sum_k e^{a_k +245}\\&= -245+ \log \left(e^{-245 +245}+e^{-255 +245}\right) \\&=-245+ \log \left(e^{0}+e^{-10}\right) \end{align}$

Ми уникали підтоку, оскільки набагато далі від 0, ніж або . $e^{-10}$ $3.96143\times 10^{- 107}$ $1.798486 \times 10^{-111}$

— Франк Дернонкур
джерело

Припустимо, ми хочемо визначити, яка з двох баз даних, скоріше за все, створила фразу (наприклад, з якого роману ця фраза частіше походить). Ми можемо вважати незалежність слів, що обумовлюються базою даних (припущення Naive Bayes).

Тепер подивіться друге посилання, яке ви опублікували. Там буде представляти спільну ймовірність спостереження за реченням, що задається базою даних, а s буде представляти ймовірність спостереження за кожним із слів у реченні. $a$ $e^{b_{t}}$

— Сид
джерело

З цієї відповіді ми бачимо, що найменше число в Python (просто візьмемо це для прикладу) 5e-324пов’язане з IEEE754 , а технічна причина стосується і інших мов.

In [2]: np.nextafter(0, 1)
Out[2]: 5e-324

І будь-який поплавок, менший за це, призведе до 0.

In [3]: np.nextafter(0, 1)/2
Out[3]: 0.0

І давайте розглянемо функцію Naive Bayes with discrete features and two classesяк потрібно:

p (S = 1 | ш_{1}, . . . ш_{н}) = \frac{p (S = 1) \prod_{i = 1}^{н} p (ш_{i} | S = 1)}{\sum_{с = {0, 1}} p (S = с) \prod_{i = 1}^{н} p (ш_{i} | S = с)}

$p(S=1|w_1, ... w_n) = \frac{p(S=1) \prod_{i=1}^n p(\mathbf{w_i}|S=1)}{~\sum_{s=\{0, 1\}}p(S=s)\prod_{i=1}^n p(\mathbf{w_i}|S=s)}$

Дозвольте мені описати цю функцію простим завданням NLP внизу.

Ми вирішуємо виявити, чи приходить електронний лист спам ( ) чи не спам ( ), і у нас є словниковий запас розміром 5000 ( ), і єдине питання полягає в тому, якщо слово ( ) трапляється ( ) в електронній пошті чи ні ( ) для простоти ( Bernoulli naive Bayes ). $S=1$ $S=0$ $n=5,000$ $w_i$ $p(w_i|S=1)$ $1-p(w_i|S=1)$

In [1]: import numpy as np
In [2]: from sklearn.naive_bayes import BernoulliNB
# let's train our model with 200 samples
In [3]: X = np.random.randint(2, size=(200, 5000))
In [4]: y = np.random.randint(2, size=(200, 1)).ravel()
In [5]: clf = BernoulliNB()
In [6]: model = clf.fit(X, y)

Ми можемо бачити, що було б дуже мало через ймовірності (обидва та в буде від 0 до 1) , отже ми впевнені, що добуток буде меншим за і ми просто отримаємо . $p(S=s)\prod_{i=1}^n p(\mathbf{w_i}|S=s)$ $p(w_i|S=1)$ $1-p(w_i|S=1)$ $\prod_i^{5000}$ $5e^{-324}$ $0/0$

In [7]: (np.nextafter(0, 1)*2) / (np.nextafter(0, 1)*2)
Out[7]: 1.0

In [8]: (np.nextafter(0, 1)/2) / (np.nextafter(0, 1)/2)
/home/lerner/anaconda3/bin/ipython3:1: RuntimeWarning: invalid value encountered in double_scalars
  #!/home/lerner/anaconda3/bin/python
Out[8]: nan
In [9]: l_cpt = model.feature_log_prob_
In [10]: x = np.random.randint(2, size=(1, 5000))
In [11]: cls_lp = model.class_log_prior_
In [12]: probs = np.where(x, np.exp(l_cpt[1]), 1-np.exp(l_cpt[1]))
In [13]: np.exp(cls_lp[1]) * np.prod(probs)
Out[14]: 0.0

Тоді виникає проблема: Як можна обчислити ймовірність того, що електронна пошта є спамом ? Або як можна обчислити чисельник і знаменник? $p(S=1|w_1, ... w_n)$

Ми можемо бачити офіційну реалізацію в sklearn :

jll = self._joint_log_likelihood(X)
# normalize by P(x) = P(f_1, ..., f_n)
log_prob_x = logsumexp(jll, axis=1)
return jll - np.atleast_2d(log_prob_x).T

Для чисельника він перетворив добуток ймовірностей на суму вірогідності журналу, а для знаменника використав logsumexp в scipy, який є:

out = log(sum(exp(a - a_max), axis=0))
out += a_max

Оскільки ми не можемо додати дві спільні ймовірності, додавши ймовірність його спільного журналу, і нам слід вийти з простору журналу в простір ймовірностей. Але ми не можемо додати дві істинні ймовірності, оскільки вони занадто малі, і ми повинні їх масштабувати і робити додавання: і повернути результат назад у простір журналу а потім змінити його масштаб назад: у просторі журналу, додавши . $\sum_{s=\{0,1\}} e^{jll_s - max\_jll}$ $\log\sum_{s=\{0,1\}} e^{jll_s - max\_jll}$ $max\_jll+ \log\sum_{s=\{0,1\}} e^{jll_s - max\_jll}$ $max\_jll$

І ось деривація:

$\begin{align} \log \sum_{s=\{0,1\}} e^{jll_s} & = \log \sum_{s=\{0,1\}} e^{jll_s}e^{max\_jll-max\_jll} \\& = \log e ^{max\_jll}+ \log\sum_{s=\{0,1\}} e^{jll_s - max\_jll} \\& = max\_jll+ \log\sum_{s=\{0,1\}} e^{jll_s - max\_jll} \end{align}$

де - в коді. $max\_jll$ $a\_max$

Як тільки ми отримуємо і чисельник, і знаменник у просторі журналу, ми можемо отримати умовну ймовірність журналу ( ), віднявши знаменник від чисельника : $\log p(S=1|w_1, ... w_n)$

return jll - np.atleast_2d(log_prob_x).T

Сподіваюся, що це допомагає.

Довідка:
1. Класифікатор Naive Bayes Бернуллі
2. Фільтрація спаму за допомогою Naive Bayes - Який Naive Bayes?

— Лернер Чжан
джерело