Чому класифікатор наївних баєсів оптимальний для втрати 0-1?

Класифікатор Naive Bayes - це класифікатор, який присвоює елементи $x$ класу $C$ на основі максимізації заднього $P(C|x)$ для приналежності до класу, і передбачає, що функції елементів не залежать.

Втрата 0-1 - це втрата, яка присвоює будь-якій помилковій класифікації втрату "1", а втрату "0" - будь-якій правильній класифікації.

Я часто читаю (1), що класифікатор "Наївний Бейс" є оптимальним для втрати 0-1. Чому це правда?

(1) Одне зразкове джерело: класифікатор Байєса та помилка Байєса

Чи можете ви надати посилання на свою заяву: " Я часто читаю, що класифікатор" Наївних Бейсів "є оптимальним для втрати 0-1 "? Як, де , можливо , ви читали цей тип заяви в минулому

— Джон

редагував, додав зразкове джерело

Насправді це досить просто: класифікатор Байєса вибирає клас, який має найбільшу апостеріорну ймовірність виникнення (так звана максимальна апостеріорна оцінка ). Функція втрати 0-1 карає неправильної класифікації, тобто присвоює найменші втрати рішення, яке має найбільшу кількість правильних класифікацій. Тож в обох випадках ми говоримо про оцінку режиму . Нагадаємо, що режим є найпоширенішим значенням у наборі даних або найбільш ймовірним значенням , тому як максимізація задньої ймовірності, так і мінімізація втрати 0-1 призводить до оцінки режиму.

Якщо вам потрібен офіційний доказ, це наведено у статті " Вступ до теорії рішень Байєса" Анжели Дж. Ю:

Функція бінарних втрат 0-1 має такий вигляд:

$l_{x} (\hat{s}, s^{*}) = 1 - δ_{\hat{s} s^{*}} = {\begin{cases} 1 & if \hat{s} \neq s^{*} \\ 0 & otherwise \end{cases}$ $l_\boldsymbol{x}(\hat s, s^*) = 1 - \delta_{\hat ss^*} = \begin{cases} 1 & \text{if} \quad \hat s \ne s^* \\ 0 & \text{otherwise} \end{cases}$
де - функція дельти Кронекера. (...) очікуваний збиток: $\delta$

$\begin{aligned} L_{х} (\hat{с}) & = \sum_{с^{*}} л_{х} (\hat{с}, с^{*}) П (с = с^{*} ∣ х) \\ = \sum_{с^{*}} (1 - δ_{\hat{с} с^{*}}) П (с = с^{*} ∣ х) \\ = \sum_{с^{*}} П (с = с^{*} ∣ х) г с^{*} - \sum_{с^{*}} δ_{\hat{с} с^{*}} П (с = с^{*} ∣ х) \\ = 1 - П (с = с^{*} ∣ х) \end{aligned}$ $\begin{align} \mathcal{L}_\boldsymbol{x}(\hat s) &= \sum_{s^*} l_\boldsymbol{x}(\hat s, s^*) \; P(s = s^* \mid \boldsymbol{x}) \\ &= \sum_{s^*} (1 - \delta_{\hat ss^*}) \; P(s = s^* \mid \boldsymbol{x}) \\ &= \sum_{s^*} P(s = s^* \mid \boldsymbol{x}) ds^* - \sum_{s^*} \delta_{\hat ss^*} P(s = s^* \mid \boldsymbol{x}) \\ &= 1 - P(s = s^* \mid \boldsymbol{x}) \end{align}$

Це справедливо для максимальної післяорієнтованої оцінки в цілому. Отже, якщо ви знаєте задній розподіл, то припускаючи втрату 0-1, найбільш оптимальним правилом класифікації є прийняття режиму заднього розподілу, ми називаємо це оптимальним класифікатором Байєса . У реальному житті ми зазвичай не знаємо заднього розподілу, а краще оцінюємо його. Класифікатор Naive Bayes наближає оптимальний класифікатор, дивлячись на емпіричний розподіл та припускаючи незалежність прогнозів. Тож наївний класифікатор Байєса сам по собі не є оптимальним, але він наближає оптимальне рішення. У вашому запитанні ви, схоже, плутаєте ці дві речі.

— Тім
джерело

Я думаю, що я розумію: тож офіційним доказом було б щось, що відповідає лінії Loss (action_1) = 1-P (action_2 | дані) <---, ми хочемо це мінімізувати. Мінімізація цього знову-таки дорівнює максимізації пріоритету правильного класу (тобто максимізації P (action_2 | даних). Однак, що мене бентежить, є те, чому не кожен класифікатор був би оптимальним у цьому відношенні - оскільки це здається найбільш основною вимогою для присвоєння зразка даних класу. Отже, якщо ми завжди вирішували присвоювати нам зразок даних класу з більш високою задньою, чи ми автоматично не заповнюємо цю оптимальність?

@TestGuest перевірити мою редакцію на формальне підтвердження.

— Тім

Це найскладніший формалізм, який я бачив за такий доказ :)) дякую, проте, я сподіваюся, що він допомагає і іншим.