Машинне навчання: Чи слід використовувати категоричну перехресну ентропію або бінарну поперечну втрату ентропії для двійкових прогнозів?

36

Перш за все, я зрозумів, що якщо мені потрібно виконувати двійкові прогнози, я повинен створити принаймні два класи за допомогою кодування з гарячим кодуванням. Це правильно? Однак чи є бінарна перехресна ентропія лише для прогнозів, що мають лише один клас? Якби я використовував категоричну перехресну втрату ентропії, яка зазвичай зустрічається в більшості бібліотек (наприклад, TensorFlow), чи була б значна різниця?

Насправді, які точні відмінності між категоріальною та бінарною крос-ентропією? Я ніколи не бачив втілення бінарної перехресної ентропії в TensorFlow, тому я вважав, що, можливо, категоричний працює так само добре.

— infomin101
джерело

1

Приклад двійковій класифікації: machinelearningmastery.com / ... і мульти-класової класифікації: machinelearningmastery.com / ...

— user1367204

@ user1367204: Посилання на класифікацію, що класифікується на багато класів, переспрямовує на бінарну класифікацію. Це має бути цей .

— користувач3389669

51

Біноміальна перехресна ентропія - це особливий випадок багаточленної перехресної ентропії при $m=2$ .

\begin{aligned} L (θ) & = - \frac{1}{н} \sum_{i = 1}^{н} [у_{i} журнал (p_{i}) + (1 - у_{i}) журнал (1 - p_{i})] \\ = - \frac{1}{н} \sum_{i = 1}^{н} \sum_{j = 1}^{м} у_{i j} журнал (p_{i j}) \end{aligned}

$\begin{align} \mathcal{L}(\theta) &= -\frac{1}{n}\sum_{i=1}^n \left[y_i \log(p_i) + (1-y_i) \log(1-p_i)\right] \\ &= -\frac{1}{n}\sum_{i=1}^n\sum_{j=1}^m y_{ij} \log(p_{ij}) \end{align}$

Де $i$ індексує зразки / спостереження та $j$ індекси класів, а $y$ - мітка зразка (двійковий для LSH, одно гарячий вектор на RHS) та $p_{ij}\in(0,1):\sum_{j} p_{ij} =1\forall i,j$ - прогноз для вибірки.

— Sycorax каже, що відновіть Моніку
джерело

3

Чи означає це сказати, що поки я використовую 2 класи в багатопоточній поперечній втраті ентропії, я по суті використовую бінарну поперечну втрату ентропії?

— infomin101

2

@leekwotsin yup

— Sycorax повідомляє про відновлення Моніки

17

Бінарна перехресна ентропія призначена для класифікацій, що містять багато міток, тоді як категоріальна перехресна ентропія - для багатокласової класифікації, де кожен приклад належить до одного класу.

— Хенок С Менгісту
джерело

3

Яке обґрунтування вашої заяви? Чому б ви не використали категоричну перехресну ентропію для класифікації на багато міток?

— michal

що робити, якщо є кілька міток, кожна з яких містить кілька класів?

— slizb

1

Це саме те, що я хотів почути, але не те, що хоче почути мій начальник. Трохи пояснень було б таким приголомшливим.

— Адітя

2

Я думаю, що існує три види завдань класифікації:

Бінарна класифікація: два ексклюзивні класи
Класифікація на багато класів: більше двох ексклюзивних класів
Класифікація на багато міток: просто неексклюзивні класи

З цього можна сказати

У випадку (1) вам потрібно використовувати бінарну перехресну ентропію.
У випадку (2) потрібно використовувати категоричну перехресну ентропію.
У випадку (3) вам потрібно використовувати бінарну перехресну ентропію. Ви можете просто розглядати багатомісний класифікатор як багато окремий двійковий класифікатор. Якщо у вас тут 10 класів, ви маєте 10 двійкових класифікаторів окремо. Кожен двійковий класифікатор навчається самостійно. Таким чином, ми можемо виготовити мульти-етикетку для кожного зразка. Якщо ви хочете переконатися, що принаймні одна мітка має бути придбана, ви можете вибрати ту, яка має найнижчу функцію втрати класифікації, або використовуючи інші показники.

Хочу наголосити, що багатокласна класифікація не схожа на класифікацію на багато міток ! Швидше, мульти-етикетковий класифікатор запозичує ідею у двійкового класифікатора!

— jeongmin.cha
джерело