Як визначити якість багатокласового класифікатора

Дано

• набір даних з екземплярами разом з класами, де кожен екземпляр належить саме одному класу N x i y $x_i$$N$$x_i$$y_i$
• багатокласовий класифікатор

Після навчання та тестування я в основному маю таблицю з справжнім класом $y_i$ та передбачуваним класом $a_i$ для кожного екземпляра $x_i$ в тестовому наборі. Отже, для кожного екземпляра я маю відповідність ( $y_i= a_i$ ) або промах ( ).$y_i\neq a_i$

Як я можу оцінити якість матчу? Проблема полягає в тому, що деякі класи можуть мати багато членів, тобто багато примірників належать до нього. Очевидно, якщо 50% усіх точок даних належать до одного класу, а мій остаточний класифікатор загалом на 50% правильний, я нічого не отримав. Я міг би так само добре зробити тривіальний класифікатор, який виводить цей найбільший клас незалежно від того, який вхід є.

Чи існує стандартний метод оцінювання якості класифікатора на основі відомих результатів тестового набору збігів та звернень для кожного класу? Можливо, навіть важливо розрізняти коефіцієнти відповідності для кожного конкретного класу?

Найпростіший підхід, який я можу придумати, - це виключити правильні відповідники найбільшого класу. Що ще?

Як і двійкова класифікація, ви можете використовувати емпіричний показник помилок для оцінки якості вашого класифікатора. Нехай - класифікатор, а x i та y я - відповідно приклад у вашій базі даних та її класі. e r r ( g ) = $g$$x_i$$y_i$ Як ви вже говорили, коли класи не збалансовані, базовий рівень становить не 50%, а частка більшого класу. Ви можете додати вагу для кожного класу, щоб збалансувати помилку. НехайWy- вага класуy. Встановіть ваги таким чином, щоб

$$err(g) = \frac{1}{n} \sum_{i \leq n} \mathbb{1}_{g(x_i) \neq y_i}$$ $W_y$$y$і визначимозважену емпіричну помилкуerrW(g)=$\frac{1}{W_y} \sim \frac{1}{n}\sum_{i \leq n} \mathbb{1}_{y_i = y}$ $$err_W(g) = \frac{1}{n} \sum_{i \leq n} W_{y_i} \mathbb{1}_{g(x_i) \neq y_i}$$

Як сказав Стеффен, матриця плутанини може бути хорошим способом оцінити якість класифікатора. У двійковому випадку ви можете отримати певну міру з цієї матриці, наприклад, чутливість та специфічність, оцінюючи здатність класифікатора виявити конкретний клас. Джерело помилки класифікатора може бути певним чином. Наприклад, класифікатор може бути занадто впевненим при прогнозуванні 1, але ніколи не кажіть неправильно, коли прогнозуєте 0. Багато класифікаторів можуть бути параметризовані для управління цією швидкістю (помилкові позитиви проти хибних негативів), і тоді вас зацікавить якість якості вся сім'я класифікатора, не лише одна. З цього ви зможете побудувати криву ROC , а вимірювання площі під кривою ROC дає вам якість цих класифікаторів.

Криві ROC можна розширити для вашої багатокласової проблеми. Я пропоную вам прочитати відповідь цієї теми .

To evaluate multi-way text classification systems, I use micro- and macro-averaged F1 (F-measure). The F-measure is essentially a weighted combination of precision and recall that. For binary classification, the micro and macro approaches are the same, but, for the multi-way case, I think they might help you out. You can think of Micro F1 as a weighted combination of precision and recall that gives equal weight to every document, while Macro F1 gives equal weight to every class. For each, the F-measure equation is the same, but you calculate precision and recall differently:

$$F = \frac{(\beta^{2} + 1)PR}{\beta^{2}P+R},$$

where $\beta$ is typically set to 1. Then,

$$P_{micro}=\frac{\sum^{|C|}_{i=1}TP_{i}}{\sum^{|C|}_{i=1}TP_{i}+FP_{i}}, R_{micro}=\frac{\sum^{|C|}_{i=1}TP_{i}}{\sum^{|C|}_{i=1}TP_{i}+FN_{i}}$$

$$P_{macro}=\frac{1}{|C|}\sum^{|C|}_{i=1}\frac{TP_{i}}{TP_{i}+FP_{i}}, R_{macro}=\frac{1}{|C|}\sum^{|C|}_{i=1}\frac{TP_{i}}{TP_{i}+FN_{i}}$$

де $TP$ справжній Позитивний, $FP$ є хибнопозитивним, $FN$ є помилковим негативом, і $C$ є клас.

# Function in R, using precision, recall and F statistics

check.model.accuracy <- function(predicted.class, actual.class){

  result.tbl <- as.data.frame(table(predicted.class,actual.class ) ) 

  result.tbl$Var1 <- as.character(result.tbl$predicted.class)
  result.tbl$Var2 <- as.character(result.tbl$actual.class)

  colnames(result.tbl)[1:2] <- c("Pred","Act")

  cntr <- 0  
  for (pred.class in unique(result.tbl$Pred) ){
    cntr <- cntr+ 1
    tp <- sum(result.tbl[result.tbl$Pred==pred.class & result.tbl$Act==pred.class, "Freq"])
    tp.fp <- sum(result.tbl[result.tbl$Pred == pred.class , "Freq" ])
    tp.fn <- sum(result.tbl[result.tbl$Act == pred.class , "Freq" ])
    presi <- tp/tp.fp 
    rec <- tp/tp.fn
    F.score <- 2*presi*rec/(presi+rec)
    if (cntr == 1 ) F.score.row <- cbind(pred.class, presi,rec,F.score)
    if (cntr > 1 ) F.score.row <- rbind(F.score.row,cbind(pred.class,presi,rec,F.score))
  }

  F.score.row <- as.data.frame(F.score.row) 
  return(F.score.row)
}

check.model.accuracy(predicted.df,actual.df) 
# For multiclass, average across all classes