logloss vs gini / auc

Я навчив дві моделі (двійкові класифікатори, використовуючи h2o AutoML), і хочу вибрати одну для використання. У мене є такі результати:

 model_id        auc     logloss    logloss_train   logloss_valid   gini_train  gini_valid

DL_grid_1   0.542694    0.287469         0.092717        0.211956     0.872932    0.312975
DL_grid_2   0.543685    0.251431         0.082616        0.186196     0.900955    0.312662

і aucі loglossстовпці - це показники крос-валідації (для перехресної перевірки використовуються лише навчальні дані). значення ..._trainта ..._validметрики знаходять, запустивши метрики навчання та перевірки відповідно до моделей. Я хочу або використовувати, logloss_validабо gini_validвибрати кращу модель.

Модель 1 має кращий джині (тобто кращий AUC), але модель 2 має кращий журнал. Моє питання - який вибрати, який, на мою думку, ставить питання, які переваги / недоліки використовувати або джині (AUC), або logloss як метрику рішення.

Оскільки AUC обчислюється щодо двійкової класифікації з різним порогом рішення, logloss фактично враховує "визначеність" класифікації.

Тому, наскільки я розумію, логосплей концептуально виходить за межі AUC і особливо актуальний у випадках з незбалансованими даними або у випадку нерівномірно розподіленої вартості помилок (наприклад, виявлення смертельної хвороби).

На додаток до цієї дуже базової відповіді, ви можете поглянути на оптимізацію auc vs logloss у бінарних проблемах класифікації

Простий приклад обчислення logloss та основна концепція обговорюється в цьому нещодавньому питанні Функція Log Loss у scikit-learn повертає різні значення

Крім того, дуже важливий момент було досягнуто в потоковому потоці

Треба зрозуміти вирішальну різницю між AUC ROC та "точковими" показниками, такими як точність / точність тощо. ROC - це функція порогу. Враховуючи модель (класифікатор), яка виводить ймовірність приналежності до кожного класу, ми зазвичай класифікуємо елемент до класу з найбільшою підтримкою. Однак іноді ми можемо отримати кращі результати, змінивши це правило і вимагаючи, щоб одна підтримка була в 2 рази більшою, ніж інша, щоб насправді класифікувати як даний клас. Це часто справедливо для незбалансованих наборів даних. Таким чином ви фактично модифікуєте вивчене до занять, щоб краще відповідати вашим даним. ROC розглядає "що буде, якщо я зміню цей поріг на всі можливі значення", а потім AUC ROC обчислює інтеграл такої кривої.