Обґрунтування використання AUC?

Особливо в галузі інформатики, орієнтованої на машинознавчу літературу, AUC (область під характеристикою кривої оператора приймача) є популярним критерієм оцінювання класифікаторів. Які виправдання щодо використання AUC? Наприклад, чи є певна функція втрат, для якої оптимальним рішенням є класифікатор з найкращим AUC?

Для двійкових класифікаторів використовуваних для ранжирування (тобто для кожного прикладу нас є в інтервалі ), з якого вимірюється AUC, AUC еквівалентна ймовірності, що де - справжній позитивний приклад, а - справжній негативний приклад. Таким чином, вибір моделі з максимальною AUC мінімізує ймовірність того, що . Тобто мінімізує втрату ранжування справжнього негативу принаймні настільки ж великого, як істинного позитивного.$C$$e$$C(e)$$[0, 1]$$C(e_1) > C(e_0)$$e_1$$e_0$$C(e_0) \geq C(e_1)$

Візьмемо простий приклад визначення хорошого помідора з басейну хороших + поганих помідорів. Скажімо, кількість хороших помідорів - 100, а поганих - 1000, тож 1100. Тепер ваше завдання - визначити якомога більше хороших помідорів. Один із способів отримати хороший помідор - це взяти всі 1100 помідорів. Але це чітко говорить про те, що ви не в змозі диференціювати б / н хороше проти поганого .

Отже, що є правильним способом розмежування - потрібно отримати якомога більше хороших, підбираючи дуже мало поганих. Тому нам потрібна міра, яка може сказати, скільки хороших ми підібрали, а також сказати, на що покладаються погані це. Міра AUC надає більше ваги, якщо він здатний вибрати більше хороших з кількома поганими, як зображено нижче. що говорить про те, наскільки добре ви вмієте розмежовувати б / н добрі та погані.

На прикладі ви можете помітити, що під час збирання 70% хорошого помідора чорна крива набрала близько 48% поганих (домішки), а у синього - 83% поганих (домішки). Таким чином, чорна крива має кращий показник AUC порівняно з синьою.