Як отримати імовірнісну інтерпретацію AUC?

14

Чому область під кривою ROC вірогідність того, що класифікатор класифікує випадково вибраний "позитивний" екземпляр (із отриманих прогнозів) вище, ніж випадково обраний "позитивний" (від початкового позитивного класу)? Як можна довести це твердження математично, використовуючи інтеграл, даючи CDF та PDF справжнього розподілу класів на позитивні та негативні?

probability roc auc

— mff
джерело

2

Я написав тут дуже елементарний доказ цього: madrury.github.io/jekyll/update/statistics/2017/06/21/…

— Matthew Drury

10

Спочатку спробуємо формально визначити площу під кривою ROC. Деякі припущення та визначення:

У нас є ймовірнісний класифікатор, який видає "бал" s (x), де x - риси, а s - це родова зростаюча монотонна функція оціненої ймовірності p (клас = 1 | x).
$f_{k}(s)$ $k = \{0, 1\}$ $F_{k}(s)$
Класифікація нового спостереження отримується порівнянням балів s до порогу t

Крім того, для зручності математики розглянемо позитивний клас (виявлена подія) k = 0, а від'ємний k = 1. У цьому налаштуванні ми можемо визначити:

$F_{0}(t)$
$1 - F_{1}(t)$
$F_{1}(t)$

$F_{0}(t)$ $F_{1}(t)$ $v = F_1(s)$

A U C = \int_{0}^{1} F_{0} (F_{1}^{- 1} (v)) d v

$AUC =\int_{0}^{1} F_{0}(F_{1}^{-1}(v)) dv$

d v = f_{1} (s) d s

$dv = f_{1}(s)ds$

A U C = \int_{- \infty}^{\infty} F_{0} (s) f_{1} (s) d s

$AUC =\int_{ - \infty}^{\infty} F_{0}(s) f_{1}(s)ds$

Ця формула може бути сприйнята як ймовірність того, що випадково намальований член класу 0 виробить бал, менший за рахунок випадково намальованого члена 1 класу.

Цей доказ взято з: https://pdfs.semanticscholar.org/1fcb/f15898db36990f651c1e5cdc0b405855de2c.pdf

— алебу
джерело

5

@ alebu відповідь чудова. Але його позначення є нестандартним і використовує 0 для позитивного класу та 1 для негативного класу. Нижче наведені результати для стандартних позначень (0 для негативного класу та 1 для позитивного класу):

$f_0(s)$ $F_0(s)$

$f_1(s)$ $F_1(s)$

$x(s) = 1-F_0(s)$

$y(s) = 1-F_1(s)$

\begin{aligned} AUC & = \int_{0}^{1} y (x) d x \\ = \int_{0}^{1} y (x (τ)) d x (τ) \\ = \int_{+ \infty}^{- \infty} y (τ) x^{'} (τ) d τ \\ = \int_{+ \infty}^{- \infty} (1 - F_{1} (τ)) (- f_{0} (τ)) d τ \\ = \int_{- \infty}^{+ \infty} (1 - F_{1} (τ)) f_{0} (τ) d τ \end{aligned}

$\begin{align} \text{AUC} &= \int_0^1 y(x) dx\\ &= \int_0^1 y(x(\tau)) dx(\tau) \\ &= \int_{+\infty}^{-\infty} y(\tau) x'(\tau) d\tau \\ &= \int_{+\infty}^{-\infty} \big( 1-F_1(\tau) \big) \big( -f_0(\tau) \big) d\tau \\ &= \int_{-\infty}^{+\infty} \big( 1-F_1(\tau) \big) f_0(\tau) d\tau \end{align}$

$\tau$

— Лей Хуан
джерело

1

$\tau$

$A$
$B$ $A$
$\tau$

$P(A>\tau)$ $P(B>\tau)$

$\tau$ $AUC$

Ми отримуємо:

A U C = \int_{0}^{1} T P R (x) d x = \int_{0}^{1} P (A > τ (x)) d x

$AUC = \int_0^1 TPR(x)dx = \int_0^1 P(A>\tau(x))dx$

x

$x$

x

$x$

T P R

$TPR$

\begin{matrix} (1) & A U C = E_{x} [P (A > τ (x))] \end{matrix}

$AUC = E_x[P(A>\tau(x))] \tag{1}$

x \sim U [0, 1)

$x \sim U[0,1)$

$x$ $FPR$

x = F P R = P (B > τ (x))

$x=FPR = P(B>\tau(x))$

x

$x$

P (B > τ (x)) \sim U

$P(B>\tau(x)) \sim U$

=> P (B < τ (x)) \sim (1 - U) \sim U

$=> P(B<\tau(x)) \sim (1-U) \sim U$

\begin{matrix} (2) & => F_{B} (τ (x)) \sim U \end{matrix}

$\begin{equation}=> F_B(\tau(x)) \sim U \tag{2}\end{equation}$

$X$ $F_X(Y) \sim U$ $Y \sim X$

F_{X} (X) = P (F_{X} (x) < X) = P (X < F_{X}^{- 1} (X)) = F_{X} F_{X}^{- 1} (X) = X

$F_X(X) = P(F_X(x)<X) =P(X<F_X^{-1}(X))=F_XF_X^{-1}(X)=X$

τ (x) \sim B

$\tau(x) \sim B$

Підставивши це до рівняння (1), отримаємо:

A U C = E_{x} (P (A > B)) = P (A > B)

$AUC=E_x(P(A>B))=P(A>B)$

Іншими словами, площа під кривою є ймовірністю того, що випадкова позитивна вибірка матиме більш високий бал, ніж випадкова негативна вибірка.

— ryu576
джерело