Статистична значимість (p-значення) для порівняння двох класифікаторів щодо (середнього) ROC AUC, чутливості та специфічності

У мене є тестовий набір із 100 випадків та два класифікатори.

Я генерував прогнози та обчислював RUC AUC, чутливість та специфічність для обох класифікаторів.

Питання 1: Як я можу обчислити p-значення, щоб перевірити, чи є одна значно краща за іншу стосовно всіх балів (ROC AUC, чутливість, специфічність)?

Тепер для одного і того ж тестового набору з 100 випадків я маю різні та незалежні функції призначення для кожного випадку. Це тому, що мої риси є фіксованими, але суб'єктивними і надаються декількома (5) предметами.

Отже, я знову оцінив два мої класифікатори на 5 "версіях" мого тестового набору і отримав 5 ROC AUC, 5 чутливості та 5 особливостей для обох класифікаторів. Тоді я обчислював середнє значення кожного показника ефективності для 5 суб'єктів (середня ROC AUC, середня чутливість та середня специфічність) для обох класифікаторів.

Питання 2: Як я можу обчислити р-значення, щоб перевірити, чи є одна значно краща за іншу щодо середніх балів (середня ROC AUC, середня чутливість, середня специфічність)?

Відповіді з прикладом python (бажано) або кодом MatLab більш ніж вітаються.

— костек
джерело

Зробіть пряме порівняння точності, точності, AuC, щоб отримати кращий класифікатор серед двох. P-значення тут не має сенсу. Значення р використовується в контексті оцінювання, чи модель робить краще, ніж випадкові завдання / 50-50 (як нульовий / альтернативний тест гіпотези)

— Нішад

По-перше, я не згоден, що порівняння двох заходів ефективності з використанням p-значення тут не має сенсу. Я бачу, що один класифікатор має AUC 0,80, а інший 0,85. Моя нульова гіпотеза полягала б у тому, що різниці у виконанні обох оголошень немає. Хочу знати, чи різниця є статистично значущою.

— костек

По-друге, я не роблю 5 версій своєї моделі. У мене є дві моделі, що навчаються на окремому навчальному наборі, і тепер я оцінюю їх на 5 різних «версіях» мого тестового набору. Я маю середню ефективність для обох класифікаторів (наприклад, 0,81 AUC та 0,84 AUC) і хочу перевірити, чи різниця є статистично достовірною.

— костек

Я б не сказав, що те, що я роблю, є близьким до перехресної перевірки. У моєму випадку значення ознак залежать від суб'єкта, який їх надає. Я знаю, що AUC можна використовувати для порівняння моделей, але я хочу знати, чи в моїх обставинах результат мого порівняння є статистично значущим. Я впевнений, що це можна зробити і що це має багато сенсу. Моє питання - як це зробити.

— костек

Я не впевнений, на що потрапляє @Nishad, ви можете і повинні використовувати тест гіпотези, щоб визначити, чи ваші моделі значно відрізняються одна від одної. Стандартні відхилення ваших показників існують і зменшуються в міру збільшення розміру вибірки (усі інші речі рівні). Різниця AUC між 0,8 і 0,9 може бути несуттєвою, якщо у вас є лише 10 зразків, але може бути дуже значною, якщо у вас є 10M проб. Я також не бачу ніякого відношення до перехресної перевірки. Я б проголосував за коментарі, якби міг.

— Ядерна Ванга

Відповіді:

Криві ROC для постійних даних Войтека Дж. Кржановського та Девіда Дж. Рука (2009) - це чудова орієнтир для всіх речей, пов'язаних з кривими ROC. Він збирає ряд результатів у тому, що розчаровує широку літературну базу, яка часто використовує різну термінологію для обговорення однієї теми.

Крім того, ця книга пропонує коментарі та порівняння альтернативних методів, які були отримані для оцінки однакових величин, і вказує, що деякі методи роблять припущення, які можуть бути неможливими у конкретних контекстах. Це один такий контекст; інші відповіді повідомляють про метод Hanley & McNeil, який передбачає бінормальну модель розподілу балів, що може бути недоречним у випадках, коли розподіл балів за класом не є (близьким до) нормальним. Припущення щодо нормально розподілених балів здається особливо недоречним у сучасних контекстах машинного навчання , типові поширені моделі, такі як xgboost, як правило, дають бали з розподілом "ванна" для класифікаційних завдань (тобто розподілів з високою щільністю в крайніх межах близько 0 і 1 ).

Питання 1 - AUC

Розділ 6.3 обговорює порівняння AUC AOC для двох кривих ROC (стор. 113-114). Зокрема, я розумію, що ці дві моделі є співвіднесеними, тому інформація про те, як обчислити є критично важливою тут; в іншому випадку ваша тестова статистика буде упереджена, оскільки вона не враховує внесок кореляції. $r$

У випадку некорельованих кривих ROC, що не ґрунтуються на будь-яких параметричних припущеннях розподілу, статистика для тетів та довірчих інтервалів, що порівнюють AUC, може бути прямо на основі оцінок та значень AUC та оцінок їх стандартних відхилень та , як зазначено в розділі 3.5.1: $\widehat{\text{AUC}}_1$ $\widehat{\text{AUC}}_2$ $S_1$ $S_2$

$Z = \frac{{\hat{AUC}}_{1} - {\hat{AUC}}_{2}}{\sqrt{S_{1}^{2} + S_{2}^{2}}}$ $Z = \frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2}}$
Щоб поширити такі тести на випадок, коли для обох класифікаторів використовуються однакові дані, нам потрібно врахувати кореляцію між оцінками AUC:
$z = \frac{{\hat{AUC}}_{1} - {\hat{AUC}}_{2}}{\sqrt{S_{1}^{2} + S_{2}^{2} - r S_{1} S_{2}}}$ $z=\frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2 - rS_1S_2}}$
де - оцінка цього співвідношення. Хенлі та Макнейл (1983) зробили таке розширення, спираючись на свій аналіз на бінормальний випадок, але дали лише таблицю, що показує, як обчислити розрахунковий коефіцієнт кореляції з кореляції двох класифікаторів в межах класу P та співвідношення двох класифікаторів класу N, кажучи, що математичне виведення було доступне на запит. Різні інші автори (наприклад, Zou, 2001) розробили тести, засновані на бінормальній моделі, припускаючи, що можна знайти відповідне перетворення, яке одночасно перетворить розподіл балів класів P і N у нормальне. $r$ $r$ $r_P$ $r_n$

DeLong et al (1988) скористалися тотожністю між AUC та статистикою тесту Манна-Уітні разом з результатами теорії узагальненої -статистики за Сен (1960), щоб отримати оцінку кореляції між AUC, що не покладається на бінормальне припущення. Фактично, DeLong et al (1988) представили наступні результати для порівнянь між класифікаторами. $U$ $k\ge 2$

У розділі 3.5.1 ми показали, що площа під емпіричною кривою ROC дорівнювала статистиці Манна-Уітні , і вона була задана $U$

де- оцінка дляоб’єктівкласуа- бали заоб’єктикласуу вибірці. Припустимо, у нас єкласифікаторів, що дають бали
$\hat{A U C} = \frac{1}{n_{N} n_{P}} \sum_{i = 1}^{n_{N}} \sum_{j = 1}^{n_{P}} [I (s_{P_{j}} > s_{N_{i}}) + \frac{1}{2} I (s_{P_{j}} = s_{N_{i}})]$ $\widehat{AUC}=\frac{1}{n_N n_P} \sum_{i=1}^{n_N} \sum_{j=1}^{n_P} \left[ I(s_{P_j} > s_{N_i}) + \frac{1}{2}I(s_{P_j} = s_{N_i}) \right]$ $s_{P_i}, i = 1, \dots,n_P$ $P$ $s_{N_j}, j = 1, \dots,n_N$ $N$ $k$ і [Я виправив помилку індексації в цій частині - Sycorax], і . Визначте $s^r_{N_j}, j=1\dots n_N$ $s_{P_i}^r, j = 1, \dots,n_P$ $\widehat{AUC}_r, r = 1, \dots, k$
і
$V_{10}^{r} = \frac{1}{n_{N}} \sum_{j = 1}^{n_{N}} [I (s_{P_{i}}^{r} > s_{N_{j}}^{r}) + \frac{1}{2} I (s_{P_{i}}^{r} = s_{N_{j}}^{r})], i = 1, \dots, n_{P}$ $V^r_{10}=\frac{1}{n_N}\sum_{j=1}^{n_N} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , i=1,\dots,n_P$ $V_{01}^{r} = \frac{1}{n_{P}} \sum_{i = 1}^{n_{P}} [I (s_{P_{i}}^{r} > s_{N_{j}}^{r}) + \frac{1}{2} I (s_{P_{i}}^{r} = s_{N_{j}}^{r})], j = 1, \dots, n_{N}$ $V^r_{01} = \frac{1}{n_P}\sum_{i=1}^{n_P} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , j=1,\dots,n_N$
далі, визначимо матрицю з -го елемента $k \times k$ $\mathbf{W}_{10}$ $(r,s)$ іматрицязth елемент
$w_{10}^{r, s} = \frac{1}{n_{P} - 1} \sum_{i = 1}^{n_{P}} [V_{10}^{r} (s_{P_{i}}) - {\hat{A U C}}_{r}] [V_{10}^{s} (s_{P_{i}}) - {\hat{A U C}}_{s}]$ $w_{10}^{r,s} = \frac{1}{n_P - 1}\sum_{i=1}^{n_P} \left[ V_{10}^r(s_{P_i}) - \widehat{AUC}_r \right] \left[ V_{10}^s(s_{P_i}) - \widehat{AUC}_s \right]$ $k \times k$ $\mathbf{W}_{01}$ $(r,s)$ Тоді оцінена матриця коваріації для вектора $w_{01}^{r, s} = \frac{1}{n_{N} - 1} \sum_{i = 1}^{n_{N}} [V_{01}^{r} (s_{N_{i}}) - {\hat{A U C}}_{r}] [V_{01}^{s} (s_{N_{i}}) - {\hat{A U C}}_{s}]$ $w_{01}^{r,s} = \frac{1}{n_N - 1}\sum_{i=1}^{n_N} \left[ V_{01}^r(s_{N_i}) - \widehat{AUC}_r \right] \left[ V_{01}^s(s_{N_i}) - \widehat{AUC}_s \right]$ розрахункових площ під кривими становить $(\widehat{AUC}_1, \dots, \widehat{AUC}_k)$ з елементами. Це узагальнення результату для передбачуваної дисперсії однієї оціненої AUC, також наведеної в розділі 3.5.1. У випадку двох класифікаторів оцінене співвідношенняміж оціненими AUC таким чином задається $W = \frac{1}{n_{P}} W_{10} + \frac{1}{n_{N}} W_{01}$ $\mathbf{W} = \frac{1}{n_P}\mathbf{W}_{10} + \frac{1}{n_N}\mathbf{W}_{01}$ $w^{r,s}$ $r$ які можна використовувати ввище. $\frac{w^{1,2}}{\sqrt{w^{1,1}w^{2,2}}}$ $z$

Оскільки інша відповідь дає вирази Хенлі та Мак-ніла для оцінювачів дисперсії AUC, тут я відтворять оцінювач DeLong з p. 68:

Альтернативний підхід завдяки DeLong et al (1988) та прикладом Pepe (2003) дає, мабуть, більш просту оцінку і той, який вводить додаткову корисну концепцію вартості розміщення. Значення розміщення балів по відношенню до визначеної сукупності становить те, що функція виживання населення в . Це значення розміщення для для населення N дорівнює а для для населення P - . Емпіричні оцінки значень розміщення задаються очевидними пропорціями. Таким чином, значення розміщення спостереження $s$ $s$ $s$ $1 - F(s)$ $s$ $1 - G(s)$ в популяції P, позначеній , - частка значень вибірки з P, що перевищують , а- дисперсія значень розміщення кожного спостереження від N щодо популяції P. .. $s_{N_i}$ $s^P_{N_i}$ $s_{N_i}$ $\text{var}(s_{P_i}^N)$

DeLong et al (1988) оцінка дисперсії наведена у вигляді цих дисперсій: $\widehat{AUC}$
$s^{2} (\hat{A U C}) = \frac{1}{n_{P}} var (s_{P_{i}}^{N}) + \frac{1}{n_{N}} var (s_{N_{i}}^{P})$ $s^2(\widehat{AUC}) = \frac{1}{n_P} \text{var}\left(s_{P_i}^N\right) + \frac{1}{n_N}\text{var}\left(s_{N_i}^P\right)$

Зауважимо, що - функція кумулятивного розподілу балів у сукупності N, - функція кумулятивного розподілу балів у сукупності P. Стандартним способом оцінювання та є використання ecdf . Книга також пропонує деякі альтернативні методи оцінювання ecdf, такі як оцінка щільності ядра, але це не виходить за межі цієї відповіді. $F$ $G$ $F$ $G$

Статистику і можна вважати стандартними нормальними відхиленнями, а статистичні тести нульової гіпотези протікають звичайним чином. (Див. Також: перевірка гіпотез ) $Z$ $z$

Це спрощений контур на високому рівні того, як працює тестування гіпотез:

Тестування, за вашими словами, "чи один класифікатор значно кращий за інший", можна переосмислити як тестування нульової гіпотези про те, що дві моделі мають статистично однакові AUCs проти альтернативної гіпотези, що статистика неоднакова.
Це тест з двома хвостами.
Ми відкидаємо нульову гіпотезу, якщо статистика тесту знаходиться у критичній області опорного розподілу, що є стандартним нормальним розподілом у цьому випадку.
$\alpha$ $z > 1.96$ $z < -1.96$ $\alpha/2$ $1 - \alpha/2$

Питання 1 - Чутливість та специфічність

$t$

\begin{aligned} sensitivity = t p & = P (s_{P} > t) \\ 1 - specificity = f p & = P (s_{N} > t) \end{aligned}

$\begin{align} \text{sensitivity} = tp &= \mathbb{P}(s_P > t) \\ 1 - \text{specificity} = fp &= \mathbb{P}(s_N > t) \end{align}$

Основним моментом стику є розробка відповідного тесту, враховуючи, що обидві пропорції вибірки будуть співвіднесені (як ви застосували дві моделі до одних і тих самих даних тесту). Це звернено на с. 111.

$tp$ $fp$ $t$ $(tp_1 - tp_2) / s_{12}$ $tp_i$ $i$ $s_{12}^2$ $tp_1$ $tp_2$

$tp_1$ $tp_2$

$N$

$tp_1 = tp_2$ $tp_1 \neq tp_2$

\begin{array}{ccc} Model 1 Positive at t & Model 1 Negative at t \\ Model 2 Positive at t & a & b \\ Model 2 Negative at t & c & d \end{array}

$\begin{array}{c|c|c|} & \text{Model 1 Positive at } t & \text{Model 1 Negative at } t \\ \hline \text{Model 2 Positive at } t & a & b \\ \hline \text{Model 2 Negative at } t & c & d \\ \hline \end{array}$

\begin{aligned} a & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} > t) \cdot I (s_{P_{i}}^{2} > t) \\ b & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} \leq t) \cdot I (s_{P_{i}}^{2} > t) \\ c & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} > t) \cdot I (s_{P_{i}}^{2} \leq t) \\ d & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} \leq t) \cdot I (s_{P_{i}}^{2} \leq t) \end{aligned}

$\begin{align} a &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 > t) \\ b &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 > t) \\ c &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 \le t) \\ d &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 \le t) \\ \end{align}$

M = \frac{(b - c)^{2}}{b + c}

$M = \frac{(b-c)^2}{b + c}$

χ_{1}^{2}

$\chi^2_1$

α = 95 %

$\alpha=95\%$

M > 3.841459

$M > 3.841459$

$s^r_{P_i}$ $s^r_{N_j}$

Питання 2

Здається, що достатньо об'єднати результати шляхом усереднення значень прогнозування для кожного респондента, так що для кожної моделі у вас є 1 вектор із 100 усереднених прогнозованих значень. Потім обчислюйте статистику RUC, чутливість та специфічність, як зазвичай, як би не існували оригінальні моделі. Це відображає стратегію моделювання, яка розглядає кожну з 5 респондентів моделей як одну з "комітетів" моделей, на зразок ансамблю.

— Sycorax каже, що відновіть Моніку
джерело

Дякуємо за вашу відповідь та надані довідки. А як щодо р-значень для чутливості та специфічності?

— костек

Чи означає для Q1, що немає різниці між обчислювальною величиною p для чутливості та специфічності, і що вони обидва завжди мають однакове p-значення, і я просто складаю таблицю на випадок надзвичайних ситуацій і запускаю на ній тест McNemar?

— костек

Ні, ви зробили б один тест для кожного.

— Sycorax каже, що повернеться до Моніки

a, b, c, d

$a,b,c,d$

@Drey Вони не пропорції; вони рахуються. Я це явно роблю в доопрацюванні.

— Sycorax каже, що повернеться Моніка

Дозвольте мені коротко відповісти, оскільки цей посібник пояснює набагато більше та краще .

$nTP$ $nTN$

$\texttt{SE}_A = \sqrt{\frac{A(1-A) + (nTP-1)(Q_1 - A^2)+(nTN-1)(Q_2 - A^2)}{nTP \cdot nTN}}$

$Q_1 = A / (2 - A)$ $Q_2 = 2A^2 / (1 + A)$

Для порівняння двох AUC потрібно обчислити SE їх обох за допомогою:

$\texttt{SE}_{A_1 - A_2} = \sqrt{(SE_{A_1})^2 + (SE_{A_2})^2 - 2r\cdot (SE_{A_1})(SE_{A_2})}$

$r$ $r=0$

$z$

$z = (A_1 - A_2) / SE_{A_1-A_2}$

Звідти ви можете обчислити p-значення, використовуючи щільність ймовірності стандартного нормального розподілу. Або просто скористайтеся цим калькулятором.

Це, з надією, відповідає на питання 1 . - принаймні частина порівняння AUC. Sens / Spec якимось чином охоплений ROC / AUC. Інакше відповідь, на яку я думаю, лежить у питанні 2.

Що стосується питання 2 , то теорема про центральний ліміт говорить нам, що ваша підсумкова статистика піде за нормальним розподілом. Отже, я думаю, що простого t-тесту вистачить (5 заходів одного класифікатора проти 5 заходів другого класифікатора, де мірами можуть бути AUC, sens, spec)

$\texttt{SE}$ $\ldots - 2r \ldots$

— Дрі
джерело

Дякуємо за надані посилання. У питанні 1, якщо я встановив "A" чутливість або специфічність, чи дотримуватимуться рівняння для SE та z-Score?

— костек

\hat{p}

$\hat{p}$

На питання 1 @Sycorax дав вичерпну відповідь.

Наскільки я знаю, у питанні 2, усереднення прогнозів з предметів невірно. Я вирішив використовувати завантажувальний інструмент для обчислення р-значень та порівняння моделей.

У цьому випадку процедура така:

For N iterations:
  sample 5 subjects with replacement
  sample 100 test cases with replacement
  compute mean performance of sampled subjects on sampled cases for model M1
  compute mean performance of sampled subjects on sampled cases for model M2
  take the difference of mean performance between M1 and M2
p-value equals to the proportion of differences smaller or equal than 0

Ця процедура виконує односхилий тест і передбачає, що M1 означає продуктивність> M2 означає продуктивність.

Реалізація завантаження Python для обчислення р-значень для порівняння декількох читачів можна знайти в цьому репортажі GitHub: https://github.com/mateuszbuda/ml-stat-util

— костек
джерело