Як R, як обчислити р-значення для площі під ROC

Я намагаюся знайти спосіб обчислити р-значення для області під характеристикою оператора приймача (ROC). У мене є безперервна змінна та діагностичний результат тесту. Хочу дізнатися, чи AUROC є статистично значущим.

Я знайшов багато пакетів, що стосуються кривих ROC: pROC, ROCR, caTools, верифікація, Epi. Але навіть після багатьох годин, проведених за читанням документації та тестуванням, я не міг знайти, як. Я думаю, що це я просто пропустив.

У вашій ситуації було б добре побудувати криву ROC та обчислити площу під цією кривою, але це слід вважати доповненням до вашого основного аналізу, а не самим первинним аналізом. Натомість ви хочете підходити до моделі логістичної регресії .

Модель логістичної регресії буде стандартною з випробуванням моделі в цілому. (Насправді, оскільки у вас є лише одна змінна, це p-значення буде таким самим, як і p-значення для вашої змінної результатів тесту.) Це p-значення, яке ви шукаєте. Ця модель дозволить розрахувати передбачувану ймовірність хвороби. Характеристика, що працює на приймачі, говорить про те, як чутливість та специфічність будуть змінюватися, якщо ви використовуєте різні пороги для перетворення прогнозованої ймовірності в прогнозовану класифікацію. Оскільки передбачувана ймовірність буде функцією вашої змінної результатів тесту, вона також говорить вам, як вони торгуються, якщо ви використовуєте різні значення результатів тесту в якості порогового значення.

Якщо ви не дуже знайомі з логістичною регресією, в Інтернеті є деякі ресурси (крім сторінки Вікіпедії, зв'язаної вище):

• Тут я обговорюю деякі основи своєї відповіді: Інтерпретація простих прогнозів та коефіцієнтів шансів при логістичній регресії ; і (хоча написано в іншому контексті) я надаю огляд того, що таке логістична регресія та як вона стосується OLS (регулярної) регресії в моїй відповіді тут: Різниця між logit та probit моделями .
• Ви також можете прочитати деякі теми, що класифікуються під нашим логістичним тегом.
• Про те , як відповідати моделі логістичної регресії в R, в UCLA статистикою на допомогу веб - сайт , як правило , відмінно і має відповідну сторінку тут .

В основному ви хочете перевірити H0 = "AUC дорівнює 0,5".

Це насправді еквівалент, як говорити H0 = "Розподіл рангів у двох групах рівний".

Останнє є нульовою гіпотезою тесту Манна-Вітні (Вілкоксона) (див., Наприклад, Gold, 1999 ).

Іншими словами, ви можете сміливо використовувати тест Манна-Вітні-Вілкоксона, щоб відповісти на ваше запитання (див., Наприклад, Mason & Graham, 2002 ). Саме це робить пакет підтвердження, згаданий Франком Дернонкуром.

Ви можете використовувати roc.area () для перевірки пакета :

install.packages("verification")
library("verification")

# Data used from Mason and Graham (2002).
a<- c(1981, 1982, 1983, 1984, 1985, 1986, 1987, 1988, 1989, 1990,
 1991, 1992, 1993, 1994, 1995)
d<- c(.928,.576, .008, .944, .832, .816, .136, .584, .032, .016, .28, .024, 0, .984, .952)

A<- data.frame(a,d)
names(A)<- c("year", "p2")

# For model without ties
roc.area(A$event, A$p2)

Це повернеться $p.value [1] 0.0069930071

Дві криві ROC можна порівняти у використанні pROC roc.test(). Це також дає p-значення. Крім того, використання roc(..., auc=TRUE, ci=TRUE)дасть вам нижчі та більші довірчі інтервали разом із AUC у виході під час створення об’єкта ROC, що може бути корисно.

Далі наведено робочий приклад коду, який перевіряє, чи милі на галон чи вага автомобіля є кращим предиктором виду трансмісії, з якою він оснащений (автоматичною чи ручною):

library(pROC)
roc_object_1 <- roc(mtcars$am, mtcars$mpg, auc=T, ci=T) #gives AUC and CI
roc_object_2 <- roc(mtcars$am, mtcars$wt, auc=T, ci=T) #gives AUC and CI

roc.test(roc_object_1, roc_object_2) #gives p-value

Маса є значно кращим прогнозом, ніж витрата палива, схоже. Однак це порівнюється дві криві, а не одна крива проти числа, такого як 0,5. Подивившись на довірчий інтервал, щоб побачити, чи містить він число 0,5, нам підказує, чи він суттєво відрізняється, але він не дає p-значення.