Чому більшість опублікованих праць із медичних зображень намагаються зменшити помилкові позитиви?

У медичній обробці зображень більшість опублікованих праць намагаються знизити показник помилкової позитивної реакції (FPR), тоді як насправді хибні негативи небезпечніші, ніж помилкові позитиви. Що обґрунтовує це?

TL; DR: захворювання зустрічаються рідко, тому абсолютна кількість помилкових позитивних результатів набагато більше, ніж у помилкових негативів.

Припустимо, що в нашій системі однаковий рівень помилкових позитивних та хибнонегативних показників становить 1% (досить добре!), І що ми виявляємо наявність нових видів раку в цьому році: 439,2 / 100 000 людей, або 0,5% населення. [ джерело ]

• Ні раку, ні виявлення: 99,5% х 99% = 98,5% (98,505%)
• Без раку, виявлення: 99,5% х 1% = 1,0% (0,995%)
• Рак, виявлення: 0,5% х 99% = 0,5% (0,495%)
• Рак, без виявлення: 0,5% х 1% = 0,005%

Тож ми можемо побачити, що у нас є проблема: для всіх, хто має рак, двоє людей, у яких не було раку, закінчилися інвазивною хірургією, хіміотерапією або променевою терапією.

Для кожної людини, у якої не виявлено нинішній рак, двісті людей отримують активно шкідливе лікування, яке їм не було потрібне і не може реально собі дозволити.

Ви знаєте історію хлопчика, який плакав вовка, правда?

Це та сама ідея. Після того, як якийсь класифікатор подає помилкові тривоги (кричить вовк) стільки разів, медичний персонал вимкне його або проігнорує.

"О, це знову! НОПА!"

Принаймні, з біоінженерною групою, з якою я працював, акцент робиться на зменшенні ФПР, оскільки мета полягає в тому, щоб створити інструмент, який попереджатиме лікарів про потенційну патологію, і вони сказали нам, що вони будуть ігнорувати продукт, який плаче вовка. забагато.

Щодо продукту, який допомагає медикам, ми маємо звернутися до їх психології, незважаючи на обґрунтований аргумент, що втратити вовка на фермі гірше, ніж плакати вовка.

Редагувати : Зниження помилкових позитивних результатів також має правомірний аргумент. Якщо ваш комп’ютер продовжує плакати вовка, отримуючи випадковий справжній позитив (і ловити більшість справжніх позитивних результатів), це фактично говорить про те, що хтось може захворіти. Вони в лікарні. Лікар знає, що пацієнт може захворіти.

Підсумок: питання, ймовірно, * не те, чи є один хибний негатив гіршим, ніж один хибний позитив, це, мабуть, * більше схоже на те, чи 500 помилкових позитивів прийнятні, щоб перейти до одного помилкового негативного.

* залежить від програми

Дозвольте мені трохи розгорнути відповідь @ Dragon:

• Скринінг означає, що ми шукаємо захворювання серед, здавалося б, здорового населення. Як пояснив @Dragon, для цього нам потрібен надзвичайно низький FPR (або висока чутливість), інакше ми виявимось набагато більше помилкових позитивних результатів, ніж справжні позитивні. Тобто, позитивне прогнозне значення (# справді хворий серед усіх діагностованих позитивних) було б неприйнятно низьким.

• Чутливість (TPR) та специфічність (TNR) легко виміряти для діагностичної системи: прийняти ряд справді (не) хворих випадків і виміряти частку правильно виявлених.

• ОТОГ, як з точки зору лікарів, так і з боку пацієнтів, прогнозовані значення більш суттєві . Вони є "оберненими" до Чутливості та специфічності та розповідають серед усіх позитивних (негативних) прогнозів, яка частка є правильною. Іншими словами, після тесту сказали "хвороба", яка ймовірність того, що пацієнт насправді має захворювання.

• Як показав @Dragon, захворюваність (або поширеність, залежно від того, про який тест ми говоримо) тут відіграє вирішальну роль. Захворюваність низька у всіх видах скринінгу / ранньої діагностики раку.
  Щоб проілюструвати це, скринінг раку яєчників у жінок після менопаузи має поширеність 0,04% серед загальної популяції та 0,5% у жінок з високим ризиком із сімейним анамнезом та / або відомими мутаціями генів, що супресорують пухлини BRCA1 та 2 [Buchen, L. Рак: пропущений знак. Природа, 2011, 471, 428-432]

• Отже, питання, як правило, не полягає в тому, чи є один хибний негатив гіршим, ніж один хибний позитив, але навіть 99% специфічність (1% FPR) і 95% чутливість (цифри, взяті з паперу, зв'язані вище) означають приблизно 500 помилкових позитивних результатів для кожного помилкового негативу .

• В якості побічної пам’яті також пам’ятайте, що рання діагностика раку сама по собі не є магічним лікуванням раку. Наприклад, для скринінгової мамографії на рак молочної залози, лише 3 - 13% справжніх позитивних пацієнтів насправді отримують користь від скринінгу .
  Тому ми також повинні стежити за кількістю помилкових позитивних результатів для кожного корисного пацієнта. Наприклад, для мамографії, разом з цими цифрами , є приблизним припущенням, що ми маємо десь у межах 400-1800 помилкових позитивів на користь справжнього позитиву (група 39 - 49 років).

• Із сотнями хибних позитивних результатів на помилково негативний (а також, можливо, сотнями, а то й тисячами хибних позитивних результатів на одного пацієнта, які отримують користь від скринінгу) ситуація не є такою чіткою, як "один пропущений рак гірший, ніж один помилково позитивний діагноз раку": помилкові позитиви мають вплив, починаючи від психологічного та психосоматичного (турбуючись про те, що у вас рак сам по собі не є здоровим) до фізичних ризиків наступних діагнозів, таких як біопсія (що є невеликою хірургічною операцією, і, як така, вона має свою власну ризики).
  Навіть якщо вплив одного помилкового позитиву невеликий, відповідні ризики можуть суттєво скластись, якщо необхідно врахувати сотні помилкових позитивних результатів.

  Пропоноване читання: Герд Гігеренцер: Кмітливість до ризику: як правильно прийняти рішення (2014).

• Тим не менш, те, що PPV та NPV необхідні для того, щоб зробити діагностичний тест корисним, дуже залежить від програми.
  Як було пояснено, при скринінгу для раннього виявлення раку акцент робиться, як правило, на PPV, тобто переконайтеся, що ви не завдаєте занадто великої шкоди за допомогою помилкових негативів: пошук значної частки (навіть якщо не всіх) хворих на рак вже є вдосконаленням статус-кво без екранізації.
  OTOH, тест на ВІЛ у донорах крові зосереджується спочатку на NPV (тобто переконайтеся, що кров не містить ВІЛ). Однак на другому (і третьому) кроках помилкові позитивні результати знижуються шляхом застосування подальших тестів, перш ніж турбувати людей з (хибно) позитивними результатами тесту на ВІЛ.

• І останнє, але не менш важливе місце, існують також медичні програми тестування, коли частота захворюваності або поширеність не є настільки екстремальними, як зазвичай, при обстеженні не особливо високого ризику, наприклад, деякі диференціальні діагнози.

З особистої точки зору, а не з досвіду наукових даних, хибний позитив має більший вплив на якість життя пацієнта, ніж хибний негативний (принаймні, у більшості застосувань медичної обробки зображень. Ми не говоримо про результати лабораторії) .

Давайте розглянемо конкретний приклад: скринінг пухлини .

Помилковий негатив означає, що пухлина на ранній стадії має більше часу, щоб вирости і перерости в шкідливий рак. Загалом цей процес займає тривалий час, і кожен наступний скринінг має більше шансів його виявити, але реально довготерміновий стан здоров'я пацієнта страждає.

Крім того, у діагностиці завжди бере участь людина. Обробка медичних зображень на сучасній технологічній стадії має бути допомогою для медичного персоналу, а не заміною . Часто мається на увазі зазначити ураження або зміни тканин, які є настільки тонкими, що людина може їх не помітити. Немає шансів, що лікар не помітить пухлину запущеної стадії. Для цього їм не потрібна обробка зображень.

Що стосується медичних процедур, якщо пухлина не стане непридатною до наступного скринінгу, немає великої різниці між видаленням пухлини на ранній стадії або тією, яка мала трохи більше часу для зростання. Кількість вилученої тканини більше, але вид операції часто однаковий. (Це передбачає, що пацієнт регулярно проводить обстеження здоров'я.)

Хибний позитив має багато наслідків, які не всі безпосередньо пов'язані з недугою:

• Додаткові процедури. Після того як процес візуалізації дає позитивний результат, проводиться більше аналізів, для яких витягується кров або тканина (біопсія). Об'єктивно кажучи, організм пацієнта пошкоджений, щоб мати можливість перевірити результат візуалізації.
• Страх. Лабораторні тести потребують часу. Людина, яка постраждала, часто переживає кілька днів, а іноді й тижнів, невизначеної погоди чи ні, ураження насправді є раком. Багато людей, які пережили такий хибний позитив, описують цю подію як "травмуючу" і тривалий час страждають від тривоги, пов'язаної зі здоров'ям.
• Вкладення часу. Якщо для перевірки результатів візуалізації за допомогою лабораторних тестів чи подібних потрібно кілька обстежень, пацієнту та лікарям доводиться вкладати час на них. Навіть якщо це потрібно лише для одного тестування, у ньому беруть участь кілька людей, серед яких медсестри, лікарі та лаборатори. У той час, коли лікарі хронічно перевантажені роботою, цього слід уникати, якщо це можливо.
• Непотрібні ліки. У гіршому випадку пацієнта лікують від недуги, якої вони навіть не мають, і їх організм знаходиться в непотрібному напруженні від побічних ефектів від ліків.
• Втрата ефекту. Медична особа буде ігнорувати справжні позитивні результати, якщо процедура дасть занадто багато помилкових позитивних результатів (як пояснено в інших відповідях).

Ця оцінка ризику та користі показує, що хибний негатив включає менший ризик для пацієнта, ніж хибнопозитивний. Тому пріоритет зменшення помилкових спрацьовування, як правило, вище.

Час лікаря - дорогоцінний

У галузі медицини клініцисти часто мають найрізноманітніші захворювання, щоб спробувати виявити та діагностувати, і це трудомісткий процес. Інструмент, який представляє помилковий позитив (навіть якщо це низький показник), є менш корисним, оскільки не можна довіряти цьому діагнозу, тобто кожен раз, коли він поставить такий діагноз, його потрібно перевірити. Подумайте про це як програмне забезпечення WebMD - все є ознакою раку!

Інструмент, який представляє помилкові негативи, але завжди дає справжні позитиви, набагато корисніший, оскільки клініцисту не потрібно витрачати час на подвійну перевірку чи друге вгадування діагнозу. Якщо це означає, що хтось хворий на конкретний діагноз, робота виконана. Якщо цього не відбудеться, люди, які не зазнали хвороби, все одно отримають додаткові тести.

Краще мати інструмент, який зможе точно визначити навіть одну ознаку хвороби, ніж інструмент, який, можливо, підкреслює декілька рис.

Хибнопозитивний показник (FPR), також відомий як частота помилкової тривоги (FAR); Велика помилкова позитивна швидкість може призвести до низької продуктивності системи виявлення медичних зображень. Помилковий позитив - це те, коли ви отримуєте позитивний результат для тесту, коли ви мали б отримати негативні результати. Наприклад, тест на вагітність позитивний, адже насправді людина не вагітна.

Ймовірно, всі в цій темі вже знають, що це проблема в основі байєсівського аналізу. Виключно на користь майбутніх паломників, які можуть вважати помилкові позиції якось виключно проблемою в радіології, я сподіваюся, що цей коментар надасть трохи більш загальну перспективу.