Чи правильно аналізувати дані виявлення сигналу без використання метрик, отриманих з теорії виявлення сигналу?

Експеримент з виявлення сигналу, як правило, представляє спостерігачеві (або діагностичній системі) сигнал або несигнал, і спостерігача пропонують повідомити, чи вважають вони, що представлений елемент є сигналом чи несигналом. Такі експерименти дають дані, які заповнюють матрицю 2x2:

Теорія виявлення сигналів являє собою такі дані, що представляють сценарій, коли рішення "сигнал / не сигнал" базується на континуумі сигналу, на якому випробування сигналу, як правило, мають більше значення, ніж випробування без сигналу, а спостерігач просто вибирає значення критерію, над яким вони повідомлять про "сигнал":

На наведеній діаграмі зелений та червоний розподіли представляють розподіл "сигнал" та "не сигнал" відповідно, а сіра лінія являє собою обраний критерієм спостерігача. Праворуч від сірої лінії область під зеленою кривою представляє хіти, а область під червоною кривою - помилкові тривоги; зліва від сірої лінії область під зеленою кривою пригнічує відсутність, а ділянка під червоною кривою представляє правильні відхилення.

Як можна уявити, згідно з цією моделлю частка відповідей, що потрапляють у кожну клітинку таблиці 2х2 вище, визначається:

1. Відносна частка випробувань, відібраних із зеленого та червоного розподілів (базовий показник)
2. Критерій, обраний спостерігачем
3. Розмежування між розподілами
4. Варіантність кожного розподілу
5. Будь-який відхід від рівності дисперсії між розподілами (рівність дисперсії зображена вище)
6. Форма кожного розподілу (обидва гауссові вище)

Часто вплив №5 та №6 можна оцінити, лише спонукавши спостерігача приймати рішення на різних рівнях критеріїв, тому ми поки що це ігноруємо. Крім того, №3 та №4 мають сенс лише відносно один одного (наприклад, наскільки велике розділення відносно змінності розподілів?), Узагальнене мірою "дискримінаційності" (також відоме як d '). Таким чином, теорія виявлення сигналів передбачає оцінку двох властивостей з даних виявлення сигналу: критерій та дискримінантність.

Однак я часто помічав, що звіти про дослідження (особливо з галузі медицини) не застосовують рамки виявлення сигналів і замість цього намагаються проаналізувати величини, такі як "Позитивне прогнозне значення", "Негативне прогнозне значення", "Чутливість" та "Специфічність" ", всі вони представляють різні граничні значення з таблиці 2х2 вище ( див. тут для розробки ).

Яку корисність надають ці граничні властивості? Моя схильність полягає в тому, щоб повністю їх знехтувати, оскільки вони заплутують теоретично незалежні впливи критеріїв та дискримінації, але, можливо, мені просто не вистачає уяви, щоб розглянути їх переваги.

Позитивний прогнозний вплив (PPV) не є хорошим заходом не тільки тому, що він змішує обидва механізми (дискримінаційність та упередженість відповідей), але і через базові ставки за статтями. Переважно використовувати задні ймовірності, такі як P (сигнал | "так"), які враховують базові ставки пункту:

$P(signal|yes) = \frac{P(signal)P(Hit)}{P(signal)P(Hit)+P(noise)P(False Alarm)}$

але ... для чого це добре ?? ну корисно для коригування критеріїв відповіді, щоб максимально / мінімізувати ймовірність конкретного результату. Таким чином, він доповнює заходи чутливості та упередженості відповіді в тому сенсі, що він допомагає узагальнити результати змін у змісті відповіді.

Порада: якщо ви дотримуєтесь матриці результатів 2x2, яка в основному дозволяє вам отримати показник чутливості, як d ', навіть не турбуйтеся з SDT і просто використовуйте Hits-False Alarms. Обидві заходи (d 'та (HF)) мають кореляцію в 0,96 (незалежно від того, які теоретики з виявлення BS можуть придумати)

сподіваюся, що це допомагає ура

Ви порівнюєте "Яка ймовірність того, що позитивний результат тесту є правильним з огляду на відомий критерій поширеності та тесту?" з "Яка чутливість та упередженість невідомої системи до різних сигналів такого типу?"

Мені здається, що обидва вони використовують схожу теорію, але вони дійсно мають дуже різні цілі. Критерій медичних тестів не має значення. Його можна встановити на відоме значення у багатьох випадках. Отже, визначати критерій тесту безглуздо згодом. Теорія виявлення сигналів найкраща для систем, де критерій невідомий. Крім того, поширеність, або сигнал, має тенденцію до фіксованого (і часто дуже малого) значення. За допомогою SDT ви часто розробляєте середнє значення d над різними сигналами, що моделюють дуже складну ситуацію як кілька простих дескрипторів. Коли критерій і сигнал фіксуються відомими величинами, може SDT сказати вам щось цікаве? Здається, багато математичної складності для вирішення принципово простішої проблеми.

Це може бути надмірним спрощенням, але специфіка та чутливість - це міра продуктивності, і вони використовуються, коли немає об'єктивних знань про природу сигналу. Я маю на увазі, що ваш графік щільності та сигнальності передбачає одну змінну, яка кількісно визначає сигнальність. Для дуже високих розмірних або нескінченномірних даних та без суворої доказової теорії механізму генерації сигналу вибір змінної нетривіальний. Тоді виникає питання, чому після вибору такої змінної такі її статистичні властивості, як середнє значення та дисперсія для сигналу та несигналу, не оцінюються кількісно. У багатьох випадках змінна може бути не просто нормальною, Пуассоною або експоненціально розподіленою. Він може бути навіть непараметричним, у цьому випадку кількісно визначаючи поділ як середню різницю за дисперсією тощо, не має великого сенсу. Крім того, велика кількість літератури в галузі біомедицини зосереджена на застосуванні, і ROC, чутливість до специфічності тощо може використовуватися як об'єктивні критерії порівняння підходів з точки зору обмеженого характеру проблеми, і в основному це все, що необхідно. Іноді люди можуть не зацікавлені в описі, скажімо, фактичного дискретного розподілу log-гамма-розподілу відношення кількості транскрипту гена1 та гена2 у хворих та контрольних суб'єктів, а важливим є лише те, чи підвищено це та наскільки відмінність фенотип або ймовірність захворювання, яку він пояснює. може використовуватися як об'єктивні критерії порівняння підходів з точки зору обмеженого характеру проблеми, і в основному це все, що потрібно. Іноді люди можуть не зацікавлені в описі, скажімо, фактичного дискретного розподілу log-гамма-розподілу відношення кількості транскрипту гена1 та гена2 у хворих та контрольних суб'єктів, а важливим є лише те, чи підвищено це та наскільки відмінність фенотип або ймовірність захворювання, яку він пояснює. може використовуватися як об'єктивні критерії порівняння підходів з точки зору обмеженого характеру проблеми, і в основному це все, що потрібно. Іноді люди можуть не зацікавлені в описі, скажімо, фактичного дискретного розподілу log-гамма-розподілу відношення кількості транскрипту гена1 та гена2 у хворих та контрольних суб'єктів, а важливим є лише те, чи підвищено це та наскільки відмінність фенотип або ймовірність захворювання, яку він пояснює.