d прайм зі 100% вірогідністю потрапляння та 0% вірогідною імовірністю тривоги

Я хотів би обчислити d prime для завдання пам'яті, що передбачає виявлення старих і нових елементів. Проблема у мене полягає в тому, що деякі суб'єкти мають частоту враження 1 та / або помилкову швидкість тривоги 0, що складає ймовірності відповідно 100% та 0%.

Формула d простих є d' = z(H) - z(F), де z(H)і z(F)є z перетворення швидкості звернення і помилкової тривоги відповідно.

Для обчислення z перетворення я використовую функцію Excel NORMSINV (тобто, z(H)=NORMSINV(hit rate)). Однак якщо частота враження або помилкова частота тривоги дорівнює 1 або 0 відповідно, функція повертає помилку. Це тому, що z перетворення z, як я розумію, позначає площу під кривою ROC, що математично не передбачає 100% або 0% вірогідності. У цьому випадку я не впевнений, як обчислити d 'для суб'єктів із продуктивністю на стелі.

Один веб-сайт пропонує замінити частоту 1 і 0 на 1 - 1 / (2N) та 1 / 2N на N, максимальну кількість звернень і помилкових сигналів тривоги. Інший веб-сайт говорить: "ні H, ні F не можуть бути 0 або 1 (якщо так, відрегулюйте трохи вгору або вниз)". Це здається довільним. Хтось має думку з цього приводу чи хотів би вказати мені на потрібні ресурси?

Станіслав та Тодоров (1999) про це добре обговорили під заголовком " Хіт та помилкові темпи тривоги нуля чи одного" .

Вони обговорюють плюси і мінуси декількох методів боротьби з цими крайніми цінностями, включаючи:

• Використовуйте непараметричну статистику, наприклад замість (Craig, 1979)d $A'$$d'$

• Сукупність даних з декількох суб'єктів перед обчисленням статистики (Macmillan & Kaplan, 1985)

• додайте 0,5 як до кількості звернень, так і до кількості помилкових сигналів тривалості та додайте 1 до кількості випробувань сигналів та кількості випробувань шуму; отримав назву логістичного підходу (Hautus, 1995)

• Відрегулюйте лише крайні значення, замінивши показники 0 на та показники 1 на де - кількість випробувань сигналу чи шуму (Macmillan & Kaplan, 1985)( n - 0,5 ) / n $0.5/n$$(n-0.5)/n$$n$

Зрештою, вибір залежить від вас. Особисто я віддаю перевагу третьому підходу. Перший підхід має недолік, що менш інтерпретаційний для ваших читачів, які набагато більше знайомі з . Другий підхід може виявитися непридатним, якщо ви зацікавлені в поведінці одного предмета. Четвертий підхід є упередженим, оскільки ви не ставитесь до даних своїх даних однаково.d $A'$$d'$

Обидва сайти пропонують одне і те ж, але один створює спосіб послідовного вибору суми коригування. Це було приписано багатьом людям, але я не думаю, що хтось знає, хто насправді придумав це першим. У різних полях є різна семінарна книга або автор про виявлення сигналу. Важливо те, що обраний вами метод є розумним.

Один метод, який ви розмістили, зазвичай означає, що якби у вас був набагато більший набір елементів (2N), ви змогли б виявити хоча б одну помилку. Якщо це розумний спосіб задуматися над проблемою, тоді ви закінчите. Сумніваюсь, це для тесту пам’яті. В майбутньому ви можете підняти N, щоб переконатися, що це стане набагато рідше. Тим не менш, метод врятується, якщо розглянути його іншим способом. Ви налаштовуєте гіпотетичне середнє значення для двох запусків однакової кількості об'єктів пам'яті. У такому випадку ви говорите, що в іншому циклі експерименту (якщо припустити нові елементи або вони забули всі старі) була б помилка. Або, простіше кажучи, ви просто вибираєте половину шляху між найвищим недосконалим балом, який ви можете виміряти, і ідеальним балом.

Це проблема без простого універсального рішення. Перше питання, яке вам потрібно задати - це чи вірите ви у вашому випадку справжню ідеальну класифікацію. У такому випадку ваші дані - це ваші дані. Якщо ні, то ви вважаєте, що це просто мінливість у вибірці, що призводить до 100% звернень. Як тільки ви зробите висновок, що це так, вам доведеться розглянути розумні способи скласти оцінку того, що ви вважаєте. І тому ви повинні запитати себе, що це насправді.

Найпростіший спосіб визначити, що має бути d '- це переглянути інші дані в такому ж стані. Ви можете, можливо, оцінити, що точність для цього одного учасника знаходиться на півдорозі між наступним найкращим значенням, яке ви маєте, і 100% (що може виявитися точно таким же, як ви знайшли значення). Або це може бути якась дуже мала кількість більша. Або може просто дорівнювати найкращим значенням. Ви повинні вибрати, на вашу думку, найкращу відповідь. Тут вам може допомогти конкретніше питання.

Вам слід намагатись страхувати, що ви робите - це зробити якомога менший вплив на критерій. У вашому випадку коригування звернень та ФА призведе до того, що критерій взагалі не змінюється. Однак якщо ви коригуєте звернення, коли, скажімо, FAs = 0,2, ви повинні бути обережними, як це коригування вплине на інтерпретацію критерію. У такому разі ви зобов'язані переконатися, що кількість показів дуже висока.