Коли точність важливіша над відкликанням?

Чи може хтось надати мені кілька прикладів, коли важлива точність та деякі приклади, коли важливе значення має відкликання?

• Для моделювання рідкісних даних про рак злочином є все, що не пояснює помилкових негативів. Нагадаємо - кращий захід, ніж точність.
• Що стосується рекомендацій YouTube, помилкові негативи викликають менше занепокоєння. Точність тут краще.

Я можу дати вам справжній випадок, коли важливіше відкликання:

У нас тисячі безкоштовних клієнтів щотижня реєструються на нашому веб-сайті. Колектив кол-центру хоче зателефонувати їм усім, але це неможливо, тому вони просять мене вибрати тих, хто має шанси бути покупцем (з високою температурою ми так ставимося до них). Нам не байдуже називати хлопця, який не збирається купувати (тому точність не важлива), але для нас дуже важливо, щоб усі вони з високою температурою завжди були в моєму виборі, тому вони не обходяться без покупки. Це означає, що моя модель повинна мати високу віддачу , незалежно від того, чи точність піде до пекла.

Я сподіваюся, що це допомагає! Мігель.

Хоча в деяких ситуаціях відкликання може бути важливішим, ніж точність (або навпаки), вам потрібно обом отримати більш тлумачну оцінку.

Наприклад, як зазначає @SmallChess, у медичній спільноті помилковий негатив зазвичай є більш згубним, ніж хибний позитив для попередніх діагнозів. Тому можна вважати відкликання важливішим вимірюванням. Однак ви можете мати 100-відсоткове відкликання, але у вас є марна модель: якщо ваша модель завжди дає позитивний прогноз, вона матиме 100% -ве відкликання, але буде абсолютно неінформативною.

Ось чому ми розглядаємо кілька показників:

• крива точності-відкликання
• AUROC
• а іноді і такі показники, як оцінка F

Що важливіше, просто залежить від вартості кожної помилки.

Точність, як правило, передбачає прямі витрати; Чим більше помилкових позитивів у вас є, тим більше витрат на справжній позитив. Якщо ваші витрати низькі, точність не має великого значення. Наприклад, якщо у вас є 1М адреси електронної пошти, і коштуватиме 10 доларів США, щоб надіслати електронний лист на всі вони, мабуть, не варто витрачати час, щоб спробувати визначити людей, які, найімовірніше, відгукнуться, а просто спамуйте їх усіх.

Нагадаємо, з іншого боку, як правило, пов'язані з можливими витратами; ви даєте можливості кожен раз, коли у вас є хибний негатив. Отже, нагадування є найменш важливим, коли граничне значення додаткової правильної ідентифікації є невеликим, наприклад, існує декілька можливостей, між ними мало різниться, і їх можна досягти лише обмеженою кількістю. Наприклад, припустимо, ви хочете придбати яблуко. У магазині є 100 яблук, і 10 з них погані. Якщо у вас є метод розрізнення поганих яблук, який не вистачає 80% хороших, тоді ви визначите близько 18 хороших яблук. Як правило, відкликання 20% було б жахливо, але якщо ви хочете лише 5 яблук, то відсутні ці інші 72 яблука насправді не мають значення.

Тому нагадування є найважливішим, коли:

-Кількість можливостей невелика (якби було лише 10 хороших яблук, то навряд чи ви знайдете 5 хороших із коефіцієнтом відкликання лише 20%)
- Існують значні відмінності між можливостями (якщо деякі яблука кращі за інші , тоді для виходу 5 хороших яблук достатньо 20% відкликання, але вони не обов'язково будуть найкращими яблуками)
АБО
- Гранична користь від можливостей залишається високою навіть для великої кількості можливостей. Наприклад, хоча більшість покупців не отримають великої користі від більш ніж 18 хороших яблук, у магазині хотілося б продати більше 18 яблук.

Таким чином, точність буде важливішою, ніж пригадування, коли вартість акторської майстерності висока, але вартість невиконання обов'язків низька. Зауважимо, що це витрати на те, щоб діяти / не діяти на одного кандидата, а не "вартість взагалі будь-яких дій" проти "вартість взагалі не мати жодних дій". У прикладі яблук - це вартість придбання / не купівлі конкретного яблука, а не вартість придбання яблук проти вартості придбання яблук; вартість не купівлі конкретного яблука низька, оскільки є багато інших яблук. Оскільки вартість придбання поганого яблука висока, але вартість передачі конкретного хорошого яблука низька, точність у цьому прикладі важливіша. Іншим прикладом може бути найм, коли багато подібних кандидатів.

Нагадаємо, важливіша точність, коли вартість акторської майстерності невисока, але можлива вартість переходу на кандидата висока. Ось спам-приклад, який я наводив раніше (вартість пропуску електронної адреси не висока, але вартість відправлення електронного листа тому, хто не відповідає, ще нижча), і ще одним прикладом може бути визначення кандидатів на від грипу: дайте грип тому, хто цього не потребує, і коштує кілька доларів, не дайте тому, кому це потрібно, і вони можуть померти. Через це плани охорони здоров’я, як правило, пропонують усім грип грип, повністю не враховуючи точності.

Накопичення має чудову відповідь про те, як можна придумати більше прикладів, що пояснюють важливість точності над відкликанням і навпаки.

Більшість інших відповідей є переконливим для важливості пригадування, тому я подумав, що я надам приклад щодо важливості точності. Це абсолютно гіпотетичний приклад, але це робить так.

Скажемо, що модель машинного навчання створена для прогнозування того, чи є певний день сприятливим днем ​​для запуску супутників чи не залежно від погоди.

• Якщо модель випадково спрогнозує, що хороший день для запуску супутників - поганий ( хибнонегативний ), ми втрачаємо шанс запуску. Це не така велика справа.

• Однак якщо модель передбачає, що це хороший день, але насправді це поганий день для запуску супутників ( хибнопозитивний ), то супутники можуть бути знищені, а вартість збитків складе мільярди.

Це випадок, коли точність важливіша, ніж пригадування.

Мені було важко запам’ятовувати різницю між точністю і згадуванням, поки я не придумав собі цей мнемонічний:

Точність полягає у тестах на вагітність, а повторне - у центрі виклику.

Завдяки тесту на вагітність, виробник тесту повинен бути впевнений, що позитивний результат означає, що жінка справді вагітна. Люди можуть відреагувати на позитивний тест, раптово одружившись або придбавши будинок (якщо багато споживачів отримали помилкові позитивні результати і зазнали величезних витрат без жодних причин, у виробника тесту бракує клієнтів). Я отримав помилковий негативний тест на вагітність один раз, і це просто означало, що пройшло ще кілька тижнів, перш ніж я дізнався, що я вагітна ... правда в кінцевому підсумку стала ВИМОГО. (Каламбур призначений.)

Тепер сфотографуйте кол-центр для страхових претензій. Більшість шахрайських заяв озвучуються в понеділок, після того, як шахраї зв’язуються з колабораціоністами та розробляють свої складені історії ("скажімо, машину викрали") у вихідні. Що найкраще робити у понеділок страховій компанії? Можливо, вони повинні налаштовуватися на користь відкликання над точністю. Набагато краще відзначити більше претензій як позитивних (ймовірно шахрайства) для подальшого розслідування, ніж пропустити частину шахрайства та виплатити готівку, яка ніколи не повинна була бути сплачена. Неправдивий позитив (позначений для додаткової перевірки як можливого шахрайства, але втрата клієнта була реальною), ймовірно, може бути усунено шляхом призначення досвідченого регулятора, який може наполягати на поліцейському звіті, вимагати створення відеозапису про безпеку тощо. Неправдивий негативний (прийняття шахрай '

F1 чудовий, але розуміння того, як буде використовуватися тест / прогнозування, є дуже важливим, оскільки завжди існує певний ризик помилитися ... Ви хочете знати, наскільки наслідки будуть страшними, якщо вони неправильні.

Виявлення спаму електронною поштою : Це один із прикладів, коли точність важливіша за відкликання .

Швидкий підсумок :

• Точність . Це говорить про те, коли ви прогнозуєте щось позитивне, скільки разів вони насправді були позитивними. тоді як

• Нагадаємо : тут відображаються фактичні позитивні дані, скільки разів ви правильно прогнозували.

Сказавши вище, у разі виявлення спам-електронної пошти слід бути добре, якщо спам-повідомлення (позитивний випадок) не виявлено і не переходить у папку зі спамом, але якщо електронний лист хороший (негативний), він не повинен переходити до папка спаму. тобто важливіша точність. (Якщо модель передбачає щось позитивне (наприклад, спам), краще бути спамом. Інше, ви можете пропустити важливі електронні листи).

Сподіваюсь, це прояснить.