Вибір серед правильних правил скорингу

Більшість ресурсів на правильних правилах балів згадує низку різних правил скорингу, такі як втрата журналу, оцінка Brier або сферичне оцінювання. Однак вони часто не дають великих рекомендацій щодо відмінностей між ними. (Виставка А: Вікіпедія .)

Вибір моделі, яка максимально збільшує логарифмічну оцінку, відповідає вибору моделі максимальної ймовірності, що здається хорошим аргументом для використання логарифмічного оцінювання. Чи існують подібні обґрунтування для Brier або сферичного балу чи інших правил скорингу? Чому б хтось використовував одне з них, а не логарифмічне оцінювання?

— Бен Кун
джерело

Деякі підказки є у номенклатурі. "Вартість функціональних" - це оптимізація або оптимальна інженерія системи управління Немає "найкращого". Мати "добро" означає, що ти повинен мати міру доброти. Існує нескінченна кількість сімей мірок добра. Тривіальний приклад: який найкращий шлях? Якщо ви йдете до свого виконання - зробіть це довго приємним. Якщо ви збираєтеся на металеві поля, зробіть це найкоротшим. Експертиза системи допомагає вибрати міру доброти. Коли у вас є міра добра, то ви можете знайти "найкраще".

— EngrStudent

Можливо, вас зацікавлять Меркле та Стейверс, "Вибір суворо правильного правила балів" (2013, Аналіз рішень ) .

— S. Kolassa - Відновити Моніку

Я взяв на себе сміливість редагувати заголовок, щоб зробити його більш точним / інформативним. Якщо я неправильно трактував це, вибачте і не соромтесь повернути назад зміни.

— Річард Харді

Чому б хтось використовував одне з них, а не логарифмічне оцінювання?

Тому в ідеалі ми завжди відрізняємо підходящу модель від прийняття рішення . У методі Баєса, підрахунок та вибір моделі завжди слід проводити з граничною ймовірністю . Потім ви використовуєте модель для того, щоб робити імовірні прогнози, і ваша функція втрат підказує, як діяти на цих прогнозах.

На жаль, в реальному світі обчислювальна продуктивність часто диктує, що ми поєднуємо вибір моделей і прийняття рішень, і тому використовуємо функцію втрат, щоб відповідати нашим моделям. Ось тут суб’єктивність у виборі моделі проникає, тому що ви повинні здогадатися, скільки коштуватимуть різні види помилок. Класичний приклад - це діагностика раку: переоцінювати чиюсь ймовірність раку - це не добре, але недооцінювати його набагато гірше.

Як осторонь, якщо ви шукаєте вказівки щодо вибору правила зарахування балів, ви також можете шукати вказівки щодо вибору функції втрат або розробки функції корисності, так як я вважаю, що література з цих двох тем є багато більш об’ємний.

— Енді Джонс
джерело

1) Ви хочете сказати, що оцінка Brier є по суті "функцією втрати в маскуванні" - тобто, хоча вона маскується як правило корисного функціонування-агностичного скорингу / порівняння, воно фактично використовується, оскільки люди мають специфічні уподобання щодо типів помилки, які робить модель?

— Бен Кун

2) Чи є у вас конкретні приклади налаштувань, в яких хтось може з цих причин обрати Brier або сферичне оцінювання за шкалою журналу (= гранична ймовірність, наскільки я це розумію)?

— Бен Кун

3) Чому б краще виконати свої припущення щодо функцій втрат / корисних функцій у моделі, ніж підходити до граничної ймовірності та використовувати свою функцію втрати / корисності при фактичному прийнятті рішення? Схоже, що в ідеальних алгоритмах навчання між ними не повинно бути розривів.

— Бен Кун

1) Так. 2) Не особисто, ні. Правила підрахунку балів не є «модними» в бітці ML, в якому я працюю. Швидко поцікавившись в Академії , здається, вони взагалі трохи застаріли. Цей документ виглядає так, що вам це буде цікаво. 3) Під виконанням я мав на увазі "обчислювальну продуктивність", а не "прогнозовану ефективність".

— Енді Джонс