Коли доцільно використовувати неправильне бальне правило?

Merkle & Steyvers (2013) пишуть:

Для формального визначення правильного бального правила нехай - імовірнісний прогноз випробування Бернуллі d з істинною ймовірністю успіху p . Правильні правила балів - це показники, очікувані значення яких мінімізовано, якщо f = p .$f$$d$$p$$f = p$

Я вважаю, що це добре, тому що ми хочемо заохотити синоптиків створювати прогнози, які чесно відображають їхні справжні переконання, і не хочуть надавати їм викривлених стимулів робити інакше.

Чи є приклади в реальному світі, в яких доцільно використовувати неправильне правило балів?

Довідка
Меркле, ЕК та Стейверс, М. (2013). Вибір строго правильного бального правила. Аналіз рішень, 10 (4), 292-304

Доцільно використовувати неправильне правило балів, коли метою є фактично прогнозування, але не висновок. Мені дуже не байдуже, чи інший синоптик обманює чи ні, коли я буду тим, хто робитиме прогноз.

Правильні оцінки балів забезпечують, що під час процесу оцінки модель наближається до справжнього процесу генерації даних (DGP). Це звучить багатообіцяюче, оскільки, коли ми наближаємось до справжнього DGP, ми також будемо робити добре в плані прогнозування за будь-якої функції збитків. Проблема полягає в тому, що більшість часу (насправді практично завжди) наш простір пошуку моделі не містить справжнього DGP. Ми в кінцевому підсумку наближаємо справжній DGP до певної функціональної форми, яку ми пропонуємо.

У цій більш реалістичній обстановці, якщо наше завдання прогнозування легше, ніж з'ясувати всю щільність справжнього DGP, ми можемо насправді зробити краще. Особливо це стосується класифікації. Наприклад, справжній DGP може бути дуже складним, але завдання класифікації може бути дуже простим.

Ярослав Булатов подав такий приклад у своєму блозі:

http://yaroslavvb.blogspot.ro/2007/06/log-loss-or-hinge-loss.html

$x \ge 0$$x < 0$

Замість того, щоб відповідати точній щільності вище, ми пропонуємо нижню грубу модель, що досить далеко від справжньої DGP. Однак це ідеальна класифікація. Це з’ясовується за допомогою втрати шарніру, що не належно.

З іншого боку, якщо ви вирішили знайти справжній DGP з втратою журналу (що є належним), тоді ви почнете встановлювати деякі функціонали, оскільки ви не знаєте, яка саме функціональна форма вам потрібна апріорі. Але як ви намагаєтеся все сильніше і складніше відповідати, ви починаєте неправильно класифікувати речі.

Зауважимо, що в обох випадках ми використовували однакові функціональні форми. У випадку неправильного збитку це переросло у ступінчасту функцію, яка, у свою чергу, зробила ідеальну класифікацію. У правильному випадку берсерк намагався задовольнити кожну область густини.

В основному нам не завжди потрібно досягти справжньої моделі, щоб мати точні прогнози. Або іноді нам не потрібно робити добро в цілому домені густини, але бути дуже хорошим лише на певних його частинах.

Точність (тобто відсоток, правильно класифікований) - це неправильне оцінювальне правило, тому в деякому сенсі люди це роблять постійно.

Загалом, будь-яке правило оцінювання, яке змушує прогнозувати заздалегідь визначену категорію, буде неправильним. Класифікація є крайнім випадком цього (єдині допустимі прогнози - 0% та 100%), але прогноз погоди, ймовірно, також дещо неправильний - мої місцеві станції, здається, повідомляють про ймовірність дощу через інтервали 10 або 20%, хоча я Гадаю, основна модель набагато точніша.

Правильні правила балів також передбачають, що синоптик нейтральний до ризику. Це часто не стосується справжніх прогнозів для людей, які, як правило, сприятливі для ризику, і деякі програми можуть отримати користь від правила балів, який відтворює цю зміщення. Наприклад, ви можете надати П (дощу) трохи зайвої ваги, оскільки носите парасольку, але не потребуєте цього - набагато краще, ніж потрапляти у вилив.