Визначте точність моделі, яка оцінює ймовірність події

Я моделюю подію з двома результатами, a і b. Я створив модель, яка оцінює ймовірність того, що відбудеться або a, або b (тобто модель обчислить, що a відбудеться з 40% шансом, а b відбудеться з 60% шансом).

Я маю великий запис результатів випробувань із оцінками моделі. Я хотів би оцінити, наскільки точно модель використовує ці дані - чи це можливо, і якщо так, то як?

predictive-models scoring-rules

— Петро
джерело

Я можу помилитися, але я думаю, що ви зацікавлені в навчанні та / або помилках тесту вашої моделі. Дивіться, наприклад: cs.ucla.edu/~falaki/pub/classification.pdf

— Stijn

@Stijn Він прогнозує ймовірність, хоча замість того, щоб безпосередньо класифікувати її як a або b, тому я не думаю, що ці показники - це те, про що він просить.

— Майкл МакГоуан

Вас більше цікавить, наскільки вдала модель в підсумку виявиться для класифікації (в такому випадку тип аналізу ROC та AUC видається найбільш релевантним ( en.wikipedia.org/wiki/Receiver_operating_characteristic )? Або вас більше цікавить розуміння того, як "відкалібровано" ймовірність прогнозу є (тобто чи P (результат = A) = 60% справді означає 60%, або просто такий результат = A є більш імовірним, ніж інші результати ...

— DavidR

Це здається, що ви хочете знати про оцінку ймовірності .

— whuber

Елвіс, стаття в нинішньому номері аналізу рішень звернув мою увагу на оцінку ймовірності. Здається, це спирається на значну літературу з цієї теми. (Я не маю доступу до реферату, однак, тому я не можу коментувати саму статтю.) Документ редакторів журналу (який є у вільному доступі ) згадує ряд попередніх статей на ту саму тему.

— whuber

Припустимо, ваша модель справді передбачає, що A має 40% шансів, а B - 60% шансів. За деяких обставин, можливо, ви хочете перетворити це в класифікацію, що відбудеться B (оскільки це швидше, ніж A). Після перетворення в класифікацію кожен прогноз є правильним чи неправильним, і існує ряд цікавих способів підрахування правильних і неправильних відповідей. Одне - пряма точність (відсоток правильних відповідей). Інші включають в себе точність і відгук або F-міра . Як уже згадували інші, ви можете подивитися на криву ROC . Крім того, ваш контекст може поставити конкретну матрицю витрат, яка винагороджує справжні позитиви інакше від справжніх негативів та / або карає помилкові позитиви по-різному від помилкових негативів.

Однак я не думаю, що це те, що ти насправді шукаєш. Якщо ви сказали, що B має 60% шансів на те, а я сказав, що це 99% шансів на те, що це трапиться, ми маємо дуже різні прогнози, хоча вони обидва будуть відображені в B у простій системі класифікації. Якщо замість цього станеться A, ви просто помиляєтесь, тоді як я дуже помиляюся, тому сподіваюся, що я отримаю більш жорстке покарання, ніж ви. Коли ваша модель фактично створює ймовірності, правило оцінювання є показником ефективності ваших прогнозів ймовірностей. Зокрема, ви, мабуть, хочете належного правила балу, тобто оцінка оптимізована для добре відкаліброваних результатів.

B S = \frac{1}{N} \sum_{t = 1}^{N} (f_{t} - o_{t})^{2}

$BS = \frac{1}{N}\sum\limits _{t=1}^{N}(f_t-o_t)^2$

f_{t}

$f_t$

o_{t}

$o_t$

Звичайно, тип вибору правила вибору може залежати від типу події, який ви намагаєтесь передбачити. Однак це повинно дати вам кілька ідей для подальшого дослідження.

Я додам застереження, що незалежно від того, що ви робите, оцінюючи свою модель таким чином, пропоную вам переглянути свій показник на вибіркових даних (тобто на дані, які не використовуються для побудови вашої моделі). Це можна зробити за допомогою перехресної перевірки . Можливо, простіше ви можете побудувати свою модель на одному наборі даних, а потім оцінити її на іншому (будьте обережні, щоб не допустити, щоб умовиводи з вибіркових моделей не розтікалися на модельне моделювання).

— Майкл Макгован
джерело