Як ми прогнозуємо рідкісні події?

Я працюю над розробкою моделі прогнозування страхового ризику. Ці моделі є "рідкісними подіями", такими як прогнозування несанкціонованого обслуговування авіакомпанії, виявлення несправностей в апараті тощо. Під час підготовки набору даних я намагався застосувати класифікацію, але не зміг отримати корисні класифікатори через велику частку негативних випадків .

Я не маю багато досвіду в статистиці та моделюванні даних поза курсом статистики середньої школи, тому я ніби не розгублений.

Як спочатку думав, я думав використовувати неоднорідну модель процесу Пуассона. Я класифікував це на основі даних про події (дата, лат., Тривалість життя), щоб отримати хорошу оцінку шансів ризику в конкретний час у конкретний день у конкретному місці.

Мені хотілося б знати, які методики / алгоритми прогнозують рідкісні події?
Що ви рекомендуєте як підхід до вирішення цієї проблеми?

— користувач3378649
джерело

Стандартний підхід - " теорія екстремальної вартості ", є чудова книга на цю тему Стюарта Коула (хоча нинішня ціна здається скоріше помилковою ... екстремальною).

Причина, по якій ви навряд чи отримаєте хороших результатів, використовуючи класифікаційні чи регресійні методи, полягає в тому, що ці методи зазвичай залежать від прогнозування умовного середнього значення даних, а екстремальні події зазвичай спричинені поєднанням "випадкових" факторів, що всі вирівнюються в одному напрямку, тому вони знаходяться в хвостах розподілу правдоподібних результатів, які зазвичай далекі від умовного середнього. Що ви можете зробити, це передбачити весь умовний розподіл, а не лише його середнє значення, і отримати деяку інформацію про ймовірність надзвичайної події, інтегруючи хвіст розподілу вище деякого порогу. Я виявив, що це добре працює у додатку щодо статистичного зменшення масштабів сильних опадів .

— Дікран Марсупіал
джерело

Чи є реалізація цієї теорії на пітоні?

— користувач3378649

Вибачте, я не програмую в Python (поки що), тому не можу там допомогти.

— Дікран Марсупіал

y

$y$

x_{1}, \dots, x_{n}

$x_1,\dots, x_n$

y > Y_{0}

$y>Y_0$

P (y > Y_{0} | x_{1}, \dots, x_{n})

$P(y>Y_0|x_1,\dots,x_n)$

E (y | x_{1}, \dots, x_{n})

$E(y|x_1,\dots,x_n)$

y > Y_{0}

$y>Y_0$

P (y > Y_{0} | x 1, \dots, x_{n})

$P(y>Y_0|x1,\dots,x_n)$

Так, ви можете це зробити, однак функція витрат, яку ви мінімізуєте, не зосереджена на отриманні хвостів права розповсюдження, тому якщо саме це вас цікавить, краще спробувати моделювати події в хвостах більш чітко .

— Дікран Марсупіал