Застосування логістичної регресії з низькою швидкістю подій

У мене є набір даних, в якому частота подій дуже низька (40 000 з ). Я застосовую логістичну регресію щодо цього. Я мав дискусію з кимось, де з'ясувалося, що логістична регресія не дасть хорошої матриці плутанини на таких низьких даних про рівень подій. Але через бізнес-проблеми та спосіб її визначення я не можу збільшити кількість подій з 40 000 до більшої кількості, хоча я погоджуюся з тим, що можу видалити деяку нерівноцінну сукупність.$12\cdot10^5$

Скажіть, будь ласка, свої думки щодо цього, зокрема:

1. Чи залежить точність логістичної регресії від швидкості подій чи є якась мінімальна кількість подій, яка рекомендується?
2. Чи існує якась спеціальна методика для даних про низьку кількість подій?
3. Чи було б видалення мого нерівноцінного населення добре для точності моєї моделі?

Я новачок у статистичному моделюванні, тому вибачте моє незнання і прошу вирішити будь-які пов'язані з цим проблеми, про які я міг би подумати.

Спасибі,

Я буду відповідати на ваші запитання не в порядку:

3 Чи було б видалення моєї нерівноправної сукупності добре для точності моєї моделі?

Кожне спостереження надасть додаткову інформацію про параметр (через функцію ймовірності). Тому немає сенсу видаляти дані, оскільки ви просто втрачаєте інформацію.

1 Чи залежить точність логістичної регресії від швидкості подій або є рекомендована мінімальна кількість подій?

Технічно так: рідкісне спостереження набагато більш інформативне (тобто функція ймовірності буде більш крутою). Якщо ваш коефіцієнт подій склав 50:50, ви отримаєте набагато більш жорсткі діапазони довіри (або достовірні інтервали, якщо ви є байєсівцями) для однакової кількості даних . Однак ви не можете вибрати свій показник подій (якщо тільки ви не займаєтесь контрольним випадком), тому вам доведеться робити те, що у вас є.

2 Чи існує якась спеціальна методика для даних про низьку кількість подій?

Найбільшою проблемою, яка може виникнути, є ідеальне розділення : це трапляється, коли якась комбінація змінних дає всі події (або всі події): у цьому випадку максимальна оцінка параметрів імовірності (та їх стандартні помилки) наближатиметься до нескінченності (хоча зазвичай алгоритм заздалегідь зупиниться). Є два можливі рішення:

а) видалення прогнозів із моделі: хоча це змусить ваш алгоритм зближуватися, ви будете видаляти змінну з найбільшою пояснювальною потужністю, тому це має сенс лише в тому випадку, якщо ваша модель була споконвічна для початку (наприклад, встановлення занадто багато складних взаємодій) .

б) використовувати певну штрафну санкцію, наприклад попередній розподіл, який призведе до зменшення оцінок до більш розумних значень.

Існує краща альтернатива видаленню nonvents для тимчасових або просторових даних: ви можете агрегувати свої дані в часі / просторі та моделювати відліки як Пуассон. Наприклад, якщо ваша подія "виверження вулкана відбувається в день X", то не багато днів буде виверження вулкана. Однак якщо ви згрупуєте дні по тижнях чи місяцях, наприклад, "кількість вивержень вулкана на X місяць", то ви зменшите кількість подій, і більшість подій матимуть ненульові значення.