Стратегія боротьби з логістичною регресією рідкісних подій

Я хотів би вивчити рідкісні події у обмеженій популяції. Оскільки я не впевнений, яка стратегія найкраще підходить, я вдячний порадам та посиланням, пов’язаним із цим питанням, хоча, наскільки я усвідомлюю, вона в основному висвітлена. Я просто не знаю, з чого почати.

Моя проблема - це політологія, і я маю обмежену кількість населення, що складається з 515 843 записів. Вони асоціюються з бінарною залежною змінною з 513,334 "0" s та 2,509 "1" s. Я можу спробувати "1" як рідкісні події, оскільки вони становлять лише 0,49% населення.

У мене є набір з приблизно 10 незалежних змінних, з якими я хотів би побудувати модель, щоб пояснити наявність "1" s. Як і багато хто з нас, я прочитав статтю King & Zeng 2001 про виправлення рідкісних подій. Їх підхід полягав у використанні конструкції контрольного випадку, щоб зменшити кількість "0" s, а потім застосувати виправлення до перехоплення.

Однак у цій публікації йдеться про те, що аргумент Кінга та Зенга не був необхідним, якщо я вже збирав свої дані для всього населення, що є моїм випадком. Тому мені доводиться використовувати класичну модель logit. На жаль для мене, хоча я отримую хороші значущі коефіцієнти, моя модель є абсолютно марною в плані прогнозування (не спрогнозує 99,48% моїх "1" с).

Прочитавши статтю King & Zeng, я хотів спробувати дизайн контрольного випадку і вибрав лише 10% "0" з усіма "1". Маючи майже однакові коефіцієнти, модель змогла передбачити майже третину «1» s при застосуванні до повної сукупності. Звичайно, є багато хибнопозитивних.

Таким чином, у мене є три питання, які я б хотів вам задати:

1) Якщо підхід Кінга і Зенга є упередженим, коли ви володієте повним знанням населення, чому вони використовують свою статтю, щоб довести свою думку?

2) Якщо у мене хороші і значущі коефіцієнти в логітній регресії, але дуже погана прогнозова сила, чи означає це, що зміна, пояснена цією змінною, є безглуздою?

3) Який найкращий підхід для боротьби з рідкісними подіями? Я читав про модель перепродажу Кінга, підхід Фріта, точний логит і т. Д. Я мушу визнати, що я програв серед усіх цих рішень.

(1) Якщо ви "повністю знаєте населення", навіщо вам потрібна модель для прогнозування? Я підозрюю, що ви неявно розглядаєте їх як зразок гіпотетичної супернаселеності - дивіться тут і тут . Тож чи варто викидати спостереження зі свого зразка? Ні. Кінг та Зенг не виступають за це:

[...] у таких сферах, як міжнародні відносини, кількість спостережуваних 1 (таких як війни) суворо обмежена, тому в більшості застосувань найкраще зібрати всі наявні 1-ї чи велику вибірку з них. Єдине реальне рішення тоді - скільки 0 також збирати. Якщо збір значень 0 дорожчий, ми повинні зібрати стільки, скільки можемо отримати, оскільки більше даних завжди краще.

$Y$

(2) Основне питання тут полягає у використанні неправильного правила балів для оцінки прогнозованих показників вашої моделі. Припустимо, ваша модель була правдивою , так що для будь-якої людини ви знали ймовірність рідкісної події - скажімо, укушений змією в наступному місяці. Що ще ви дізнаєтесь, встановивши довільне відхилення ймовірності та передбачивши, що тих, хто над ним буде покусано, а тих, хто нижче цього не буде? Якщо ви зробите 50% відхилення, ви, швидше за все, прогнозуєте, що ніхто не покусає. Якщо ви зробите це досить низьким, ви можете передбачити, що всі покусають. І що? Розумне застосування моделі вимагає дискримінації - кому слід надати єдиний флакон проти отрути? - або калібрування - для кого варто купувати черевики, враховуючи їхню вартість, ніж вартість укусу змії?

На одному рівні мені цікаво, наскільки неточність вашої моделі полягає лише в тому, що ваш процес важко передбачити, а ваших змінних недостатньо для цього. Чи є інші змінні, які можуть пояснити більше?

З іншого боку, якщо ви можете вказати свою залежну змінну як лічильну / порядкову проблему (наприклад, жертви внаслідок конфлікту чи тривалість конфлікту), ви можете спробувати нульову завищену модель регресії чи перешкоди. Вони можуть мати одне і те ж питання про неправильне визначення між 0 і 1, але деякі конфлікти, з якими співвідносяться ваші змінні, можуть відійти від нуля.

На додаток до зменшення тиску більшості населення ви можете переоцінювати рідкісні події, але пам’ятайте, що перебіг зразка міноритарного класу може призвести до перевиконання, тому ретельно перевіряйте речі.

Цей документ може дати більше інформації про нього: Yap, Bee Wah та ін. "Застосування пересимплінгу, недооцінки, завантаження та збільшення при обробці незбалансованих наборів даних." pdf

Також я хотів би пов’язати це питання, оскільки він також обговорює те саме питання

Ваше питання зводиться до того, як я можу придумати логіт регресії, щоб знайти краще рішення. Але ви навіть впевнені, що краще рішення існує? Маючи лише десять параметрів, чи вдалося вам знайти краще рішення?

Я спробував би більш складну модель, наприклад, додавши терміни продукту на вході або додавши максимальний рівень на цільовій стороні (щоб у вас по суті було кілька логістичних регресорів для різних адаптивно виявлених підмножин цільових 1).

Чудове запитання.

На мій погляд, питання полягає в тому, чи намагаєтесь ви робити висновки (вас цікавить, про що говорять ваші коефіцієнти?) Чи передбачення. Якщо останнє, то ви можете позичити моделі у машинного навчання (BART, randomForest, підсилені дерева тощо), які майже напевно зроблять кращу роботу при прогнозуванні, ніж logit. Якщо ви робите висновок, і у вас так багато точок даних, спробуйте включити умови розумної взаємодії, поліноміальні терміни тощо. Як варіант, ви можете зробити висновки від BART, як у цьому документі:

http://artsandsciences.sc.edu/people/kernh/publications/Green%20and%20Kern%20BART.pdf

Я нещодавно робив якусь роботу над рідкісними подіями, і заздалегідь не мав уявлення, скільки рідкісних випадків може вплинути на аналіз. Вибір вибірки 0 випадків є обов'язковим. Одна з стратегій пошуку ідеальної пропорційної пропорції була б

1. Візьміть усі свої 1, скажімо, у вас їх n1.
2. Встановіть деяке значення z = кратне n1, яке ви намалюєте; можливо, почати з 5 і зменшити до 1.
3. намалюйте z * n1 0 спостережень
4. Оцініть свою модель на вибірці даних про підмножину, переконуючись, що ви перехресно перевірили цілий набір даних
5. Збережіть відповідні заходи, що вас цікавлять: коефіцієнти інтересу, AUC кривої ROC, відповідні значення в матриці плутанини тощо.
6. Повторіть кроки 2: 5 для послідовно менших zs. Ви, ймовірно, виявите, що по мірі зменшення вибірки співвідношення помилково-від’ємного і хибного позитивного (у вашому тестовому наборі) зменшиться. Тобто ви почнете прогнозувати більше 1-х, сподіваємось, це справді 1, але також багато, які насправді є 0. Якщо в цій помилковій класифікації є точка сідла, то це було б хорошим коефіцієнтом зменшення вибірки.

Сподіваюся, це допомагає. JS