Найкращий спосіб поєднання двійкової та безперервної відповіді

Я намагаюся придумати найкращий спосіб передбачити суму платежу для колекторського агентства. Залежна змінна значення є ненульовою лише тоді, коли здійснено платіж. Зрозуміло, що існує велика кількість нулів, оскільки більшість людей не можуть бути досягнуті або не можуть повернути борг.

Існує також дуже сильна негативна кореляція між сумою боргу та ймовірністю здійснення платежу. Як правило, я б створив логістичну модель для прогнозування ймовірності виплати / невиплати, але це невдалий наслідок пошуку людей з найнижчими залишками.

Чи є спосіб комбінувати логістичну модель оплати / несплати з окремою моделлю, яка передбачає суму платежу?

Ідея gui11aume побудови двоступеневої моделі - це правильний шлях, однак потрібно врахувати особливу складність вашої установки, яка полягає в дуже сильній негативній кореляції між сумою боргу та ймовірністю здійснення платежу.

Першочергове питання побудови двоступеневої моделі тут полягає в тому, що друга модель (для прогнозування боргу), побудована лише на "не нулях", будується на найбільш ймовірній випадковій вибірці населення ( тобто весь набір даних), але комбіновану модель потрібно знову застосувати до всього населення. Це означає, що друга модель повинна буде передбачати частину даних, яких вона ніколи не бачила, що призводить до втрати точності. Це називається Збір вибіркової вибірки (для огляду з точки зору ML я рекомендую Байєсівську мережеву рамку для відхилення висновку Смітом та Елканом).

Кубок KDD-98 мав справу з подібним питанням , де потрібно передбачити , буде чи, швидше за все, знову пожертвувати і скільки це може пожертвувати донор для організації ветеранів. У цьому наборі даних ймовірність повторного пожертвування негативно корелювалась із очікуваною сумою грошей. З'явилося також зміщення відбору зразків.

Рішення, яке мене найбільше вразило, можна знайти у навчанні та прийнятті рішень, коли витрати та ймовірності невідомі Б’янка Задрозний та Чарльз Елкан. Вони створили рентабельне рішення на основі виправлення Гекмана , який, наскільки мені відомо, є першим систематичним підходом для виправлення (вибірки) зміщення відбору.

Це дуже приємне запитання (+1).

Чому б не ставитись до 0, як ніби вони НС?

Ви можете додати фіктивну відповідь, яка вказує, чи були вилучені гроші ( тобто дорівнює 0, коли значення дорівнює 0, і 1, коли значення є позитивним) і помістити логістичну модель для цього бінарного відповіді з тими ж прогнозами. Вам підійдуть 2 моделі: двійковий відповідь, що використовує всі точки даних, і безперервна відповідь, використовуючи лише ненульові точки даних (відповідно до ідеї трактувати 0 як NA).

Ви все ще можете перевірити недійсність параметрів у кожній моделі та обчислити очікуване посилення за допомогою обох наборів параметрів.