Заміна змінних на WoE (Вага доказів) в логістичній регресії

Це питання стосовно практики чи методу, за яким дотримуються деякі мої колеги. Створюючи логістичну регресійну модель, я бачив, як люди замінюють категоричні змінні (або суцільні змінні, котрі поширюються) на відповідну Вагу доказів (WoE). Це нібито робиться для встановлення монотонного зв'язку між регресором та залежною змінною. Наскільки я розумію, щойно модель зроблена, змінні рівняння НЕ є змінними в наборі даних. Швидше, змінні в рівнянні тепер набувають свого роду важливості або ваги змінних при поділі залежної змінної !

Моє запитання: як ми інтерпретуємо модель або коефіцієнти моделі? Наприклад для наступного рівняння:

\log (\frac{p}{1 - p}) = β_{0} + β_{1} x_{1}

$\log\bigg(\frac{p}{1-p}\bigg) = \beta_0 + \beta_1x_1$

можна сказати, що є відносним збільшенням коефіцієнта непарності для збільшення на 1 одиницю змінної . $\exp(\beta_1)$ $x_1$

Але якщо змінна буде замінена її WoE, то інтерпретація буде змінена на: відносне збільшення коефіцієнта непарності на 1 одиницю збільшення ВАЖЛИВОСТІ / ВАГИ змінної

Я бачив цю практику в Інтернеті, але ніде не знайшов відповіді на це питання. Саме посилання цієї спільноти пов'язане із дещо подібним запитом, де хтось написав:

WoE відображає лінійний зв'язок із природним логарифмом коефіцієнта шансів, який є залежною змінною в логістичній регресії. Тому питання про неправильне визначення моделі не виникає при логістичній регресії, коли ми використовуємо WoE замість фактичних значень змінної.

Але я досі не отримую пояснень. Будь ласка, допоможіть мені зрозуміти, чого я пропускаю.

— СамРой
джерело

\exp (β_{1})

$\exp(\beta_1)$

x_{1}

$x_1$

x_{1}

$x_1$

β_{0}

$\beta_{0}$

Шанси p / (1-p), тому якщо p (x) = exp (𝛽0 + 𝛽1x) і p (x + 1) = exp (𝛽0 + 𝛽1x + 𝛽1) зауважимо, що p (x + 1) = exp (𝛽0 + 𝛽1x) exp (𝛽1) і, нарешті, коефіцієнт шансів p (x + 1) / p (x) = exp (𝛽1), як зазначено stats.stackexchange.com/users/7290/gung

— hwrd

Відповіді:

Метод WoE складається з двох етапів:

1 - розділити (безперервну) змінну на кілька категорій або згрупувати (дискретну) змінну на кілька категорій (і в обох випадках ви припускаєте, що всі спостереження в одній категорії мають "однаковий" вплив на залежну змінну)
2 - для обчислення WoE значення для кожної категорії (тоді вихідні значення x замінюються значеннями WoE)

Трансформація WoE має (принаймні) три позитивні ефекти:
1) Вона може перетворити незалежну змінну так, щоб встановити монотонний зв’язок із залежною змінною. Насправді це робить більше, ніж це - для забезпечення монотонних відносин досить було б "перекодувати" його до будь-якого впорядкованого заходу (наприклад, 1,2,3,4 ...), але перетворення WoE фактично замовляє категорії на "логістичному" "масштаб, що є природним для логістичної регресії
2) Для змінних із занадто великою кількістю (малонаселених) дискретних значень, їх можна об'єднати в категорії (густо заселені), і WoE може використовуватися для вираження інформації для всієї категорії
3) Ефект (уніваріантний) кожної категорії на залежній змінній можна просто порівнювати по категоріях і по змінних, оскільки WoE є стандартизованим значенням (наприклад, можна порівняти WoE одружених людей з WoE ручних працівників)

У нього також є (щонайменше) три недоліки:
1) Втрата інформації (варіація) через скорочення до кількох категорій
2) Це "універсальний" захід, тому він не враховує кореляцію між незалежними змінними
3) Це легко зробити маніпулювати ефектом змінних відповідно до способів створення категорій

Умовно, бета регресії (де х замінено на WoE) не інтерпретується сама по собі, але вони множуються з WoE, щоб отримати "бал" (наприклад, бета-версія для змінної "сімейного стану" може бути помножена на WoE з Група "одружених людей", щоб побачити оцінку одружених; бета-версію для змінної "професії" можна помножити на ВО "ручних працівників", щоб побачити кількість ручних працівників. ви підсумовуєте ці два бали і бачите, наскільки впливає на результат). Чим вище оцінка, тим більша ймовірність результату, рівна 1.

— Брано Кухран
джерело

(+1) Чому корисно перекодувати передбачувача монотонне відношення до відповіді?

— Scortchi

@Scortchi Я можу привести приклад - незалежна змінна - це зріст людей (вимірюється в см), люди ходять по магазинах для гарного одягу, залежна змінна була б бінарною подією - чи можуть вони чи не можуть придбати відповідний і зручний одяг. По-справжньому, у маленьких і дуже високих людей виникнуть труднощі з придбанням підходящого одягу, тоді як люди в середині могли це зробити легко. За допомогою простого (без взаємодій та без перетворень) регресії ви зможете лише

— продемонструвати,

Люди зазвичай не використовують немонотонні перетворення предикторів - все одно не в емпіричному моделюванні. Включаючи взаємодію, можна усунути або ввести умовні немонотонні відносини, як це можливо, включаючи інші прогноктори. Але представлення предиктора з функцією основи полінома чи сплайну є прямим способом їх дозволу; & інше - це бінінг і далі розглядає це як категоричне, використовуючи, наприклад, кодування на еталонному рівні. Останнє, принаймні, значно простіше, ніж це перетворення WoE; ніхто не поділяє шкоди для ...

— Scortchi - Відновіть Моніку

... умовивід та інтерпретація, що виникають при визначенні предиктора з точки зору відповіді; & всі дозволяють моделювати немонотонне умовне відношення навіть тоді, коли граничні відносини є монотонними (або навпаки). Я вважаю, що я переживаю, що перетворення WoE мені здається вирішенням у пошуку проблеми. Чи існує клас ситуацій, коли він дає кращі прогнози, ніж більш широко використовувані методи? - хоча це інше питання до того, на яке ви тут відповіли (можливо, stats.stackexchange.com/q/166816/17230 ).

— Scortchi

А як бути, якщо у вас вже є категоричні дані? то є єдиною перевагою "встановити монотонні відносини"? Схоже, критичний компонент WoE насправді знаходиться в процесі

— information_interchange

Раціональним для використання ВОЕ в логістичній регресії є генерування того, що іноді називають напівнаївним байєсівським класифікатором (SNBC). Початок цієї публікації в блозі досить добре пояснює: http://multithreaded.stitchfix.com/blog/2015/08/13/weight-of-evidence/

Бета-параметри в моделі - це лінійне зміщення кожного наївного ефекту (також вагомості доказів), зумовлене наявністю інших прогнокторів, і їх можна інтерпретувати як лінійну зміну коефіцієнтів журналу конкретних предикторів через наявність інші прогнози.

— Стефано
джерело

Вага доказів (WoE) - потужна техніка для здійснення змінної трансформації та відбору. Він широко застосовується при оцінці кредиту для вимірювання поділу між хорошими та поганими клієнтами (змінні). Переваги :: - Обробляє пропущені значення Обробляє переживає перетворення на основі лорритмічного значення розподілу. Немає потреби в фіктивних змінних, використовуючи належну техніку бінінгу, вона може встановити монотонний зв'язок між незалежними та залежними.

mono_bin () = використовується для числових змінних. char_bin () = використовується для змінних символів.

— Крішна75
джерело