Прогнозування як безперервних, так і категоричних особливостей

Деякі методи моделювання прогнозування більш розроблені для роботи з безперервними прогнозами, а інші - для управління категоричними або дискретними змінними. Звичайно, існують методи перетворення одного типу в інший (дискретизація, фіктивні змінні тощо). Однак чи існують методи прогнозування моделювання, призначені для обробки обох типів введення одночасно, не просто перетворюючи тип функцій? Якщо так, то ці методи моделювання прагнуть краще працювати на даних, для яких вони є більш природними?

Найближче , що я знаю , що було б звичайно дерева рішень обробляти дискретні дані добре , і вони обробляють безперервні дані , не вимагаючи від передньої дискретизації. Однак це не зовсім те, що я шукав, оскільки ефективно розбиття на безперервні функції - це лише форма динамічної дискретизації.

Для довідки, ось деякі пов'язані, не повторювані питання:

• Як слід реалізувати розбиття дерева рішень при прогнозуванні постійних змінних?
• Чи можу я скористатися множинною регресією, коли я змішав категоричні та безперервні прогнози?
• Чи є сенс ставитись до категоричних даних як до безперервних?
• Безперервний і категоричний аналіз змінних даних

Наскільки я знаю, і я глибоко досліджував це питання в минулому, не існує методів прогнозування моделювання (поруч з деревами, XgBoost тощо), призначених для обробки обох типів введення одночасно, не просто перетворюючи тип особливостей.

Зауважте, що такі алгоритми, як Random Forest і XGBoost, приймають введення змішаних функцій, але вони застосовують певну логіку для обробки під час розщеплення вузла. Переконайтеся, що ви розумієте логіку "під капотом" і що ви добре з тим, що відбувається в чорному полі.

$u_1$$u_2$$f_i$$d(u_1,u_2 )_{f_i}=(dis-categorical(u_1,u_2 )_{f_i}$$f_i$$d(u_1,u_2 )_{f_i}=dis-numeric(u_1,u_2 )_{f_i}$$f_i$$f_i$$u_1$$u_2$

Деякі відомі функції дистанції для категоричних ознак:

• Відстань Левенштьєна (або будь-яка форма "редагування відстані")

• Найдовший загальний показник підрядності

• Відстань на говер
• І більше показників тут

Я знаю, що минуло з часу опублікування цього питання, але якщо ви все ще дивитесь на цю проблему (або подібні), можливо, ви захочете подумати про використання узагальнених моделей добавок (GAM). Я не експерт, але ці моделі дозволяють комбінувати різні моделі для створення єдиного передбачення. Процес, який використовується для пошуку коефіцієнтів для моделей, які ви вводите, вирішує для всіх їх одночасно, так що ви можете надіслати узагальнену модель добавок улюблену модель для категоричних прогнозів і вашу улюблену модель для безперервних прогнозів і отримати єдину модель, що мінімізує RSS або будь-який інший критерій помилки, який ви хочете використовувати.

На моїй голові єдиний програмний пакет, який, наскільки я знаю, має реалізацію GAM, - це мова R, але я впевнений, що є й інші.

Хоча дискретизація перетворює неперервні дані в дискретні дані, навряд чи можна сказати, що фіктивні змінні перетворюють категоричні дані в нескінченні дані. Дійсно, оскільки алгоритми можуть бути запущені на комп’ютерах, навряд чи може бути алгоритм класифікатора, який НЕ перетворює категоричні дані в фіктивні змінні.

У тому ж сенсі класифікатор в кінцевому рахунку перетворює його предиктори в дискретну змінну, що вказує на приналежність класу (навіть якщо він видає ймовірність класу, ви в кінцевому рахунку вибираєте відсічення). Фактично багато класифікаторів, такі як логістична регресія, випадковий ліс, дерева рішень та SVM, добре працюють з обома типами даних.

Я підозрюю, що важко буде знайти алгоритм, який працює з нескінченними даними, але не може обробляти категоричні дані. Зазвичай я вважаю, що це має велику різницю щодо того, який тип даних у вас є зліва від вашої моделі.

Це глибоке філософське питання, яке зазвичай вирішується як у статистичному, так і в кінці машинного навчання. Деякі кажуть, що категоризація краще для дискретного до категоріального індикатора, щоб пакети могли легко перетравити введення моделі. Інші кажуть, що бінінг може призвести до втрати інформації, але, однак, категоричні змінні можуть / повинні бути перетворені на {1,0} змінні індикатора, виходячи з останнього класу для залишків моделі.

У книзі - Прикладна лінійна регресія (Кутнер та ін.) Згадується про логіку введення змінних індикаторів у модель у перших кількох главах. Може бути і інший подібний текст.

Моя думка про це, можливо, занадто надумана: Якщо ми уявляємо категоричні змінні, такі як блоки в експериментальній конструкції, змінна індикатора є природним розширенням до аналізу даних, що не експериментують. Що стосується алгоритмів пошуку даних (сімейства дерев рішень), категоризація неминуча (або вручну, або в автоматизованому режимі binning), яка повинна подаватися в модель.

Отже, не може існувати модель, спеціалізована для числових, а також категоричних змінних таким же чином (без бінінгу чисельних чи використання категорій індикаторів).