Чи корисні взаємодії лише в умовах регресії?

Я завжди читав термін взаємодія в контексті регресії. Чи слід також розглянути взаємодію з різними моделями, наприклад, knn або svm?

Якщо є , або навіть більше функцій і дозволяють сказати спостережень, який звичайний спосіб знайти корисну взаємодію? Спробуйте всі комбінації? Або використовувати лише комбінації, які мають сенс?$50$$100$$1000$

Взаємодії потрібні чітко в регресійних моделях, оскільки формула сама по собі не включає ніяких взаємодій. Точніше, регресійна модель завжди буде лінійною у своєму введенні, тоді як взаємодія - це нелінійна комбінація ознак.$X_i * X_j$

Найпростіший спосіб це побачити через XOR-задачу, регресійна модель без будь-яких взаємодій не може це вирішити, оскільки це вимагає нелінійної комбінації.

KNN та SVM з іншого боку (і багато інших моделей також) є універсальними функціональними приладами. Це означає, що вони не можуть поєднувати свої вклади лише лінійним способом, але й будь-яким можливим нелінійним способом. Якщо дано достатню кількість шарів або підходяще ядро, вони в основному можуть "створити" власну взаємодію саме так, як їм потрібно. Якщо ви знаєте чи очікуєте, що конкретні взаємодії будуть важливими, ви все одно можете використовувати їх як вхід, щоб направити моделі в правильному напрямку.

Аналогічно, моделі на основі дерев можна трактувати лише як взаємодію. В основному, розкол в деревній моделі створює специфічну взаємодію з усіма попередніми змінними.

Тож для вирішення, які взаємодії використовувати, для моделей з достатньою потужністю (тобто таких, які є універсальними аплікаторами функцій), вони вам не потрібні, і ви можете дозволити моделі робити власну магію. Для інших моделей це залежить. Існують деякі методи, які керують рішенням, наприклад, CHAID або поетапна регресія. CHAID також працює з великою кількістю функцій, для поступової регресії він може загубитися в кількості можливих взаємодій. З огляду на те, що якщо у вас функцій, можливі можливих взаємодій (рахуючи не лише двосторонні, але й взаємодії вищого порядку).2 $N$$2^N$

Немає.

Насправді ви можете подумати, що SVM з поліномним ядром додає всі (високого порядку) взаємодії між усіма функціями. Наприклад, якщо у нас є дві особливості , SVM з поліномом 2-го порядку робить .( x 2 1 , x 2 2 , x 1 x 2$(x_1,x_2)$$(x_1^2,x_2^2,x_1x_2)$

SVM називається Kernel Trick, оскільки він неявно робить поліномічне розширення бази з набагато меншою обчислювальною складністю. Подумайте про розширення полінома 10-го порядку на 10 функцій, розгорніть його вручну, буде стовпців. Але, використовуючи хитрість ядра, ми легко можемо це зробити.$10^{10}$

Отже, не тільки взаємодія широко застосовується в інших моделях. На додаток до взаємодії, інші моделі намагаються зробити більше з інженерією. Замість множення двох стовпців виводяться більш складні ознаки.

Взаємодії, які покращують скоригований R-квадрат, BIC для регресії ймовірності (альтернативно AICc та інші), VIF та F-статистику ANOVA, остання без окремих параметрів, які оцінюються без внеску, використовуючи їх часткові ймовірності.

Також дуже важливим, але не запитується, що репараметрізація може помітно поліпшити як вплив окремих змінних, так і їх взаємодії. Однак вимірювання якості BIC, AIC та інших правдоподібних показників якості не вірні для порівняння різних репатерифікацій, що залишають скориговані R-квадрат, VIF та F-статистику ANOVA для таких цілей.