Чи фіксують дерева CART взаємодії між передбачувачами?

У цьому документі стверджується, що в CART, оскільки бінарний розкол виконується по одному коваріату на кожному кроці, всі розщеплення є ортогональними, тому взаємодії між коваріатами не враховуються.

Однак багато дуже серйозних посилань стверджують, навпаки, що ієрархічна структура дерева гарантує, що взаємодія між предикторами буде автоматично змодельована (наприклад, цей документ , і звичайно Хасті).

Хто прав? Чи фіксують дерева, вирощені CART, взаємодію між вхідними змінними?

CART може фіксувати ефекти взаємодії. Ефект взаємодії між$X_1$ і $X_2$ виникає, коли дія пояснювальної змінної $X_1$ на змінну відповіді $Y$ залежить від рівня $X_2$. Це відбувається в наступному прикладі:

Ефект поганих економічних умов (назвіть це $X_1$) залежить від типу будівлі, що купується ($X_2$). Інвестуючи в офісну будівлю, погані економічні умови знижують прогнозовану вартість інвестиції на 140 000 доларів. Але при інвестуванні в багатоквартирний будинок прогнозована вартість інвестиції зменшується на 20 000 доларів. Вплив поганих економічних умов на прогнозовану вартість ваших інвестицій залежить від типу нерухомості, що купується. Це ефект взаємодії.

Коротка відповідь

CARTs потребують допомоги у захопленні взаємодій.

Довга відповідь

Візьміть точний жадібний алгоритм (Chen and Guestrin, 2016):

Середнє значення на листі буде умовним очікуванням, але кожен розкол на шляху до листочка не залежить від іншого. Якщо функція A сама по собі не має значення, але вона має значення при взаємодії з Feature B, алгоритм не розділиться на Feature A. Без цього розщеплення алгоритм не може передбачити розщеплення на Feature B, необхідного для генерації взаємодії.

Дерева можуть вибирати взаємодії за найпростішими сценаріями. Якщо у вас є набір даних з двома функціями$x_1, x_2$ і націлити $y = XOR(x_1, x_2)$, алгоритм не має на чому розділити, але $x_1$ і $x_2$, отже, у вас вийде чотири листки $XOR$ оцінено належним чином.

Завдяки безлічі функцій, регуляризації та жорсткого обмеження кількості розщеплень, той самий алгоритм може опускати взаємодії.

Обхідні шляхи

Явні взаємодії як нові функції

Приклад з Чжан ("Виграші змагання з наукових даних", 2015):

Алгоритми неживого дерева

В іншому запитанні Сімоне пропонує алгоритми на основі пошуку та косі дерева рішень .

Інший підхід до навчання

Деякі методи навчання краще обробляють взаємодію.

Ось таблиця з «Елементи статистичного навчання» (рядок «Здатність до вилучення лінійних комбінацій ознак»):