У чому переваги поетапної регресії?

11

Я експериментую з поступовою регресією заради різноманітності в моєму підході до проблеми. Отже, у мене є 2 питання:

У чому переваги поетапної регресії? Які його конкретні сильні сторони?
Що ви думаєте про гібридний підхід, коли ви використовуєте поетапну регресію для вибору функцій, а потім застосовуєте звичайну регресію, збираючи всі вибрані функції разом?

regression feature-selection stepwise-regression

15

Основна перевага поетапної регресії полягає в тому, що вона обчислювально ефективна. Однак його ефективність, як правило, гірша, ніж альтернативні методи. Проблема в тому, що це занадто жадібно. Роблячи жорсткий вибір наступного регресора і «заморожуючи» вагу, він робить вибір, який є локально оптимальним на кожному кроці, але неоптимальним в цілому. І вона не може повернутись до свого попереднього вибору.

Наскільки мені відомо, ступінчаста регресія, як правило, не прихильна порівняно з $l_1$ регуляризована регресія (LASSO), яка має тенденцію до отримання кращих рішень.

Тібшірані (1996) . Регресійна усадка та відбір через Лассо

LASSO штрафує $l_1$ норма ваг, яка індукує розрідженість у розчині (багато ваг змушені до нуля). Це здійснює вибір змінних ("відповідним" змінним дозволяється мати ненульові ваги). Ступінь розрідженості контролюється терміном покарання, і для його вибору необхідно використовувати певну процедуру (перехресне підтвердження - це звичайний вибір). LASSO є більш обчислювальною, ніж ступінчаста регресія, але існує ряд ефективних алгоритмів. Деякі приклади - найменший кут регресії ( LARS ) та підхід, заснований на спуску координат .

Аналогічний підхід до того, що ви запропонували в (2), називається переслідуванням ортогональної відповідності. Це узагальнення гонитви за сумісництвом, яка називається поетапною регресією в літературі з обробки сигналів.

Pati і співавт. (1993) . Ортогональна відповідність узгодження: наближення рекурсивної функції з додатками для розкладання вейвлетів

Після кожної ітерації до активного набору додається наступний найкращий регресор. Потім ваги для всіх регресорів в активному наборі перераховуються. Через крок повторного зважування такий підхід є менш жадібним (і має кращі показники), ніж регулярний регрес у відповідність / ступінь. Але це все ще використовує жадібний евристичний пошук.

Всі ці підходи (ступінчаста регресія, LASSO та ортогональне погодження відповідності) можна розглядати як наближення до наступної проблеми:

min_{w} ‖ y - X w ‖_{2}^{2} s.t. ‖ w ‖_{0} \leq c

$\underset{w}{\min} \| y - X w \|_2^2 \quad \text{s.t. } \|w\|_0 \le c$

У контексті регресії стовпці відповідають незалежним змінним, а - залежній змінній. При обробці сигналів стовпці відповідають основним функціям, а - сигнал для наближення. Мета - знайти розріджений набір ваг які дають найкраще (найменше квадратів) наближення . норма просто підраховує кількість ненульових елементів в . На жаль, ця проблема є важкою для NP, тому алгоритми наближення повинні використовуватися на практиці. Поетапна регресія та ортогональне узгодження намагаються вирішити проблему за допомогою жадної стратегії пошуку. LASSO переформулює проблему, використовуючи розслаблення $X$ $y$ $X$ $y$ $w$ $y$ $l_0$ $w$ $l_0$ норма до норми. Тут проблема оптимізації стає опуклою (і, таким чином, простежується). І хоча проблема вже не тотожна, рішення схоже. Якщо я правильно пам'ятаю, було доведено, що і LASSO, і ортогональна гонитва за збігом реконструюють точне рішення за певних умов. $l_1$

— користувач20160
джерело

8

Поетапний відбір, як правило, не є хорошою ідеєю. Щоб зрозуміти чому, може допомогти вам прочитати мою відповідь тут: Алгоритми автоматичного вибору моделі .

Що стосується переваг, то в часи, коли пошук усіх можливих комбінацій функцій був занадто обчислювально обчислювальним, щоб обробляти комп'ютери, поетапний вибір заощаджував час і простежувався. Однак зауважте, що проблеми, обговорені в моїй зв'язаній відповіді вище, так само стосуються регресії "кращої підмножини", тому поетапно не виходить хорошого рішення, а тільки поганого рішення швидше.

Ваше уявлення про гібридний підхід було б чудово, доки друга модель (з обраними функціями) не була розміщена на новому наборі даних .

— gung - Відновити Моніку
джерело

Що стосується того, що ОП назвало "гібридним підходом" (не зовсім впевнений, чому це гібрид), ви маєте на увазі це добре в тому сенсі, що оцінки коефіцієнтів моделі для другого нового набору даних повинні бути нормальними (в той час як упереджені та проблемні для оригінальні дані), якщо новий набір даних досить великий? Звичайно, це потенційно може бути поганою моделлю, оскільки вона була обрана погано на першому наборі даних, просто її коефіцієнти будуть оцінені за менш проблемним набором даних.

— Бьорн

Крім того, все ще часто неможливо розглянути всі можливі комбінації, тому що кількість різних змінних, про які ми маємо дані, зростає навіть швидше, ніж обчислювальна потужність, і люди мають все більше і більше уявлень про те, що їх включити у свої моделі.

— Стефан Коласа

Читання цієї теми продовжує не корисно.

— Мокс

2

Я щойно взяв пошук у Google за тим, що таке Поетапна регресія. Я не впевнений, чи повністю це розумію, але ось моя перша думка

Це жадібно, тому не може дати хорошого рішення, як це робить Лассо. Я віддаю перевагу Лассо
Це простий, простий у використанні, простий у коді
Після використання ступінчастої регресії ви вже закінчуєте навчену модель, яка використовує вибрані функції, тому вам не потрібно використовувати інший крок регресії, як ви згадували як гібридний підхід

— Злий імбецил
джерело