Як працює «поетапна регресія»?

Я використовував наступний код R, щоб відповідати пробітній моделі:

p1 <- glm(natijeh ~ ., family=binomial(probit), data=data1)
stepwise(p1, direction='backward/forward', criterion='BIC')

Я хочу знати, що саме stepwiseі що потрібно backward/forwardробити, і як вибрати змінні?

Принцип поетапного відбору

1. Ви підходите до моделі з усіма бажаними змінними. Це ваша поточна найкраща модель.
2. Ви видаляєте одну змінну (або додаєте її серед змінної, яка не використовується в поточній найкращій моделі), і для кожної з них ви підходите до нової моделі, і ви порівнюєте їх з кожною над і з оригінальною відповідно до BIC (або будь-якої інший критерій, наприклад, АПК ). Ви отримуєте ще одну "поточну найкращу модель".

Ви повторюєте 2. поки не буде зменшено BIC. У вас є лише локальний мінімум BIC, що означає, що ви не можете отримати найкращу модель серед усіх можливих варіантів підмножини змінних. Але все одно їх зазвичай занадто багато, тому це спосіб трохи оптимізувати без зайвої роботи.

Дивіться також Поетапну регресію та вибір моделі у Вікіпедії.

Поетапна регресія в основному відповідає моделі регресії шляхом додавання / випадання коваріатів по одному на основі визначеного критерію (у вашому прикладі вище критерій базується на BIC).

Зазначаючи вперед, ви говорите, Rщо ви хотіли б почати з найпростішої моделі (тобто одного коваріату), а потім додавати один коваріат, зберігаючи лише ті, що призводять до вдосконалення моделей BIC.

Вказуючи назад, ви говорите, Rщо ви хочете почати з повної моделі (тобто моделі з усіма коваріатами), а потім одноразово скидати коваріати, що призводить до поліпшення BIC.

Поетапна регресія може бути дуже небезпечною статистичною процедурою, оскільки це не оптимальна процедура вибору моделі. Цей метод може призвести до дуже поганого вибору моделі, оскільки він не захищає вас від таких проблем, як багаторазове порівняння.