Чи поступова регресія забезпечує упереджену оцінку r-квадрата населення?

У психології та інших сферах часто застосовується форма ступінчастої регресії, яка передбачає наступне:

1. Подивіться на провідники, що залишилися (спочатку їх у моделі немає) та визначте предиктор, що призводить до найбільшої зміни r-квадрата;
2. Якщо p-значення зміни r-квадрата менше альфа (зазвичай .05), тоді включіть цей предиктор і поверніться до кроку 1, інакше зупиніться.

Наприклад, див. Цю процедуру в SPSS .

Процедура регулярно критикується з широкого кола причин (див. Цю дискусію на веб-сайті Stata із посиланнями ).

Зокрема, веб-сайт Stata підсумовує кілька коментарів Френка Харрелла. Мене цікавить претензія:

[поетапна регресія] дає значення R-квадрата, які погано зміщуються до високих.

Зокрема, деякі мої сучасні дослідження зосереджені на оцінці r-квадрата населення . Під r-квадратами населення я позначаю відсоток дисперсії, пояснюваний даними популяції, що генерують рівняння в сукупності. Більшість наявної літератури, яку я переглядаю, використовувала ступінчасті методи регресії, і я хочу знати, чи надані оцінки упереджені, і якщо так, то на скільки. Зокрема, у типовому дослідженні буде 30 предикторів, n = 200, альфа введення .05 та r-квадратних оцінок приблизно в 0,50.

Що я знаю:

• Асимптотично, будь-який предиктор з ненульовим коефіцієнтом був би статистично значущим предиктором, а r-квадрат дорівнював би скоригованому r-квадрату. Таким чином, асимптотично ступінчаста регресія повинна оцінювати справжнє рівняння регресії та справжній r-квадрат популяції.
• При менших розмірах вибірки можливе опущення деяких предикторів призведе до меншого r-квадрата, ніж якщо всі прогнози були включені в модель. Але також звичне зміщення r-квадрата до вибіркових даних збільшило б r-квадрат. Отже, моя наївна думка полягає в тому, що потенційно ці дві протилежні сили можуть за певних умов призвести до об'єктивного r-квадрата. І в більш загальному напрямку напрямок зміщення залежатиме від різних особливостей даних та критеріїв включення альфа.
• Встановлення більш жорсткого критерію включення альфа (наприклад, .01, .001 тощо) повинно знижувати очікуваний розрахунковий r-квадрат, оскільки ймовірність включення будь-якого прогноктора в будь-яке покоління даних буде меншою.
• Загалом, r-квадрат - це тенденція, спрямована вперед, на збільшення популяції r-квадрата, і ступінь цього зміщення зростає при збільшенні прогнозів і менших розмірів вибірки.

Питання

Отже, нарешті, моє запитання:

• Наскільки r-квадрат від ступінчастої регресії призводить до упередженої оцінки r-квадрата сукупності?
• Наскільки ця зміщення пов'язана з розміром вибірки, кількістю предикторів, критерієм включення альфа або властивостями даних?
• Чи є посилання на цю тему?

Посилаючись на мою книгу, є література, яка показує, що для отримання майже неупередженої оцінки при здійсненні змінного вибору потрібно вставити у формулу для скоригованого R 2 кількість кандидатів- провісників, а не кількість "відібраних" предикторів . Тому ухили, викликані зміною вибору, є істотними. Можливо, ще важливіше, що вибір змінних призводить до гіршого реального R 2 та неможливості фактично знайти "правильні" змінні.$R^2$$R^2$$R^2$

Огляд

Багато дослідників обговорювали безліч проблем із поступовою регресією (наприклад, @FrankHarrell (2001) у розділі 4.3). Зокрема, Гаррелл зазначає, що "він дає величини упереджених значень " (с.56). Існує кілька можливих тлумачень цього твердження, виходячи з того, що ви вважаєте, що це оцінювання. Якщо припустити, що оцінка є деякою формою ρ $R^2$$\rho^2$ , то можна сказати наступне: Хоча це справедливо для деяких комбінацій процесу генерації даних, розміру вибірки, набору предикторів та критерію p-значення введення предиктора, це неправда у всіх випадках.

$R^2$$\rho^2$$R^2$$\rho^2$$R^2$$R^2$$R^2$$\rho^2$

$R^2$

$R^2$$\rho^2$$\rho^2$

Моделювання

Наступне моделювання має чотири некорельовані прогнози, де r-квадрат населення становить 40%. Двоє з предикторів пояснюють по 20% кожен, а інші два провісники пояснюють 0%. Моделювання генерує 1000 наборів даних і оцінює поступову регресію r-квадрата у відсотках до кожного набору даних.

# source("http://bioconductor.org/biocLite.R")
# biocLite("maSigPro") # provides stepwise regression function two.ways.stepfor 
library(maSigPro)
get_data <- function(n=100) {
    x1 <- rnorm(n, 0, 1)
    x2 <- rnorm(n, 0, 1)
    x3 <- rnorm(n, 0, 1)
    x4 <- rnorm(n, 0, 1)
    e  <- rnorm(n, 0, 1)
    y <- 1 * x1 + 1 * x2 + sqrt(3) * e
    data <- data.frame(y, x1, x2, x3, x4)
    data
}

get_rsquare <- function(x, alpha=.05) {
    fit <- two.ways.stepfor(x$y, subset(x, select=-y),  alfa=alpha)
        class(fit) <-'lm'
        summary.lm(fit)$r.square * 100
}

Наступний код повертає r-квадрат з альфа-кодом для запису .01, .001, .0001 та .00001.

set.seed(1234)
simulations <- 1000
datasets <- lapply(seq(simulations), function(X) get_data(n=100))
rsquares01 <- sapply(datasets, function(X) get_rsquare(X, alpha=.01))
rsquares001 <- sapply(datasets, function(X) get_rsquare(X, alpha=.001))
rsquares0001 <- sapply(datasets, function(X) get_rsquare(X, alpha=.0001))
rsquares00001 <- sapply(datasets, function(X) get_rsquare(X, alpha=.00001))

Наступні результати вказують на зміщення кожної з п'яти альфа-записів. Зауважте, що я помножив r-квадрат на 100, щоб легше було бачити відмінності.

mean(rsquares01) - 40 
mean(rsquares001) - 40 
mean(rsquares0001) - 40 
mean(rsquares00001) - 40 
sd(rsquares01)/sqrt(simulations) # approximate standard error in estimate of bias 

Результати дозволяють припустити, що альфа-записи в .01 та .001 призводять до позитивного зміщення, а альфа-записи в .0001 та .00001 призводять до негативного зміщення. Тож, мабуть, альфа входу навколо .0005 призведе до неупередженої поетапної регресії.

> mean(rsquares01) - 40 
[1] 1.128996
> mean(rsquares001) - 40 
[1] 0.8238992
> mean(rsquares0001) - 40 
[1] -0.9681992
> mean(rsquares00001) - 40 
[1] -5.126225
> sd(rsquares01)/sqrt(simulations) # approximate standard error in estimate of bias
[1] 0.2329339

Основний висновок, який я беру з цього, полягає в тому, що поетапна регресія за своєю суттю не є упередженою в певному напрямку. Однак це буде принаймні дещо упередженим для всіх, окрім одного p-значення запису прогнозованого пристрою. Я беру на думку @Peter Flom, що в реальному світі ми не знаємо процесу генерації даних. Однак я уявляю, що більш детальне вивчення того, як цей зміщення змінюється в залежності від n, альфа-входу, процесів генерування даних та покрокової процедури регресії (наприклад, включаючи зворотний прохід), може суттєво повідомити про розуміння такого зміщення.

Список літератури

• Harrell, FE (2001). Стратегічне моделювання регресії: із застосуванням до лінійних моделей, логістичною регресією та аналізом виживання. Спрингер.