tl; dr: Починаючи з набору даних, згенерованого під нуль, я перекомпонував випадки із заміною та провів перевірку гіпотез на кожному перекомпонованому наборі даних. Ці тести гіпотези відкидають нуль більше 5% часу.
нижче, дуже просте моделювання, я набори даних за допомогою , і я підходжу просту модель OLS до кожного. Потім для кожного набору даних я генерую 1000 нових наборів даних шляхом перекомпонування рядків оригінального набору даних із заміною (алгоритм, специфічно описаний у класичному тексті Девісона та Хінклі як відповідний для лінійної регресії). Для кожного з них мені підходить однакова модель OLS. Зрештою, близько 16% тестів гіпотез у зразках завантажувальної програми відкидають нуль , тоді як нам слід отримати 5% (як це робиться в оригінальних наборах даних).
Я підозрював, що це пов'язане з неодноразовими спостереженнями, що викликають завищені асоціації, тому для порівняння я спробував два інших підходи в наведеному нижче коді (прокоментував). У Способі 2 я виправляю , а потім замінюю на перекомпоновані залишки з моделі OLS на початковому наборі даних. У Способі 3 я малюю випадкову підпробову схему без заміни. Обидві ці альтернативи працюють, тобто їхні тести на гіпотезу відкидають нульові 5% часу.Y
Моє запитання: чи я правий, що винуватець неодноразових спостережень? Якщо так, враховуючи, що це стандартний підхід до завантажувального завантаження, де саме ми порушуємо стандартну теорію завантаження?
Оновлення №1: Більше моделювання
Я спробував ще більш простий сценарій, перехоплення тільки регресійну модель для . Зустрічається та ж проблема.
# note: simulation takes 5-10 min on my laptop; can reduce boot.reps
# and n.sims.run if wanted
# set the number of cores: can change this to match your machine
library(doParallel)
registerDoParallel(cores=8)
boot.reps = 1000
n.sims.run = 1000
for ( j in 1:n.sims.run ) {
# make initial dataset from which to bootstrap
# generate under null
d = data.frame( X1 = rnorm( n = 1000 ), Y1 = rnorm( n = 1000 ) )
# fit OLS to original data
mod.orig = lm( Y1 ~ X1, data = d )
bhat = coef( mod.orig )[["X1"]]
se = coef(summary(mod.orig))["X1",2]
rej = coef(summary(mod.orig))["X1",4] < 0.05
# run all bootstrap iterates
parallel.time = system.time( {
r = foreach( icount( boot.reps ), .combine=rbind ) %dopar% {
# Algorithm 6.2: Resample entire cases - FAILS
# residuals of this model are repeated, so not normal?
ids = sample( 1:nrow(d), replace=TRUE )
b = d[ ids, ]
# # Method 2: Resample just the residuals themselves - WORKS
# b = data.frame( X1 = d$X1, Y1 = sample(mod.orig$residuals, replace = TRUE) )
# # Method 3: Subsampling without replacement - WORKS
# ids = sample( 1:nrow(d), size = 500, replace=FALSE )
# b = d[ ids, ]
# save stats from bootstrap sample
mod = lm( Y1 ~ X1, data = b )
data.frame( bhat = coef( mod )[["X1"]],
se = coef(summary(mod))["X1",2],
rej = coef(summary(mod))["X1",4] < 0.05 )
}
} )[3]
###### Results for This Simulation Rep #####
r = data.frame(r)
names(r) = c( "bhat.bt", "se.bt", "rej.bt" )
# return results of each bootstrap iterate
new.rows = data.frame( bt.iterate = 1:boot.reps,
bhat.bt = r$bhat.bt,
se.bt = r$se.bt,
rej.bt = r$rej.bt )
# along with results from original sample
new.rows$bhat = bhat
new.rows$se = se
new.rows$rej = rej
# add row to output file
if ( j == 1 ) res = new.rows
else res = rbind( res, new.rows )
# res should have boot.reps rows per "j" in the for-loop
# simulation rep counter
d$sim.rep = j
} # end loop over j simulation reps
##### Analyze results #####
# dataset with only one row per simulation
s = res[ res$bt.iterate == 1, ]
# prob of rejecting within each resample
# should be 0.05
mean(res$rej.bt); mean(s$rej)
Оновлення №2: Відповідь
У коментарях та відповідях було запропоновано кілька можливостей, і я зробив більше моделювання, щоб їх емпірично перевірити. Виявляється, JWalker вірно в тому, що проблема полягає в тому, що нам потрібно було центрувати статистику завантажувальної програми за оцінкою оригінальних даних, щоб отримати правильний розподіл вибірки під . Однак я також вважаю, що коментар Ваубера про порушення припущень параметричного тесту також є правильним, хоча в цьому випадку ми дійсно отримуємо номінальні помилкові позитиви, коли ми вирішуємо проблему JWalker.