Чи взагалі можна захищати стратифікацію набору даних за розміром залишку та проводити порівняння у двох зразках?

Це те, що я вважаю зробленим як своєрідний метод, і мені це здається дуже рибковим, але, можливо, я щось пропускаю. Я бачив це в багатьох регресіях, але давайте просто будемо робити це просто:

Тепер візьміть залишки від встановленої моделі

і стратифікувати зразок виходячи з розміру залишків. Наприклад, скажімо, що перший зразок - це 90% нижчих залишків, а другий - 10%, а потім - два порівняння вибірки - я бачив, як це робилося як на прогнокторі в моделі, і щодо змінних, які не є в моделі. Використовувана неформальна логіка полягає в тому, що, можливо, точки, які мають значення, набагато вищі, ніж ви очікували в моделі (тобто великий залишковий), певним чином відрізняються, і ця різниця досліджується таким чином.$x$

Мої думки з цього приводу:

• Якщо ви бачите в моделі 2-вибіркову різницю щодо предиктора, то виникають ефекти провісника, які не враховуються моделлю в його поточному стані (тобто нелінійні ефекти).
• Якщо ви бачите різницю в 2-х вибірках змінної не в моделі, то, можливо, вона повинна була бути в моделі в першу чергу.

Одне, що я виявив емпірично (за допомогою симуляцій), - це те, що якщо ви порівнюєте середнє значення прогноктора в моделі і таким чином стратифікуєте, щоб отримати два засоби вибірки, і , вони позитивно співвідносяться між собою. Це має сенс, оскільки обидва зразки залежать від та . Ця кореляція збільшується в міру переміщення відсікання (тобто%, який ви використовуєте для поділу вибірки). Так щонайменше, якщо ви збираєтеся зробити порівняння у двох зразках стандартної помилки в знаменнику$x$$\overline{x}_{1}$$\overline{x}_{2}$$\overline{y}, \overline{x}, \hat{\sigma}_{x}, \hat{\sigma}_{y}$$\hat{\rho}_{xy}$$t$-статистику потрібно скоригувати, щоб врахувати кореляцію (хоча я не вивів явної формули коваріації).

Як би там не було, моє основне питання: чи є обґрунтування для цього? Якщо так, то в яких ситуаціях це може бути корисно зробити? Ясна річ, я не думаю, що є, але може бути щось, про що я не думаю правильно.

Порівняння засобів занадто слабке: натомість порівняйте розподіли.

Існує також питання щодо того, чи бажаніше порівнювати розміри залишків (як зазначено) або порівнювати самі залишки. Тому я оцінюю і те, і інше.

Щоб бути конкретним щодо того, що мається на увазі, ось якийсь Rкод для порівняння даних (наведених у паралельних масивах та ) шляхом регресування y на x , ділення залишків на три групи, розрізавши їх нижче квантиля q 0 і вище квантиля q 1 > q 0 і (за допомогою графіку qq) порівнюючи розподіли значень x, пов'язаних з цими двома групами.$(x,y)$xy$y$$x$$q_0$$q_1\gt q_0$$x$

test <- function(y, x, q0, q1, abs0=abs, ...) {
  y.res <- abs0(residuals(lm(y~x)))
  y.groups <- cut(y.res, quantile(y.res, c(0,q0,q1,1)))
  x.groups <- split(x, y.groups)
  xy <- qqplot(x.groups[[1]], x.groups[[3]], plot.it=FALSE)
  lines(xy, xlab="Low residual", ylab="High residual", ...)
}

П'ятий аргумент цієї функції abs0за замовчуванням використовує розміри (абсолютні значення) залишків для формування груп. Пізніше ми можемо замінити це функцією, яка використовує самі залишки.

$x$$y$

simulate <- function(n, beta0=0, beta1=1, beta2=0, sd=1, q0=1/3, q1=2/3, abs0=abs,
                     n.trials=99, ...) {
  x <- 1:n - (n+1)/2
  y <- beta0 + beta1 * x + beta2 * x^2 + rnorm(n, sd=sd)
  plot(x,y, ylab="y", cex=0.8, pch=19, ...)
  plot(x, res <- residuals(lm(y ~ x)), cex=0.8, col="Gray", ylab="", main="Residuals")
  res.abs <- abs0(res)
  r0 <- quantile(res.abs, q0); r1 <- quantile(res.abs, q1)
  points(x[res.abs < r0], res[res.abs < r0], col="Blue")
  points(x[res.abs > r1], res[res.abs > r1], col="Red")
  plot(x,x, main="QQ Plot of X",
       xlab="Low residual", ylab="High residual",
       type="n")
  abline(0,1, col="Red", lwd=2)
  temp <- replicate(n.trials, test(beta0 + beta1 * x + beta2 * x^2 + rnorm(n, sd=sd), 
                             x, q0=q0, q1=q1, abs0=abs0, lwd=1.25, lty=3, col="Gray"))
  test(y, x, q0=q0, q1=q1, abs0=abs0, lwd=2, col="Black")
}

$y \sim \beta_0 + \beta_1 x + \beta_2 x^2$sd$q_0$$q_1$abs0n.trialsn$(x,y)$дані, їх залишки та сюжети qq множинних випробувань - щоб допомогти нам зрозуміти, як працюють запропоновані тести для даної моделі (як визначено n, бета, s та sd). Приклади цих сюжетів наведені нижче.

Давайте тепер скористаємося цими інструментами для дослідження деяких реалістичних комбінацій нелінійності та гетероседастичності, використовуючи абсолютні значення залишків:

n <- 100
beta0 <- 1
beta1 <- -1/n
sigma <- 1/n

size <- function(x) abs(x)
set.seed(17)
par(mfcol=c(3,4))
simulate(n, beta0, beta1, 0, sigma*sqrt(n), abs0=size, main="Linear Homoscedastic")
simulate(n, beta0, beta1, 0, 0.5*sigma*(n:1), abs0=size, main="Linear Heteroscedastic")
simulate(n, beta0, beta1, 1/n^2, sigma*sqrt(n), abs0=size, main="Quadratic Homoscedastic")
simulate(n, beta0, beta1, 1/n^2, 5*sigma*sqrt(1:n), abs0=size, main="Quadratic Heteroscedastic")

$x$$x$$x$

$x$$x$$x$

Зробимо те саме, використовуючи абсолютно ті самі дані , але аналізуючи самі залишки. Для цього попередній блок коду був повторно виконаний після внесення цієї модифікації:

size <- function(x) x

$x$

Можливо, поєднання обох цих методів допоможе. Ці симуляції (та їх варіації, якими зацікавлений читач може працювати на дозвіллі) демонструють, що ці прийоми не позбавлені.

$x$$(x, \hat{y}-x)$ми можемо очікувати, що запропоновані тести будуть менш потужними, ніж тести, засновані на регресії, як Breusch-Pagan .

$e_{i}$$x_i$

Інші зауважили, що це може бути лише інструментом розвідки, щоб визначити, чи слід моделювати два набори даних окремо. Якщо це так, це, можливо, інші дослідницькі підходи, можливо, буде добре. Але питання стає тоді, що робити далі? Якщо ви збираєтеся потім зробити дві окремі регресії та зробити висновки про зразки, я думаю, вам потрібно якось врахувати спосіб поділу вибірки.

Я думаю, може бути декілька мотивацій для цього, наприклад, припускаючи, що залишки є послідовними, тоді метод, який ви згадуєте, може допомогти визначити зовнішні спостереження, таким чином другий крок надає "виправлені" оцінки. Але існують більш суворі методи, які виявляють сторонніх людей або забезпечують надійні оцінки таких спостережень, як квантильні регресії, LMS (найменше медіана квадратів) або M-оцінки тощо, де всі ці методи добре визначені і відомі статистичні властивості. (Це адресовано @Michael Chernik)

Іншою мотивацією може бути ідентифікація кластера, але це примітивно в порівнянні з наявними методами виявлення кластерів, які також добре визначені та широко реалізовані.

В обох випадках використання залишків видається неформальним і примітивним, але все-таки може бути прийнято як дослідницький інструмент. Це також залежить від домену читачів. Я вважаю це прийнятним для деяких соціальних наук, де кількісні інструменти можуть бути менш популярними.