Я намагаюся зрозуміти стандартну помилку "кластеризації" і як виконати в R (це тривіально в Stata). У RI були невдалі, використовуючи plmабо написання власної функції. Я буду використовувати diamondsдані з ggplot2пакету.
Я можу робити фіксовані ефекти з будь-якими фіктивними змінними
> library(plyr)
> library(ggplot2)
> library(lmtest)
> library(sandwich)
> # with dummies to create fixed effects
> fe.lsdv <- lm(price ~ carat + factor(cut) + 0, data = diamonds)
> ct.lsdv <- coeftest(fe.lsdv, vcov. = vcovHC)
> ct.lsdv
t test of coefficients:
Estimate Std. Error t value Pr(>|t|)
carat 7871.082 24.892 316.207 < 2.2e-16 ***
factor(cut)Fair -3875.470 51.190 -75.707 < 2.2e-16 ***
factor(cut)Good -2755.138 26.570 -103.692 < 2.2e-16 ***
factor(cut)Very Good -2365.334 20.548 -115.111 < 2.2e-16 ***
factor(cut)Premium -2436.393 21.172 -115.075 < 2.2e-16 ***
factor(cut)Ideal -2074.546 16.092 -128.920 < 2.2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
або де-значення лівої та правої сторони (тут немає інваріантних регресорів) та виправлення ступенів свободи.
> # by demeaning with degrees of freedom correction
> diamonds <- ddply(diamonds, .(cut), transform, price.dm = price - mean(price), carat.dm = carat .... [TRUNCATED]
> fe.dm <- lm(price.dm ~ carat.dm + 0, data = diamonds)
> ct.dm <- coeftest(fe.dm, vcov. = vcovHC, df = nrow(diamonds) - 1 - 5)
> ct.dm
t test of coefficients:
Estimate Std. Error t value Pr(>|t|)
carat.dm 7871.082 24.888 316.26 < 2.2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Я не можу повторити ці результати plm, тому що у мене немає індексу "часу" (тобто це насправді не панель, а просто кластери, які можуть мати загальну зміщення в своїх помилках).
> plm.temp <- plm(price ~ carat, data = diamonds, index = "cut")
duplicate couples (time-id)
Error in pdim.default(index[[1]], index[[2]]) :
Я також спробував зашифрувати власну коваріаційну матрицю із кластеризованою стандартною помилкою, використовуючи пояснення Stata щодо їх clusterваріанта ( пояснено тут ), яке полягає у вирішенні де , si кількість кластерів, - залишкове для спостереження і - вектор рядків предикторів, включаючи постійну (це також відображається як рівняння (7.22) у даних перерізу та панелі Вулдріджа
). Але наступний код дає дуже великі матриці коваріації. Це дуже великі значення, враховуючи малу кількість кластерів, які у мене є? Зважаючи на те, що я не можу
plmзробити кластери за одним фактором, я не впевнений, як орієнтувати свій код.
> # with cluster robust se
> lm.temp <- lm(price ~ carat + factor(cut) + 0, data = diamonds)
>
> # using the model that Stata uses
> stata.clustering <- function(x, clu, res) {
+ x <- as.matrix(x)
+ clu <- as.vector(clu)
+ res <- as.vector(res)
+ fac <- unique(clu)
+ num.fac <- length(fac)
+ num.reg <- ncol(x)
+ u <- matrix(NA, nrow = num.fac, ncol = num.reg)
+ meat <- matrix(NA, nrow = num.reg, ncol = num.reg)
+
+ # outer terms (X'X)^-1
+ outer <- solve(t(x) %*% x)
+
+ # inner term sum_j u_j'u_j where u_j = sum_i e_i * x_i
+ for (i in seq(num.fac)) {
+ index.loop <- clu == fac[i]
+ res.loop <- res[index.loop]
+ x.loop <- x[clu == fac[i], ]
+ u[i, ] <- as.vector(colSums(res.loop * x.loop))
+ }
+ inner <- t(u) %*% u
+
+ #
+ V <- outer %*% inner %*% outer
+ return(V)
+ }
> x.temp <- data.frame(const = 1, diamonds[, "carat"])
> summary(lm.temp)
Call:
lm(formula = price ~ carat + factor(cut) + 0, data = diamonds)
Residuals:
Min 1Q Median 3Q Max
-17540.7 -791.6 -37.6 522.1 12721.4
Coefficients:
Estimate Std. Error t value Pr(>|t|)
carat 7871.08 13.98 563.0 <2e-16 ***
factor(cut)Fair -3875.47 40.41 -95.9 <2e-16 ***
factor(cut)Good -2755.14 24.63 -111.9 <2e-16 ***
factor(cut)Very Good -2365.33 17.78 -133.0 <2e-16 ***
factor(cut)Premium -2436.39 17.92 -136.0 <2e-16 ***
factor(cut)Ideal -2074.55 14.23 -145.8 <2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 1511 on 53934 degrees of freedom
Multiple R-squared: 0.9272, Adjusted R-squared: 0.9272
F-statistic: 1.145e+05 on 6 and 53934 DF, p-value: < 2.2e-16
> stata.clustering(x = x.temp, clu = diamonds$cut, res = lm.temp$residuals)
const diamonds....carat..
const 11352.64 -14227.44
diamonds....carat.. -14227.44 17830.22
Чи можна це зробити в R? Це досить поширена методика в економетриці (в цій лекції є короткий підручник ), але я не можу це зрозуміти в Р. Дякую!
7
@ricardh, прокляття всіх економістів за те, що вони не перевіряють, чи термін, який вони хочуть використовувати, вже використовується в статистиці. Кластер в цьому контексті означає групу і абсолютно не пов'язаний з кластерним аналізом, тому rseek дав вам непов'язані результати. Отже я видалив кластерний тег. Для аналізу даних на панелі перевіряйте пакет PLM . Він має гарну віньєтку, тож ви можете знайти те, що хочете. Що стосується вашого питання, то незрозуміло, чого ви хочете. У групових стандартних помилках?
—
mpiktas
@ricardh, це дуже допоможе, якби ви могли посилатися на якийсь посібник із Stata, де
—
mpiktas
clusterпояснюється ця опція. Я впевнений, що можна було б повторити в Р.
+1 для цього коментаря. економісти колонізують термінологію як божевільний. Хоча іноді важко вибрати лиходія. Ii пройшов деякий час, наприклад, поки я не зрозумів,
—
hans0l0
factorщо не має нічого спільного, factanalале стосується категоризованих змінних. Однак кластер в R відноситься до кластерного аналізу, k-означає просто метод розподілу: statmethods.net/advstats/cluster.html . Я не розумію вашого питання, але я також здогадуюсь, що кластер не має нічого спільного з цим.
@mpiktas, @ ran2 - Дякую! Сподіваюся, я уточнив питання. Коротше кажучи, чому "стандартне кластеризація помилок" існує, якщо це лише фіксовані ефекти, які вже існували?
—
Річард Геррон