Інші об'єктивні оцінки, ніж BLUE (рішення OLS) для лінійних моделей

Для лінійної моделі рішення OLS забезпечує найкращий лінійний неупереджений оцінювач параметрів.

Звичайно, ми можемо торгувати ухилом для меншої дисперсії, наприклад, регресія хребта Але моє запитання стосується відсутності упередженості. Чи існують якісь загальноприйняті інші оцінки, які є неупередженими, але з більшою дисперсією, ніж оцінені параметри OLS?

Якби у мене був величезний набір даних, я, звичайно, міг би його відібрати і оцінити параметри з меншими даними та збільшити дисперсію. Я припускаю, що це може бути корисно гіпотетично.

Це скоріше риторичне запитання, тому що коли я прочитав про ОКРУТНІ оцінки, гірша альтернатива не надається. Я здогадуюсь, що надання гірших альтернатив також може допомогти людям краще зрозуміти силу СВІЙЛИХ оцінювачів.

— Гумео
джерело

А як щодо максимальної оцінки вірогідності? Наприклад, якщо ви вважаєте, що ваші дані відібрані з розподілу

із відносно низьким параметром свободи (

або

можуть бути характерними для фінансової віддачі), максимальний показник ймовірності не збігатиметься з OLS, але я думаю все одно було б неупереджено.

t

$t$

t (3)

$t(3)$

t (4)

$t(4)$

— Річард Харді

Відповідно: andrewgelman.com/2015/05/11/…

— b halvorsen

@ RichardHardy, я також спробував MLE з результатами, які ви очікували.

— Крістоф Ганк

Одним із прикладів, що спадає на думку, є деякий оцінювач GLS, який зважує спостереження по-різному, хоча це не обов’язково, коли допущення Гаусса-Маркова виконуються (що статистик може не знати, що має місце в цьому випадку, і, отже, застосовувати все-таки застосовує GLS).

Розглянемо випадок регресії $y_i$ , $i=1,\ldots,n$ на константі для ілюстрації (легко узагальнюється до загальних оцінок GLS). Тут $\{y_i\}$ передбачається випадковою вибіркою з популяції із середнім $\mu$ та дисперсією $\sigma^2$ .

Тоді ми знаємо , що МНК тільки , вибіркове середнє. Для того, щоб підкреслити , що кожен пункт спостереження зважених з вагою , написати це як $\hat\beta=\bar y$ $1/n$

\hat{β} = \sum_{i = 1}^{n} \frac{1}{n} y_{i} .

$\hat\beta=\sum_{i=1}^n\frac{1}{n}y_i.$ Добре відомощо

V a r (\hat{β}) = σ^{2} / n

$Var(\hat\beta)=\sigma^2/n$ .

\tilde{β} = \sum_{i = 1}^{n} w_{i} y_{i},

$\tilde\beta=\sum_{i=1}^nw_iy_i,$

\sum_{i} w_{i} = 1

$\sum_iw_i=1$

E (\sum_{i = 1}^{n} w_{i} y_{i}) = \sum_{i = 1}^{n} w_{i} E (y_{i}) = \sum_{i = 1}^{n} w_{i} μ = μ .

$E\left(\sum_{i=1}^nw_iy_i\right)=\sum_{i=1}^nw_iE(y_i)=\sum_{i=1}^nw_i\mu=\mu.$

w_{i} = 1 / n

$w_i=1/n$

i

$i$

\begin{aligned} L & = V (\tilde{β}) - λ (\sum_{i} w_{i} - 1) \\ = \sum_{i} w_{i}^{2} σ^{2} - λ (\sum_{i} w_{i} - 1), \end{aligned}

$\begin{align*} L&=V(\tilde\beta)-\lambda\left(\sum_iw_i-1\right)\\ &=\sum_iw_i^2\sigma^2-\lambda\left(\sum_iw_i-1\right), \end{align*}$

w_{i}

$w_i$

2 σ^{2} w_{i} - λ = 0

$2\sigma^2w_i-\lambda=0$

i

$i$

\partial L / \partial λ = 0

$\partial L/\partial\lambda=0$ дорівнює

\sum_{i} w_{i} - 1 = 0

$\sum_iw_i-1=0$ . Розв’язування першого набору похідних для

λ

$\lambda$ і прирівнюючи їх врожайність

w_{i} = w_{j}

$w_i=w_j$ , з чого випливає

w_{i} = 1 / n

$w_i=1/n$ мінімізує дисперсію, вимагаючи, щоб ваги дорівнювали одиниці.

Ось графічна ілюстрація з невеликого моделювання, створеного за допомогою коду нижче:

EDIT: У відповідь на пропозиції @ kjetilbhalvorsen та @ RichardHardy я також включаю медіану $y_i$ , MLE параметра розташування pf при (4) розподілі (я отримую попередження про те, In log(s) : NaNs producedщо я не перевіряв далі) та оцінку Губера в графіку.

Ми спостерігаємо, що всі оцінювачі здаються неупередженими. Однак оцінювач, який використовує ваги $w_i=(1\pm\epsilon)/n$ оскільки ваги для будь-якої половини вибірки є більш змінними, як і медіана, MLE розподілу t і Оцінювач Губера (останній лише трохи, див. також тут ).

Те, що останні три перевищують рішення OLS, не має на увазі одразу властивості BLUE (принаймні, не для мене), як це не очевидно, якщо вони є лінійними оцінниками (і я не знаю, чи MLE та Huber є неупередженими).

library(MASS)
n <- 100      
reps <- 1e6

epsilon <- 0.5
w <- c(rep((1+epsilon)/n,n/2),rep((1-epsilon)/n,n/2))

ols <- weightedestimator <- lad <- mle.t4 <- huberest <- rep(NA,reps)

for (i in 1:reps)
{
  y <- rnorm(n)
  ols[i] <- mean(y)
  weightedestimator[i] <- crossprod(w,y)  
  lad[i] <- median(y)   
  mle.t4[i] <- fitdistr(y, "t", df=4)$estimate[1]
  huberest[i] <- huber(y)$mu
}

plot(density(ols), col="purple", lwd=3, main="Kernel-estimate of density of OLS and other estimators",xlab="")
lines(density(weightedestimator), col="lightblue2", lwd=3)     
lines(density(lad), col="salmon", lwd=3)     
lines(density(mle.t4), col="green", lwd=3)
lines(density(huberest), col="#949413", lwd=3)
abline(v=0,lty=2)
legend('topright', c("OLS","weighted","median", "MLE t, 4 df", "Huber"), col=c("purple","lightblue","salmon","green", "#949413"), lwd=3)

— Крістоф Ганк
джерело

Акуратно! Я думаю, що це дуже простий показовий приклад, трохи більш загальний, ніж той, який я придумав. Коли люди дізнаються про оцінювачі в умовах частістів, я відчуваю, що подібних прикладів часто не вистачає, вони справді допомагають тобі краще зрозуміти цю концепцію.

— Гумео

Іншою можливістю можуть бути (надійні) оцінки, засновані на мінімізації таких критеріїв, як

W = \sum_{i = 1}^{n} w (e_{i})

$W=\sum_{i=1}^n w(e_i)$ де

e_{i}

$e_i$ є i-й залишковим і

w

$w$ - деяка симетрична функція, опукла або невипукла, при (глобальному) мінімумі 0,

w (0) = 0

$w(0)=0$ . Приклад може бути оцінкою Губера.

— kjetil b halvorsen

@kjetilbhalvorsen, я також включаю оцінку Губера, яка насправді справляється непогано.

— Крістоф Ганк