Чому нам потрібен оцінювач, щоб бути послідовним?

Я думаю, я вже зрозумів математичне визначення послідовного оцінювача. Виправте мене, якщо я помиляюся:

$W_n$ - послідовний оцінювач для$\theta$ якщо$\forall \epsilon>0$

Де - параметричний простір. Але я хочу зрозуміти необхідність того, щоб оцінювач був послідовним. Чому невідповідний оцінювач поганий? Чи можете ви навести кілька прикладів?$\Theta$

Я приймаю симуляції в R або python.

Якщо оцінювач не є послідовним, він не збігається з істинним значенням у ймовірності . Іншими словами, завжди є ймовірність того, що ваш оцінювач і справжнє значення матимуть різницю, незалежно від того, скільки точок даних у вас є. Це насправді погано, адже навіть якщо ви збираєте величезну кількість даних, ваша оцінка завжди матиме позитивну ймовірність бути деякими $\epsilon>0$ різними від справжнього значення. На практиці ви можете вважати цю ситуацію так, ніби ви використовуєте оцінювач такої кількості, що навіть опитування всього населення замість невеликої вибірки не допоможе вам.

Розглянемо $n = 10\,000$ спостережень зі стандартного розподілу Коші, що таке саме, як і розподіл Стьюдента з 1 ступенем свободи. Хвости цього розподілу досить важкі, що він не має сенсу; розподіл зосереджено за його середньою$\eta = 0.$

Послідовність вибірки означає $A_j = \frac 1j \sum_{i=1}^j X_i$не відповідає центру розподілу Коші. Грубо кажучи, складність полягає в тому, що дуже екстремальні спостереження$X_i$(позитивні чи негативні) відбуваються з достатньою регулярністю, що немає шансу$A_j$перейти до$\eta = 0.$($A_j$не просто повільно сходяться, вони не ' t коли-небудь збігається. Розподіл$A_j$знову стандартний Коші [доказ].)

На противагу цьому, на будь-якому етапі триваючого процесу вибірки приблизно половина спостережень $X_i$ буде лежати з обох боків $\eta,$ так що послідовність $H_j$ з медіанів вибірки дійсно сходиться до $\eta.$

Ця відсутність конвергенції $A_j$ та конвергенція $H_j$ ілюструється наступним моделюванням.

set.seed(2019)  # for reproducibility
n = 10000;  x = rt(n, 1);  j = 1:n
a = cumsum(x)/j
h = numeric(n)
for (i in 1:n) {
  h[i] = median(x[1:i])  } 
par(mfrow=c(1,2))
 plot(j,a, type="l", ylim=c(-5,5), lwd=2,
    main="Trace of Sample Mean")
  abline(h=0, col="green2")
  k = j[abs(x)>1000] 
  abline(v=k, col="red", lty="dotted")
 plot(j,h, type="l", ylim=c(-5,5), lwd=2,
     main="Trace of Sample Median")
  abline(h=0, col="green2") 
par(mfrow=c(1,1))

Ось перелік кроків, на яких $|X_i| > 1000.$ Ви можете побачити вплив деяких з цих екстремальних спостережень на середні поточні показники в графіці ліворуч (у вертикальних червоних пунктирних лініях).

k = j[abs(x)>1000]
rbind(k, round(x[k]))
   [,1] [,2] [,3]  [,4] [,5]  [,6]   [,7]  [,8]
k   291  898 1293  1602 2547  5472   6079  9158
  -5440 2502 5421 -2231 1635 -2644 -10194 -3137

Послідовність важливої ​​оцінки: У вибірці з популяції Коші середнє значення для вибірки $n = 10\,000$ спостережень не є кращими для оцінки центру$\eta$ ніж лише одне спостереження. На противагу цьому, послідовна медіана вибірки збігається до$\eta,$ тому більші вибірки дають кращі оцінки.

Дійсно простий приклад того, чому важливо думати про послідовність, на яку я не думаю, що приділяє достатньо уваги, - це надмірно спрощена модель.

В якості теоретичного прикладу припустимо, що ви хотіли встановити лінійну регресійну модель на деякі дані, в яких справжні ефекти були насправді нелінійними. Тоді ваші прогнози не можуть відповідати справжньому середньому для всіх комбінацій коваріатів, тоді як більш гнучкі можуть бути в змозі. Іншими словами, спрощена модель матиме недоліки, які неможливо подолати, використовуючи більше даних.

@BruceET вже дав чудову технічну відповідь, але хотів би додати пункт про тлумачення всього цього.

Одним із фундаментальних понять статистики є те, що в міру збільшення розміру вибірки ми можемо дійти більш точних висновків щодо нашого основного розподілу. Ви можете подумати про це як уявлення про те, що взяття великої кількості зразків виключає випадкові тремтіння даних, тому ми отримуємо кращі уявлення про базову структуру.

Прикладів теорем у цій галузі є безліч, але найбільш відомим є Закон великих чисел, стверджуючи, що якщо ми маємо сімейство iid випадкових величин $(X_i)_{i\in\mathbb{N}} \ $ і $\mathbb{E}[X_1] < \infty$, потім

Now, to require an estimator to be consistent is to demand that it also follows this rule: As its job is to estimate an unknown parameter, we would like it to converge to that parameter (read: estimate that parameter arbitrarily well) as our sample size tends to infinity.

The equation

is nothing else but convergence in probability of the random variables $W_n$ towards $\theta$, meaning that in some sense, a larger sample will get us closer and closer to the true value.

Now, if you want, you can look at it conversely: If that condition were to fail, then even with infinite sample size, there would be a "corridor" with positive width $[\theta - \varepsilon, \theta + \varepsilon]$ around $\theta$ and a nonzero probability that even with arbitrarily large sample size, our estimator will fall outside that corridor. And that would obviously violate the aforementioned idea, so consistency is a very natural condition on estimators to desire and enforce.