Приклад послідовного та упередженого оцінювача?

13

Дійсно наткнувся на цей. Мені дуже хотілося б прикладу чи ситуації, коли оцінювач B був би одночасно послідовним та упередженим.

mathematical-statistics estimation econometrics

— Джиммі Вігглз
джерело

3

Це для заняття?

— Glen_b -Встановити Моніку

5

Я думаю, що пізня специфікація, яку ви шукаєте для прикладу часових рядів, перетворює це на інше запитання, оскільки це призведе до недійсності вже наданих відмінних відповідей. Але це добре - Ви можете задати нове запитання.

— Sycorax каже, що повернеться до Моніки

6

Я бачу, ви змінили своє запитання. Зважаючи на те, що декілька відповідей уже стосувалися вашого попереднього запитання, раджу змінити його та опублікувати нове запитання спеціально для моделей часових рядів.

— JohnK

3

Дивно, що навіть якщо ви запитуєте про оцінювач, пов'язаний з тимчасовим рядом, ніхто не згадував OLS для AR (1). Оцінювач є упередженим, але послідовним, і це досить легко показати (і гуглінг дасть вам багато матеріалів про це). Редагувати: видається, що запит часового ряду був пізнім доповненням, що пояснило б відсутність таких відповідей ...

— hejseb

2

Ось досить тривіальний приклад:

,

.

{\bar{X}}_{n} + ϵ / n

$\bar{X}_n + \epsilon / n$

ϵ \neq 0

$\epsilon \neq 0$

— dsaxton

23

Найпростіший приклад, який я можу придумати, - це дисперсія вибірки, яка інтуїтивно надходить для більшості з нас, а саме сума квадратичних відхилень, поділених на $n$ замість $n-1$ :

S_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$S_n^2 = \frac{1}{n} \sum_{i=1}^n \left(X_i-\bar{X} \right)^2$

Неважко показати, що $E\left(S_n^2 \right)=\frac{n-1}{n} \sigma^2$ і тому оцінювач упереджений. Але якщо припустити кінцеву дисперсію $\sigma^2$ , зауважте, що зміщення йде до нуля як $n \to \infty$ оскільки

E (S_{n}^{2}) - σ^{2} = - \frac{1}{n} σ^{2}

$E\left(S_n^2 \right)-\sigma^2 = -\frac{1}{n}\sigma^2$

Можна також показати, що дисперсія оцінювача має тенденцію до нуля, і тому оцінювач сходиться в середньому квадраті . Отже, він також збігається у ймовірності .

— ДжонК
джерело

1

Це корисний приклад, хоча він може застосувати тут досить слабку інтерпретацію "упереджених" (яка використовується дещо неоднозначно у самому питанні). Можна також попросити щось сильніше, наприклад, послідовність оцінок, яка є узгодженою, але з ухилом, яка не зникає навіть асимптотично.

— кардинал

@cardinal Ухил повинен зникати асимптотично, щоб оцінювач був послідовним, ні?

— JohnK

3

Ні. (Див. Потік коментарів для більш детальної інформації.)

— кардинал

Я думаю , що було б корисно виклик вашої оцінки

, а не

, а

найбільш зазвичай відноситься до несмещенной оцінки, в той час як

часто відноситься до зброї масового знищення.

{\hat{σ}}^{2}

$\hat \sigma^2$

S^{2}

$S^2$

S^{2}

$S^2$

{\hat{σ}}^{2}

$\hat \sigma^2$

— Кліф АВ

@CliffAB Так, саме це позначає індекс

, сума квадратичних відхилень ділиться на

, замість звичайних

.

n

$n$

n

$n$

n - 1

$n-1$

— JohnK

9

Простим прикладом може бути оцінка параметра за спостереженнями $\theta > 0$ $n$ . $y_i \sim \text{Uniform}\left[0, \,\theta\right]$

Нехай . Для будь-якого кінцевого маємо (тому оцінювач є упередженим), але в межі він буде рівний з ймовірністю одиницею (тому він є послідовним). $\hat{\theta}_n = \max\left\{y_1, \ldots, y_n\right\}$ $n$ $\mathbb{E}\left[\theta_n\right] < \theta$ $\theta$

— Адріан
джерело

6

Розглянемо будь-який неупереджений і послідовний оцінювач та послідовність сходяться до 1 ( не потрібно бути випадковим) і утворюють . Вона є упередженою, але послідовною, оскільки сходиться до 1. $T_n$ $\alpha_n$ $\alpha_n$ $\alpha_nT_n$ $\alpha_n$

З Вікіпедії:

Вільно кажучи, оцінювач параметра як кажуть, є послідовним, якщо він ймовірно збігається з істинним значенням параметра: $T_n$ $\theta$

\underset{н \to \infty}{плім} Т_{н} = θ .

$\underset{n\to\infty}{\operatorname{plim}}\;T_n = \theta.$

Тепер пригадайте, що зміщення оцінювача визначається як:

{Упередження}_{θ} [\hat{θ}] = Е_{θ} [\hat{θ}] - θ

$\operatorname{Bias}_\theta[\,\hat\theta\,] = \operatorname{E}_\theta[\,\hat{\theta}\,]-\theta$

Зсув справді не нульовий, а збіжність у ймовірності залишається вірним.

— RUser4512
джерело

Я ціную відповідь та пояснення. Зараз я краще розумію. Спасибі

— Джиммі Вігглз

Ця відповідь потребує незначного виправлення на початку, щоб зрозуміти, що не будь-який об'єктивний

не зробить. Сама вихідна послідовність оцінювача повинна відповідати.

T_{n}

$T_n$

— кардинал

2

У налаштуваннях часових рядів із залежною залежною змінною, включеною як регресор, Оцінювач OLS буде послідовним, але упередженим. Причиною цього є те, що для того, щоб виявити неупередженість ОЛС-оцінювача, нам потрібна сувора екзогенність, , тобто те, що термін помилки, , в періодінекорельований з усіма регресорами за всі періоди часу. Однак, щоб показати послідовність оцінки OLS, нам потрібна лише сучасна екзогенність, , тобто, що термін помилки, , у періодінекорельований з регресорами, у періоді. Розглянемо модель AR (1): $E\left[\varepsilon_{t}\left|x_{1},\, x_{2,},\,\ldots,\, x_{T}\right.\right]$ $\varepsilon_{t}$ $t$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$ $\varepsilon_{t}$ $t$ $x_{t}$ $t$ з відтепер. $y_{t}=\rho y_{t-1}+\varepsilon_{t},\;\varepsilon_{t}\sim N\left(0,\:\sigma_{\varepsilon}^{2}\right)$ $x_{t}=y_{t-1}$

По-перше, я показую, що сувора екзогенність не дотримується в моделі з відсталою залежною змінною, включеною в якості регресора. Подивимося на кореляцію між і $\varepsilon_{t}$ $x_{t+1}=y_{t}$

Е [ε_{т} х_{т + 1}] = Е [ε_{т} у_{т}] = Е [ε_{т} (ρ у_{т - 1} + ε_{т})]

$E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]=E\left[\varepsilon_{t}\left(\rho y_{t-1}+\varepsilon_{t}\right)\right]$

= ρ Е (ε_{т} у_{т - 1}) + Е (ε_{т}^{2})

$=\rho E\left(\varepsilon_{t}y_{t-1}\right)+E\left(\varepsilon_{t}^{2}\right)$

= Е (ε_{т}^{2}) = σ_{ε}^{2} > 0 (Е q . (1)) .

$=E\left(\varepsilon_{t}^{2}\right)=\sigma_{\varepsilon}^{2}>0 \ (Eq. (1)).$

Якщо припустити послідовну екзогенність, , тобтощо термін помилки, , в період некорреліровани з усіма регресорів в попередні періоди часу і струмуто перший доданок вище, , зникне. Зверху зрозуміло, що якщо у нас немає суворої екзогенності, очікування $E\left[\varepsilon_{t}\mid y_{1},\: y_{2},\:\ldots\ldots,y_{t-1}\right]=0$ $\varepsilon_{t}$ $t$ $\rho E\left(\varepsilon_{t}y_{t-1}\right)$ . Однак має бути зрозуміло, що сучасна екзогенність, , утримується. $E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]\neq0$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$

Тепер давайте розглянемо зміщення оцінювача OLS при оцінці зазначеної вище моделі AR (1). МНК оцінкою , визначається як: $\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{Т} \sum_{т = 1}^{Т} у_{т} у_{т - 1}}{\frac{1}{Т} \sum_{т = 1}^{Т} у_{т}^{2}} = \frac{\frac{1}{Т} \sum_{т = 1}^{Т} (ρ у_{т - 1} + ε_{т}) у_{т - 1}}{\frac{1}{Т} \sum_{т = 1}^{Т} у_{т}^{2}} = ρ + \frac{\frac{1}{Т} \sum_{т = 1}^{Т} ε_{т} у_{т - 1}}{\frac{1}{Т} \sum_{т = 1}^{Т} у_{т}^{2}} (Е q . (2))

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}} \ (Eq. (2))$

$E\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]$ $Eq. (2)$

Е [\hat{ρ} | у_{1}, у_{2,}, \dots, у_{Т - 1}] = ρ + \frac{\frac{1}{Т} \sum_{т = 1}^{Т} [ε_{т} | у_{1}, у_{2,}, \dots, у_{Т - 1}] у_{т - 1}}{\frac{1}{Т} \sum_{т = 1}^{Т} у_{т}^{2}}

$E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

$Eq. (1)$ $E\left[\varepsilon_{t}y_{t}\right]=E\left(\varepsilon_{t}^{2}\right)$ $\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq0$ $\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}\neq0$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq\rho$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}E\left(\varepsilon_{t}^{2}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=$ $\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\sigma_{\varepsilon}^{2}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

$E\left[\varepsilon_{t}\left|x_{t}\right.\right]=E\left[\varepsilon_{t}\left|y_{t-1}\right.\right]=0$ $E\left[\varepsilon_{t}x_{t}\right]=0$ $x_{t}=y_{t-1}$ $\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{Т} \sum_{т = 1}^{Т} у_{т} у_{т - 1}}{\frac{1}{Т} \sum_{т = 1}^{Т} у_{т}^{2}} = \frac{\frac{1}{Т} \sum_{т = 1}^{Т} (ρ у_{т - 1} + ε_{т}) у_{т - 1}}{\frac{1}{Т} \sum_{т = 1}^{Т} у_{т}^{2}} = ρ + \frac{\frac{1}{Т} \sum_{т = 1}^{Т} ε_{т} у_{т - 1}}{\frac{1}{Т} \sum_{т = 1}^{Т} у_{т}^{2}}

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

$plim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}=\sigma_{y}^{2}$ $\sigma_{y}^{2}$ $0<\sigma_{y}^{2}<\infty$

$T\rightarrow\infty$ $p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}=E\left[\varepsilon_{t}y_{t-1}\right]=0$

\underset{T \to \infty}{p lim \hat{ρ}} = ρ + \frac{p lim \frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{p lim \frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{0}{σ_{y}^{2}} = ρ

$\underset{T\rightarrow\infty}{p\lim\hat{\rho}}=\rho+\frac{p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{p\lim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{0}{\sigma_{y}^{2}}=\rho$

$p$ $\hat{\rho}$

— Пліскен
джерело