Інтуїція індексу оцінювача сендвіч

Вікіпедія та віньєтка із сендвіч-пакету R надають хорошу інформацію про припущення, що підтримують стандартні помилки коефіцієнта OLS та математичну основу сендвіч-оцінювачів. Мені все ще не зрозуміло, як вирішується проблема гетероседастичності залишків, мабуть, тому, що я не розумію в першу чергу стандартну оцінку дисперсії коефіцієнтів OLS.

Яка інтуїція стоїть за сендвіч-оцінкою?

— Роберт Кубрик
джерело

Вам потрібно дізнатися більше про оцінку (або оцінку екстремуму, як це іноді називають в економетриці). Оцінювач сендвіч для регресії - це лише окремий випадок дуже загальної формули дельта-методу, і якщо ви розумієте останню, у вас не виникне жодних проблем з першою. Немає інтуїції в тому, що сендвіч-оцінювач не намагається моделювати гетероскедастичність або робити щось конкретне щодо цього; це просто інший оцінювач дисперсії, який працює за більш загальним набором припущень, ніж стандартний OLS-оцінювач.

M

$M$

— Стаск

@StasK Дякую! Чи знаєте ви якийсь хороший ресурс за формулами М-оцінки та дельта-методом?

— Роберт Кубрик

Монографію @ Rober Huber «Надійна статистика» варто переглянути.

— Момо

Для OLS можна уявити, що ви використовуєте оцінену дисперсію залишків (за умови незалежності та гомоскедастичності) як оцінку для умовної дисперсії s. У сендвіч-обчислювачі ви використовуєте спостережувані залишки квадрата як оцінку плагіну тієї самої дисперсії, яка може змінюватись в різних спостереженнях. $Y_i$

var (\hat{β}) = {(X^{T} X)}^{- 1} (X^{T} diag (var (Y | X)) X) {(X^{T} X)}^{- 1}

$\begin{equation} \mbox{var}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(\mbox{var}\left(Y|X\right)\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

У стандартній оцінці помилок звичайних найменших квадратів для оцінки коефіцієнта регресії умовна дисперсія результату трактується як постійна і незалежна, так що її можна оцінювати послідовно.

{\hat{var}}_{O L S} (\hat{β}) = {(X^{T} X)}^{- 1} (r^{2} X^{T} X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{OLS}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(r^2X^TX\right)\left(X^TX\right)^{-1} \end{equation}$

Для сендвіч ми знімаємо послідовну оцінку умовної дисперсії і замість цього використовуємо модуль оцінки дисперсії кожного компонента за допомогою залишкового квадрата.

{\hat{var}}_{R S E} (\hat{β}) = {(X^{T} X)}^{- 1} (X^{T} diag (r_{i}^{2}) X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{RSE}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(r_i^2\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

Використовуючи оцінку дисперсії плагіна, ми отримуємо послідовні оцінки дисперсії за теоремою центрального ліміту Ляпунова. $\hat{\beta}$

Інтуїтивно ці спостережувані залишки в квадраті будуть прибирати будь-яку незрозумілу помилку через гетероседастичність, яка в іншому випадку була б несподіваною при допущенні постійної дисперсії.

— АдамО
джерело

Це ваш останній абзац, який мені важко зрозуміти. Чи можете ви проілюструвати?

— Роберт Кубрик

Це не SE у ваших формулах, AdamO, це SE ^ 2 ... будь-яким матричним способом ви це маєте на увазі.

— Стаск

@StasK Добре. Можливо, варіація-капелюх краще. Мене плутала багатоваріантна та універсарна термінологія.

— AdamO

@RobertKubrick В останньому абзаці я вказую, що ключова відмінність оцінювачів полягає в тому, як ми представляємо умовний дисперсійний термін . У моделі лінійної регресії ми послідовно оцінюємо залишки, але за допомогою сендвіча ми просто використовуємо підключення оцінки умовної дисперсії для -го терміна з використанням залишків у квадраті. За наявності гетероседастичності точки з відносно великими залишками у квадраті мають відповідну велику оціночну дисперсію, і це зменшує їх вплив на стандартні оцінки помилок.

var (Y | X)

$\mbox{var}(Y|X)$

i

$i$

— AdamO

Редагувати: Я сказав, що оцінки OLS var включають "послідовні оцінки залишків", коли я мав на увазі "послідовну оцінку дисперсії залишків".

— AdamO