Є OLS асимптотично ефективним при гетеросцедастичності

Я знаю, що OLS є неупередженим, але неефективним при гетеросцедастичності в умовах лінійної регресії.

У Вікіпедії

http://en.wikipedia.org/wiki/Minimum_mean_square_error

Оцінювач MMSE є асимптотично неупередженим і він переходить у розподіл до нормального розподілу: $\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right)$ , де I (x) - інформація про Фішера з x. Таким чином, оцінювач MMSE є асимптотично ефективним.

Стверджується, що MMSE є асимптотично ефективним. Я тут трохи розгублений.

Чи означає це, що OLS не є ефективним у кінцевій вибірці, але ефективний асимптотично в умовах гетероседастичності?

Критика нинішніх відповідей: На сьогодні запропоновані відповіді не стосуються обмежуючого розподілу.

Спасибі заздалегідь

least-squares heteroscedasticity efficiency

— Cagdas Ozgenc
джерело

Це досить довга стаття у Вікіпедії. Оскільки, окрім того, вони можуть бути змінені, чи не заперечуєте ви, цитуючи уривок, що викликає плутанину?

— hejseb

Інформація про Фішера походить від функції ймовірності. Отже, це неявно означає, що ймовірність була визначена правильно. Тобто твердження, з яким ви посилаєтесь, передбачає, що якщо є якась гетероседастичність, регресія була зважена таким чином, щоб гетероседастичність була правильно вказана. Дивіться en.wikipedia.org/wiki/Least_squares#Weighted_least_squares . На практиці ми часто не знаємо форми гетероседастичності, тому ми іноді приймаємо неефективність, а не ризикуємо змістити регресію, пропустивши уточнення схем зважування.

— Захарій Блюменфельд

@ZacharyBlumenfeld В статті не було припущення про розподіл x. Як ми закінчилися інформацією про Фішера?

— Cagdas Ozgenc

Дивіться en.wikipedia.org/wiki/Fisher_information Стаття передбачає поширення на

x

$x$ і

e

$e$ коли він приймає очікування в розділі визначення. Зауважимо, що гомоскедастичності там ніколи не передбачалося. У контексті OLS передбачається гомосдедактичність

e \sim N (0, σ I)

$\mathbf{e} \sim N(0,\sigma I)$ ,

I

$I$ матриця ідентичності Гетероцедактичність дозволяє

e \sim N (0, D)

$\mathbf{e} \sim N(0,D)$ , будь-який

D

$D$ діагоналі Позитивні напіввизначені. Використання

D

$D$ це призведе до отримання іншої інформації про Фішера, ніж використання

σ I

$\sigma I$ .

— Захарій Блюменфельд

де я можу побачити доказ цього факту, що "MMSE переходить у розподіл до нормального розподілу?"

— Хаджір

Відповіді:

Стаття ніколи не передбачала гомоскадастичності у визначенні. Якщо говорити про це в контексті статті, то гомосекастичність буде сказати

Е {(\hat{х} - х) (\hat{х} - х)^{Т}} = σ Я

$E\{(\hat x-x)(\hat x-x)^T\}=\sigma I$ Де

I

$I$ є

n \times n

$n\times n$ матриця ідентичності та

σ

$\sigma$ - скалярне додатне число. Гетероскадастичність дозволяє

Е {(\hat{х} - х) (\hat{х} - х)^{Т}} = D

$E\{(\hat x-x)(\hat x-x)^T\}=D$

Будь-який $D$ діаганол позитивний визначений. Стаття визначає коваріаційну матрицю найбільш загальним способом, як центрований другий момент деякого неявного багатовимірного розподілу. ми повинні знати багатоваріантність розподілу $e$ для отримання асимптотично ефективної та послідовної оцінки $\hat x$ . Це відбуватиметься від функції вірогідності (яка є обов'язковою складовою задньої частини). Наприклад, припустимо $e \sim N(0,\Sigma)$ (тобто $E\{(\hat x-x)(\hat x-x)^T\}=\Sigma$ . Тоді функція мається на увазі ймовірність

журнал [L] = журнал [ϕ (\hat{х} - х, Σ)]

$\log[L]=\log[\phi(\hat x -x, \Sigma)]$ Де

ϕ

$\phi$ - це багатофакторний звичайний pdf.

Матриця інформації про рибалка може бути записана як

Я (х) = Е [(\frac{\partial}{\partial х} журнал [L])^{2} | х]

$I(x)=E\bigg[\bigg(\frac{\partial}{\partial x}\log[L]\bigg)^2 \,\bigg|\,x \bigg]$ див. en.wikipedia.org/wiki/Fisher_information для отримання додаткової інформації. Саме звідси ми можемо вивести

\sqrt{н} (\hat{х} - х) \to^{г} N (0, Я^{- 1} (х))

$\sqrt{n}(\hat x -x) \rightarrow^d N(0, I^{-1}(x))$ Вищезазначене використовує квадратичну функцію втрат, але не передбачає гомоскедастичності.

У контексті OLS, де ми регресуємо $y$ на $x$ ми припускаємо

Е {у | х} = х^{'} β

$E\{y|x\}=x'\beta$ Мається на увазі ймовірність

журнал [L] = журнал [ϕ (у - х^{'} β, σ Я)]

$\log[L]=\log[\phi(y-x'\beta, \sigma I)]$ Що може бути зручно переписати як

журнал [L] = \sum_{i = 1}^{н} журнал [φ (у - х^{'} β, σ)]

$\log[L]=\sum_{i=1}^n\log[\varphi(y-x'\beta, \sigma)]$

φ

$\varphi$ універсальний звичайний pdf. Інформація про рибалки - це тоді

Я (β) = [σ (х х^{'})^{- 1}]^{- 1}

$I(\beta)=[\sigma (xx')^{-1}]^{-1}$

Якщо гомоскедастичність не відповідає, то вказана інформація про Фішера пропущена (але функція умовного очікування все-таки правильна), тому оцінки $\beta$ буде послідовним, але неефективним. Ми могли б переписати ймовірність для обліку heteroskacticity і регресія є ефективним тобто ми можемо написати

журнал [L] = журнал [ϕ (у - х^{'} β, D)]

$\log[L]=\log[\phi(y-x'\beta, D)]$ Це еквівалентно певним формам узагальнених найменших квадратів, наприклад, зважених найменших квадратів. Тим НЕ менше, це буде змінити інформаційну матрицю Фішера. На практиці ми часто не знаємо форми гетероседастичності, тому ми іноді вважаємо за краще сприймати неефективність, а не шанс змінити регресію, пропустивши уточнення схем зважування. У таких випадках асимптотична коваріація

β

$\beta$ не є

\frac{1}{n} I^{- 1} (β)

$\frac{1}{n}I^{-1}(\beta)$ як зазначено вище.

— Захарій Блуменфельд
джерело

Дякую за весь витрачений час. Однак я думаю, що вхід у вікі - це суцільне лайно. MMSE не дасть ефективності, і ніде не вказано, що зразки зважуються належним чином. Більше того, навіть якщо припустити, що зразки зважуються, це все ще не є ефективним оцінником, якщо розподіл не є гауссовим, який також не вказаний.

— Cagdas Ozgenc

@CagdasOzgenc з повагою не погоджуюся. Стаття викладена в загальному байєсівському стилі, що може включати регресію, але також і багато інших моделей (схоже, вона спрямована більше на фільтр Кальмана). Ймовірність є найефективнішим оцінювачем, коли відомо, це основна властивість ймовірності. Ваша відповідь суворо стосується підмножини регресійних моделей (хоча і серед моделей, що найбільш широко застосовуються), де нормальність передбачається при виведенні умов першого порядку.

— Захарій Блуменфельд

Ви самі це сказали. На жаль, стаття не стосується оцінки ймовірності. Це оцінювач мінімальної середньої площі, який ефективний, коли виконуються певні умови.

— Cagdas Ozgenc

Гаразд, я згоден не погоджуватися :) Можливо, існує визначення конфлікту між визначенням MMSE між тим, як він використовується у частоті регресії, і як він застосовується тут у більш байєсівських умовах. Можливо, їм слід винайти нову назву. Тим не менш, ймовірність (або, можливо, інші непараметричні оцінки) маються на увазі, коли приймаються незалежні очікування щодо кожної окремої залишкової площі. особливо в байєсівській обстановці (інакше як би ми це оцінили?). Після Googling я знайшов багато подібних результатів до результатів у Вікіпедії. У будь-якому разі я згоден з тим, що термінологією зловживають.

— Захарій Блуменфельд

Ні, OLS не є ефективним в умовах гетероседастичності. Ефективність оцінювача виходить, якщо оцінювач має найменшу дисперсію серед інших можливих оцінювачів. Заяви про ефективність в OLS складаються незалежно від обмежувального розподілу оцінювача.

— random_guy
джерело