Припущення про найменші квадрати

Припустимо наступне лінійне співвідношення: , де - залежна змінна, - одна незалежна змінна та - термін помилки.$Y_i = \beta_0 + \beta_1 X_i + u_i$$Y_i$$X_i$$u_i$

Згідно зі словами Stock & Watson (Вступ до економетрії; Глава 4 ), припущення третього найменшого квадрата - це те, що четверті моменти та є ненульовими та кінцевими .$X_i$$u_i$$(0<E(X_i^4)<\infty \text{ and } 0<E(u_i^4)<\infty)$

У мене три питання:

1. Я не повністю розумію роль цього припущення. Чи є OLS упередженим і непослідовним, якщо це припущення не відповідає чи нам це припущення потрібно для висновку?

2. Сток і Уотсон пишуть "це припущення обмежує ймовірність провести спостереження з надзвичайно великими значеннями або ". Однак моя інтуїція полягає в тому, що це припущення є крайнім. Чи ми маємо біду, якщо у нас є великі люди (такі, що четверті моменти є великими), але якщо ці значення все ще кінцеві? До речі: що є основним визначенням зовнішнього вигляду?$X_i$$u_i$

3. Чи можемо ми переформулювати це так: "Куртоз і - ненульовий і кінцевий?"$X_i$$u_i$

Вам не потрібні припущення щодо 4-го моменту для послідовності оцінки ОЛС, але вам потрібні припущення щодо вищих моментів та для асимптотичної нормальності та послідовної оцінки того, що таке асимптотична матриця коваріації.$x$$\epsilon$

У деякому сенсі це математичний, технічний, а не практичний момент. Щоб OLS добре працював у кінцевих зразках, в якомусь сенсі потрібно більше мінімальних припущень, необхідних для досягнення асимптотичної послідовності або нормальності як .$n \rightarrow \infty$

Достатні умови консистенції:

Якщо у вас є рівняння регресії:

$$y_i = \mathbf{x}_i' \boldsymbol{\beta} + \epsilon_i$$

Оцінювач OLS можна записати так: $\hat{\mathbf{b}}$

$$\hat{\mathbf{b}} = \boldsymbol{\beta} + \left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right)$$

Для послідовності потрібно мати змогу застосувати Закон Колмогорова про великі числа або, у випадку часових рядів із серійною залежністю, щось на кшталт ергодичної теореми Карліна та Тейлора, щоб:

$$\frac{1}{n} X'X \xrightarrow{p} \mathrm{E}[\mathbf{x}_i\mathbf{x}_i'] \quad \quad \quad \frac{1}{n} X'\boldsymbol{\epsilon} \xrightarrow{p} \mathrm{E}\left[\mathbf{x}_i' \epsilon_i\right]$$

Інші необхідні припущення:

• $\mathrm{E}[\mathbf{x}_i\mathbf{x}_i']$ є повним рангом і, отже, матриця є незворотною.
• Регресори заздалегідь визначені або строго екзогенні, так що .$\mathrm{E}\left[\mathbf{x}_i \epsilon_i\right] = \mathbf{0}$

Тоді і ви отримуєте$\left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right) \xrightarrow{p} \mathbf{0}$$\hat{\mathbf{b}} \xrightarrow{p} \boldsymbol{\beta}$

Якщо ви хочете, щоб центральна гранична теорема для застосування , то вам потрібно припущень про більш високих моментах, наприклад, , де . Центральна гранична теорема - це те, що дає вам асимптотичну нормальність і дозволяє говорити про стандартні помилки. Щоб другий момент існував, вам потрібні 4 моменти та . Ви хочете стверджувати, що куди$\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$$\mathbf{g_i} = \mathbf{x}_i \epsilon_i$$\hat{\mathbf{b}}$$\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$$x$$\epsilon$$\sqrt{n}\left(\frac{1}{n} \sum_i \mathbf{x}_i' \epsilon_i \right) \xrightarrow{d} \mathcal{N}\left( 0, \Sigma \right)$$\Sigma = \mathrm{E}\left[\mathbf{x}_i\mathbf{x}_i'\epsilon_i^2 \right]$ . Щоб це працювало, має бути кінцевим.$\Sigma$

Хороша дискусія (яка мотивується цей пост) дається в Хаяши економетрики . (Див. Також стор. 149 для 4-х моментів та оцінки матриці коваріації.)

Обговорення:

Ці вимоги до 4-х моментів, мабуть, є технічним, а не практичним. Ви, мабуть, не зіткнетеся з патологічними поширеннями, де це проблема в повсякденних даних? Це для більш поширених або інших припущень OLS, щоб зійти з ладу.

Інше питання, на яке, безсумнівно, відповіли в іншому місці Stackexchange, - це наскільки велика кількість вибірки вам потрібна для кінцевих зразків, щоб наблизитися до асимптотичних результатів. Існує певний сенс, в якому фантастичні люди, що виживають, призводять до повільної конвергенції. Наприклад, спробуйте оцінити середнє значення лонормального розподілу з дійсно високою дисперсією. Середня вибірка - це послідовний, неупереджений середній показник популяції, але в цьому випадку нормального випадку з безумним надлишком куртозу тощо.

Кінцеве проти нескінченного є надзвичайно важливою відмінністю в математиці. Це не проблема, з якою ви стикаєтесь у щоденній статистиці. Практичні проблеми більше в малій та великій категорії. Чи є дисперсія, куртоз тощо ... досить маленькою, щоб я міг досягти розумних оцінок, враховуючи розмір вибірки?

Патологічний приклад, коли оцінювач OLS є послідовним, але не асимптотично нормальним

Поміркуйте:

$$y_i = b x_i + \epsilon_i$$ Де але з t-розподілу з двома ступенями свободи, таким чином . Оцінка OLS сходиться з ймовірністю до але вибірковий розподіл для оцінки OLS зазвичай не розподіляється. Нижче наводиться емпіричний розподіл для на основі 10000 моделювання регресії з 10000 спостереженнями.$x_i \sim \mathcal{N}(0,1)$$\epsilon_i$$\mathrm{Var}(\epsilon_i) = \infty$$b$$\hat{b}$$\hat{b}$

Розподіл не є нормальним, хвости занадто важкі. Але якщо ви збільшите градуси свободи до 3, щоб другий момент , тоді застосовується центральна межа, і ви отримаєте: $\hat{b}$$\epsilon_i$

Код для його створення:

beta = [-4; 3.7];
n = 1e5;    
n_sim = 10000;    
for s=1:n_sim
    X = [ones(n, 1), randn(n, 1)];  
    u  = trnd(2,n,1) / 100;
    y = X * beta + u;

    b(:,s) = X \ y;
end
b = b';
qqplot(b(:,2));

1. Це достатнє припущення, але не мінімальне [1]. OLS не є упередженим у цих умовах, він просто непослідовний. Асимптотичні властивості OLS руйнуються, коли може мати надзвичайно великий вплив та / або якщо ви можете отримати надзвичайно великі залишки. Ви, можливо, не стикалися з офіційною презентацією теореми про центральну межу Ліндеберга Феллера, але це те, на що вони звертаються тут з умовами четвертого моменту, і умова Ліндеберга говорить нам в основному те саме: немає точок впливу надмірного розміру, немає великих важелів перевищення балів [2].$X$

2. Ці теоретичні підґрунтя статистики викликають велику плутанину, коли їх додають до практичних програм. Визначення чужорідного немає, це поняття інтуїтивне. Щоб зрозуміти це грубо, спостереження повинно бути точкою високого важеля або високою точкою впливу, наприклад, такою, для якої діагностика видалення (бета DF) дуже велика, або для якої відстань махаланобіса в прогнозах велика (в універсаріатній статистиці) це лише оцінка Z). Але повернемось до практичних питань: якщо я провожу випадкове опитування людей та їх домогосподарств, а серед 100 осіб 1 особа, яку я вибираю, є мільйонером, я найкраще здогадуюсь, що мільйонери представляють 1% населення . У лекції з біостатистів ці принципи обговорюються та підкреслюються, що будь-який діагностичний інструмент є по суті досліджувальним [3].не "аналіз, який виключає чужий, - це той, в кого я вірю", це "вилучення однієї точки повністю змінив мій аналіз".

3. Куртоз - це масштабована величина, яка залежить від другого моменту розподілу, але припущення про кінцеву ненульову дисперсію для цих значень є мовчазною, оскільки неможливо утримувати цю властивість у четвертому моменті, але не у другому. Так що в основному так, але в цілому я ніколи не перевіряв ні куртоз, ні четвертий момент. Я не вважаю їх практичним чи інтуїтивним заходом. У цей день, коли гістограма або розсіяний сюжет виробляється при натисканні пальцями, нам потрібно використовувати якісну графічну діагностичну статистику, перевіряючи ці ділянки.

[1] /math/79773/how-does-one-prove-that-lindeberg-condition-is-satisfied

[2] http://projecteuclid.org/download/pdf_1/euclid.ss/1177013818

[3] http://facturing.washington.edu/semerson/b517_2012/b517L03-2012-10-03/b517L03-2012-10-03.html