Тестування на автокореляцію: Ljung-Box проти Breusch-Godfrey

35

Я звик бачити тест Ljung-Box досить часто, який використовується для тестування автокореляції в необроблених даних або в залишках моделі. Я ледь не забув, що існує ще один тест на автокореляцію, а саме тест Бройша-Годфрі.

Запитання: в чому основні відмінності та схожість тестів Люнг-Бокса та Брейша-Годфрі, і коли слід віддавати перевагу іншому?

(Довідники вітаються. Я якось не зміг знайти порівняння двох тестів, хоча я переглянув кілька підручників і шукав матеріали в Інтернеті. Мені вдалося знайти описи кожного тесту окремо , але те, що мене цікавить, це порівняння двох.)

time-series hypothesis-testing autocorrelation

— Річард Харді
джерело

36

У спільноті Econometrics є декілька сильних голосів проти справедливості Ljung-Box $Q$ -статистики для тестування на автокореляцію на основі залишків авторегресивної моделі (тобто з відсталими залежними змінними в регресивній матриці), див. Особливо Maddala (2001) "Вступ до економетрики (3-е видання), гл. 6.7 та 13. 5 р. 528. Маддала буквально скаржиться на широке використання цього тесту, і натомість вважає за необхідне тест" Мультиплікатора Ланґранжа "Брейша та Годфрі.

Аргумент Маддали проти тесту Люнга-Бокса такий же, як той, що піднятий проти іншого всюдисущого тесту автокореляції, "Дурбін-Уотсона": із відсталими залежними змінними в матриці регресора тест є необ'єктивним на користь збереження нульової гіпотези "відсутність автокореляції" (результати Монте-Карло, отримані в @javlacalle, відповідають на цей факт). Маддала також згадує про низьку потужність тесту, див., Наприклад, Davies, N., & Newbold, P. (1979). Деякі дослідження потужності тесту на портманто специфікацію моделі часових рядів. Біометріка, 66 (1), 153-155 .

Хаяші (2000) , гол. 2.10 "Тестування на послідовну кореляцію" , представлений уніфікований теоретичний аналіз, і, я вважаю, це з'ясовує питання. Hayashi починається з нуля: щоб Ljung-Box -statistic був асимптотично розподілений як chi-квадрат, повинен бути випадок, що процес (що б непредставляє ), чиї вибіркові автокореляції ми вводимо в статистику: , під нульовою гіпотезою про відсутність автокореляції, послідовність різниць мартінгале, тобто, що вона задовольняє $Q$ $\{z_t\}$ $z$

Е (z_{т} ∣ z_{т - 1}, z_{т - 2}, . . .) = 0

$E(z_t \mid z_{t-1}, z_{t-2},...) = 0$

а також виявляє "власну" умовну гомоскедастичність

Е (z_{т}^{2} ∣ z_{т - 1}, z_{т - 2}, . . .) = σ^{2} > 0

$E(z^2_t \mid z_{t-1}, z_{t-2},...) = \sigma^2 >0$

За цих умов -статист Ljung-Box (що є виправленим для кінцевих зразків варіантом оригінальної Box-Pierce -статистики) має асимптотично розподіл chi-квадрата, і його використання має асимптотичне обгрунтування. $Q$ $Q$

Припустимо тепер, що ми вказали авторегресивну модель (яка, можливо, включає також незалежні регресори на додаток до відстаючих залежних змінних), скажімо

у_{т} = х_{т}^{'} β + ϕ (L) у_{т} + у_{т}

$y_t = \mathbf x_t'\beta + \phi(L)y_t + u_t$

де - поліном оператора відставання, і ми хочемо перевірити послідовну кореляцію, використовуючи залишки оцінки. Таким чином , тут . $\phi(L)$ $z_t \equiv \hat u_t$

Hayashi показує, що для того, щоб Ljung-Box -статистичний на основі зразкових автокореляцій залишків мав асимптотичний розподіл chi-квадрата під нульовою гіпотезою про відсутність автокореляції, повинно бути так, що всі регресори "суворо екзогенні " до терміну помилки в такому значенні: $Q$

E (x_{t} \cdot u_{s}) = 0, E (y_{t} \cdot u_{s}) = 0 \forall t, s

$E(\mathbf x_t\cdot u_s) = 0 ,\;\; E(y_t\cdot u_s)=0 \;\;\forall t,s$

Тут є ключовою вимогою "для всіх ", яка відображає сувору екзогенність. І це не дотримується, коли у матриці регресора існують відсталі залежні змінні. Це легко видно: встановити і потім $t,s$ $s= t-1$

E [y_{t} u_{t - 1}] = E [(x_{t}^{'} β + ϕ (L) y_{t} + u_{t}) u_{t - 1}] =

$E[y_t u_{t-1}] = E[(\mathbf x_t'\beta + \phi(L)y_t + u_t)u_{t-1}] =$

E [x_{т}^{'} β \cdot у_{т - 1}] + Е [ϕ (L) у_{т} \cdot у_{т - 1}] + Е [у_{т} \cdot у_{т - 1}] \neq 0

$E[\mathbf x_t'\beta \cdot u_{t-1}]+ E[\phi(L)y_t \cdot u_{t-1}]+E[u_t \cdot u_{t-1}] \neq 0$

навіть якщо значення не залежать від терміна помилки, і навіть якщо термін помилки не має автокореляції : термін не дорівнює нулю. $X$ $E[\phi(L)y_t \cdot u_{t-1}]$

Але це доводить, що статистика Ljung-Box не вірна в авторегресивній моделі, оскільки не можна сказати, що має асимптотичний розподіл чі-квадрата під нулем. $Q$

Припустимо зараз, що задовольняється слабша умова, ніж сувора екзогенність, а саме це

Е (у_{т} ∣ х_{т}, х_{т - 1}, . . ., ϕ (L) у_{т}, у_{т - 1}, у_{т - 2}, . . .) = 0

$E(u_t \mid \mathbf x_t, \mathbf x_{t-1},...,\phi(L)y_t, u_{t-1}, u_{t-2},...) = 0$

Сила цього стану - "між" суворою екзогенністю та ортогональністю. При нулі відсутності автокореляції терміна помилки, ця умова є «автоматично» задоволено авторегресії моделі щодо відставали залежні змінні (для «S слід окремо вважати , звичайно). $X$

Тоді існує інша статистика, заснована на автокореляціях залишкової вибірки ( не Люнга-Box), яка має асимптотичний розподіл хі-квадратів під нуль. Це інша статистика може бути обчислена, як зручність, за допомогою «допоміжної регресії» маршруту: регрес невязки на повній матриці регресорів і на останніх залишків (до Відставання ми використовували в описі), отримати нецентрированний з цієї допоміжної регресії і помножити його на розмір вибірки. $\{\hat u_t\}$ $R^2$

Ця статистика використовується в тому, що ми називаємо "тестом Брюша-Годфрі на послідовну кореляцію" .

Тоді виявляється, що коли регресори включають відсталі залежні змінні (і так в усіх випадках авторегресивних моделей), від тесту Люнга-Бокса слід відмовитися на користь тесту Брюша-Годфрі ЛМ. , не тому, що "вона діє гірше", а тому, що не має асимптотичного обгрунтування. Досить вражаючий результат, особливо судячи з всюдисущої присутності та застосування колишнього.

ОНОВЛЕННЯ: Відповідаючи на сумніви, що виникають у коментарях щодо того, чи стосується все вищезазначене також для "чистих" моделей часових рядів чи ні (тобто без " " -регресорів), я розмістив детальне вивчення для моделі AR (1), в https://stats.stackexchange.com/a/205262/28746 . $x$

— Алекос Пападопулос
джерело

Дуже вражаюче, Алеко! Чудове пояснення! Дуже дякую! (Я сподіваюся, що набагато більше людей зрештою прочитають вашу відповідь і отримають користь від неї у своїй роботі чи навчанні.)

— Річард Харді,

+1 Дуже цікаво. Моя початкова здогадка полягала в тому, що в моделі AR розподіл тесту BG може бути спотвореним, але, як ви пояснили, і запропоновано симуляційне вправлення, саме тест на LB піддається більш серйозному впливу.

— javlacalle

Проблема вашої відповіді полягає в тому, що вона заснована на припущенні, що ми маємо справу з моделлю типу ARMAX, тобто з регресорами

. не чисті часові ряди, такі як AR.

x_{t}

$x_t$

— Аксакал

1

@Aksakal, Крім того, частина проблеми може полягати в тому, що фокус трохи стрибає тут і там. Ми повинні відокремити питання (1) який із тестів кращий від (2) тестових робіт, при яких припущеннях, і що важливо, (3) які тестові роботи для якої моделі (через різні припущення моделі). Останнє, мабуть, найкорисніше питання для практикуючих. Наприклад, я б не використовував LB для залишків моделі ARMA через те, що показав Alecos. Ви стверджуєте, що LB все ще можна використовувати для залишків моделей ARMA (що зараз також є головним питанням в іншій темі)?

— Річард Харді

1

@Alexis І це коментар, майже надто лестливий, щоб бути правдивим. Дякую.

— Алекос Пападопулос

12

Концепція

Я не знаю жодного дослідження, яке порівнює ці тести. У мене було підозри, що тест Ljung-Box є більш доцільним у контексті моделей часових рядів, таких як моделі ARIMA, де пояснювальні змінні є відставаннями залежних змінних. Тест Брейша-Годфрі міг би бути більш придатним для загальної регресійної моделі, де дотримуються класичні припущення (зокрема, екзогенні регресори).

Моя здогадка полягає в тому, що на розподіл тесту Брейша-Годфрі (який спирається на залишки регресії, встановлені звичайними найменшими квадратами), може впливати той факт, що пояснювальні змінні не є екзогенними.

Я зробив невелику імітаційну вправу, щоб перевірити це, і результати підказують протилежне: тест Бройша-Годфрі виконує краще, ніж тест Люнг-Бокса, коли тестується на автокореляцію в залишках авторегресивної моделі. Деталі та код R для відтворення або зміни вправи наведені нижче.

Невелика імітаційна вправа

Типовим застосуванням тесту Ljung-Box є тестування на послідовну кореляцію в залишках з вбудованої моделі ARIMA. Тут я генерую дані з моделі AR (3) і підходять до моделі AR (3).

Залишки задовольняють нульовій гіпотезі про відсутність автокореляції, тому можна було б очікувати рівномірно розподілених p-значень. Нульова гіпотеза повинна бути відхилена у відсотках випадків, близьких до обраного рівня значущості, наприклад, 5%.

Тест Люнг-Бокса:

## Ljung-Box test
n <- 200 # number of observations
niter <- 5000 # number of iterations
LB.pvals <- matrix(nrow=niter, ncol=4)
set.seed(123)
for (i in seq_len(niter))
{
  # Generate data from an AR(3) model and store the residuals
  x <- arima.sim(n, model=list(ar=c(0.6, -0.5, 0.4)))
  resid <- residuals(arima(x, order=c(3,0,0)))
  # Store p-value of the Ljung-Box for different lag orders
  LB.pvals[i,1] <- Box.test(resid, lag=1, type="Ljung-Box")$p.value
  LB.pvals[i,2] <- Box.test(resid, lag=2, type="Ljung-Box")$p.value
  LB.pvals[i,3] <- Box.test(resid, lag=3, type="Ljung-Box")$p.value
  LB.pvals[i,4] <- Box.test(resid, lag=4, type="Ljung-Box", fitdf=3)$p.value
}
sum(LB.pvals[,1] < 0.05)/niter
# [1] 0
sum(LB.pvals[,2] < 0.05)/niter
# [1] 0
sum(LB.pvals[,3] < 0.05)/niter
# [1] 0
sum(LB.pvals[,4] < 0.05)/niter
# [1] 0.0644
par(mfrow=c(2,2))
hist(LB.pvals[,1]); hist(LB.pvals[,2]); hist(LB.pvals[,3]); hist(LB.pvals[,4])

P-значення тесту Люнга-Бокса

Результати показують, що нульова гіпотеза відкидається в дуже рідкісних випадках. Для рівня 5% швидкість відхилень значно нижча за 5%. Розподіл p-значень показує ухил до невідхилення нуля.

Правка В принципі fitdf=3слід встановлювати в усіх випадках. Це враховує ступені свободи, які втрачаються після встановлення моделі AR (3) для отримання залишків. Однак для лагів порядку нижче 4 це призведе до негативного або нульового ступеня свободи, що зробить тест непридатним. Згідно з документацією ?stats::Box.test: Ці випробування іноді застосовуються до залишків, що відповідають ARMA (p, q), і в цьому випадку посилання пропонують краще наближення до розподілу нульової гіпотези шляхом встановлення fitdf = p+q, якщо це зрозуміло lag > fitdf.

Бреш-Годфрі:

## Breusch-Godfrey test
require("lmtest")
n <- 200 # number of observations
niter <- 5000 # number of iterations
BG.pvals <- matrix(nrow=niter, ncol=4)
set.seed(123)
for (i in seq_len(niter))
{
  # Generate data from an AR(3) model and store the residuals
  x <- arima.sim(n, model=list(ar=c(0.6, -0.5, 0.4)))
  # create explanatory variables, lags of the dependent variable
  Mlags <- cbind(
    filter(x, c(0,1), method= "conv", sides=1),
    filter(x, c(0,0,1), method= "conv", sides=1),
    filter(x, c(0,0,0,1), method= "conv", sides=1))
  colnames(Mlags) <- paste("lag", seq_len(ncol(Mlags)))
  # store p-value of the Breusch-Godfrey test
  BG.pvals[i,1] <- bgtest(x ~ 1+Mlags, order=1, type="F", fill=NA)$p.value
  BG.pvals[i,2] <- bgtest(x ~ 1+Mlags, order=2, type="F", fill=NA)$p.value
  BG.pvals[i,3] <- bgtest(x ~ 1+Mlags, order=3, type="F", fill=NA)$p.value
  BG.pvals[i,4] <- bgtest(x ~ 1+Mlags, order=4, type="F", fill=NA)$p.value
}
sum(BG.pvals[,1] < 0.05)/niter
# [1] 0.0476
sum(BG.pvals[,2] < 0.05)/niter
# [1] 0.0438
sum(BG.pvals[,3] < 0.05)/niter
# [1] 0.047
sum(BG.pvals[,4] < 0.05)/niter
# [1] 0.0468
par(mfrow=c(2,2))
hist(BG.pvals[,1]); hist(BG.pvals[,2]); hist(BG.pvals[,3]); hist(BG.pvals[,4])

Р-значення Бреш-Годфрі

Результати тесту Бреуза-Годфрі виглядають більш розумними. Р-значення розподіляються рівномірно, а коефіцієнти відторгнення наближаються до рівня значущості (як це очікувалося під нульовою гіпотезою).

— javlacalle
джерело

1

LB.pvals[i,j]

j \in {1, 2, 3}

$j \in \{1,2,3\}$

j ⩽ 3

$j \leqslant 3$ fitdf=3

j \in {1, 2, 3}

$j \in \{1,2,3\}$

Крім того, щодо того, що ви говорите в першому абзаці: чи могли б ви трохи розширити це? Я сприймаю там твердження як досить важливі, але деталей не вистачає. Я, можливо, прошу занадто багато - "переварити" речі для мене, - але якщо це не буде для вас занадто важким, я би вдячний за це.

— Річард Харді

1

n

$n$

χ^{2} (1)

$\chi^2 (1)$

χ^{2} (n)

$\chi^2 (n)$

n

$n$

χ^{2} (1)

$\chi^2 (1)$

k

$k$

χ^{2} (n - k)

$\chi^2 (n-k)$

k ⩾ n

$k \geqslant n$

k

$k$

1

k

$k$ lag<fitdf

1

Коротше кажучи, якщо ви говорите про відставання порядку нижче 4, це призведе до негативного або нульового ступеня свободи, зробивши тест неприйнятним , я думаю, ви повинні зробити інший висновок: не використовувати тест для цих логів. Якщо ви продовжуєте, встановлюючи fitdf=0замість fitdf=3вас, можливо, ви себе обманюєте.

— Річард Харді

2

Грін (Економетричний аналіз, 7-е видання, стор. 963, розділ 20.7.2):

$X$ $e_t$ $x_t$ $e_s$ $x_t$

(Я знаю, що питання про Ljung-Box і вищезазначене стосується Box-Pierce, але перше - це просте уточнення останнього, а отже, будь-яке порівняння між GB та BP також застосовуватиметься до порівняння між GB та LB.)

Оскільки інші відповіді вже пояснювались більш жорстко, Грін також припускає, що від використання Люнг-Бокса проти Годфрі-Бреша нічого не можна отримати (крім якоїсь обчислювальної ефективності), але потенційно багато чого втратити (справедливість тесту).

— Кандамір
джерело

0

Схоже, тести Box-Pierce і Ljung-Box є переважно одновимірними тестами, але є деякі припущення, що стоять за тестом Бреуша-Годфрі під час тестування, якщо лінійна структура залишається за залишками регресії часових рядів (процес MA або AR).

Ось посилання на дискусію:

http://www.stata.com/meeting/new-orleans13/abstracts/materials/nola13-baum.pdf

— Аналітик
джерело

Я не зовсім розумію сенс речення через граматику, я думаю. Не могли б ви перефразувати це?

— Річард Харді

0

Основна відмінність тестів полягає в наступному:

Тест Брейша-Годфрі є тестом множника Лагранжа, отриманого з (вірно вказаної) функції ймовірності (і, отже, з перших принципів).
Тест Ljung-Box заснований на другому моменті залишків стаціонарного процесу (і, таким чином, порівняно більш спеціального характеру).

Тест Бреша-Годфрі як тест множника Лагранжа асимптотично еквівалентний рівномірно найпотужнішому тесту. Як би це не було, це лише асимптотично найпотужніша wrt альтернативна гіпотеза опущених регресорів (незалежно від того, є вони відсталими змінними чи ні). Сильною стороною тесту Люнга-Бокса може бути його потужність проти широкого спектру альтернативних гіпотез.

— bmbb
джерело