Наслідки моделювання нестаціонарного процесу з використанням ARMA?

Я розумію, що ми повинні використовувати ARIMA для моделювання нестаціонарних часових рядів. Крім того, усе, що я читаю, говорить, що ARMA слід використовувати лише для стаціонарних часових рядів.

Що я намагаюся зрозуміти, це те, що відбувається на практиці, коли неправильно класифікують модель та припускають, d = 0що це нестаціонарний часовий ряд? Наприклад:

controlData <- arima.sim(list(order = c(1,1,1), ar = .5, ma = .5), n = 44)

дані управління виглядають приблизно так:

 [1]   0.0000000   0.1240838  -1.4544087  -3.1943094  -5.6205257
 [6]  -8.5636126 -10.1573548  -9.2822666 -10.0174493 -11.0105225
[11] -11.4726127 -13.8827001 -16.6040541 -19.1966633 -22.0543414
[16] -24.8542959 -25.2883155 -23.6519271 -21.8270981 -21.4351267
[21] -22.6155812 -21.9189036 -20.2064343 -18.2516852 -15.5822178
[26] -13.2248230 -13.4220158 -13.8823855 -14.6122867 -16.4143756
[31] -16.8726071 -15.8499558 -14.0805114 -11.4016515  -9.3330560
[36]  -7.5676563  -6.3691600  -6.8471371  -7.5982880  -8.9692152
[41] -10.6733419 -11.6865440 -12.2503202 -13.5314306 -13.4654890

Якщо припустити, що я не знав даних ARIMA(1,1,1), я, можливо, подивлюся pacf(controlData).

pacf (controlData)

Потім я використовую Dickey-Fuller, щоб перевірити, чи є дані нестаціонарними:

require('tseries')
adf.test(controlData)

# Augmented Dickey-Fuller Test
#
# data:  controlData
# Dickey-Fuller = -2.4133, Lag order = 3, p-value = 0.4099
# alternative hypothesis: stationary

adf.test(controlData, k = 1)

# Augmented Dickey-Fuller Test
#
#data:  controlData
# Dickey-Fuller = -3.1469, Lag order = 1, p-value = 0.1188
# alternative hypothesis: stationary

Отже, я можу припустити, що це дані ARIMA (2,0, *). Тоді скористайтеся, auto.arima(controlData)щоб спробувати найкраще підходити?

require('forecast')
naiveFit <- auto.arima(controlData)
naiveFit
# Series: controlData 
# ARIMA(2,0,1) with non-zero mean 
# 
# Coefficients:
#          ar1      ar2     ma1  intercept
#      1.4985  -0.5637  0.6427   -11.8690
# s.e.  0.1508   0.1546  0.1912     3.2647
#
# sigma^2 estimated as 0.8936:  log likelihood=-64.01
# AIC=138.02   AICc=139.56   BIC=147.05

Отже, хоча дані про минуле та майбутнє - це ARIMA (1,1,1), я міг би спокусити його класифікувати як ARIMA (2,0,1). tsdata(auto.arima(controlData))також добре виглядає.

Ось що знайде інформований моделер:

informedFit <- arima(controlData, order = c(1,1,1))
# informedFit
# Series: controlData 
# ARIMA(1,1,1)                    
#
# Coefficients:
#          ar1     ma1
#       0.4936  0.6859
# s.e.  0.1564  0.1764
#
# sigma^2 estimated as 0.9571:  log likelihood=-62.22
# AIC=130.44   AICc=131.04   BIC=135.79

1) Чому ці критерії інформації кращі, ніж обрана модель auto.arima(controlData)?

Тепер я просто графічно порівнюю реальні дані та дві моделі:

plot(controlData)
lines(fitted(naiveFit), col = "red")
lines(fitted(informedFit), col = "blue")

цП Ділянки

2) Граючи в захисника диявола, які наслідки я б заплатив, використовуючи ARIMA (2, 0, 1) як модель? Які ризики цієї помилки?

3) Мене найбільше турбують будь-які наслідки для багаторічних прогнозів вперед. Я припускаю, що вони були б менш точними? Я просто шукаю якісь докази.

4) Ви б запропонували альтернативний метод вибору моделі? Чи є якісь проблеми з моїми міркуваннями як "неінформований" моделер?

Мені дуже цікаво, які ще є наслідки такого роду невірних класифікацій. Я шукав джерела і просто нічого не міг знайти. Вся література, яку я міг знайти, стосується лише цього питання, замість того, щоб просто зазначити, що дані повинні бути нерухомими, перш ніж виконувати ARMA, а якщо це нестаціонарно, то це потрібно відрізняти в рази.

Спасибі!

r time-series arima stationarity

— Кларк Генрі
джерело

Моє враження, що це аналогічно припущенню "ортогональних помилок" при регресії поперечного перерізу (тобто це зміщує стандартні помилки, але не коефіцієнти), але мені дуже цікаво почути фактичну відповідь.

— shadowtalker

Відповіді:

Моє враження, що на це запитання немає унікальної, повністю загальної відповіді, тому я буду досліджувати лише найпростіший випадок, і трохи неформальний спосіб.

Припустимо, що справжній механізм генерування даних - з звичайний нульовий середній компонент білого шуму, . Сказане також означає, що це

\begin{matrix} (1) & y_{t} = y_{t - 1} + u_{t}, t = 1, . . ., T, y_{0} = 0 \end{matrix}

$y_t = y_{t-1} + u_t,\;\; t=1,...,T,\;\; y_0 =0 \tag{1}$

u_{t}

$u_t$

E (u_{t}^{2}) = σ_{u}^{2}

$E(u_t^2)= \sigma^2_u$

\begin{matrix} (2) & y_{t} = \sum_{i = 1}^{t} u_{i} \end{matrix}

$y_t = \sum_{i=1}^tu_i \tag{2}$

Ми вказати модель, назвати його модель $A$

\begin{matrix} (3) & y_{t} = β y_{t - 1} + u_{t}, t = 1, . . ., T, y_{0} = 0 \end{matrix}

$y_t = \beta y_{t-1} + u_t,\;\; t=1,...,T,\;\; y_0 =0 \tag{3}$

і ми отримуємо оцінку для постульованої (обговоримо метод оцінки лише у разі потреби). $\hat \beta$ $\beta$

Тож прогноз -ступець вперед буде $k$

\begin{matrix} (4) & {\hat{у}}_{Т + к} = {\hat{β}}^{к} у_{Т} \end{matrix}

$\hat y_{T+k} = \hat \beta^k y_T \tag{4}$

і його MSE буде

М S Е_{А} [{\hat{у}}_{Т + к}] = Е {({\hat{β}}^{к} у_{Т} - у_{Т + к})}^{2}

$MSE_A[\hat y_{T+k}] = E\left(\hat \beta^k y_T-y_{T+k}\right)^2$

\begin{matrix} (5) & = Е {[({\hat{β}}^{к} - 1) у_{Т} - \sum_{i = Т + 1}^{Т + к} у_{i}]}^{2} = Е [({\hat{β}}^{к} - 1)^{2} у_{Т}^{2}] + к σ_{у}^{2} \end{matrix}

$=E\left[(\hat \beta^k-1) y_T -\sum_{i=T+1}^{T+k}u_i \right]^2 = E\big[(\hat\beta^k-1)^2 y_T^2\big]+ k\sigma^2_u \tag{5}$

(середній член квадрата зникає, а також перехресні продукти майбутніх помилок).

Скажімо тепер, що ми різнили наші дані та вказали модель $B$

\begin{matrix} (6) & Δ у_{т} = γ Δ у_{т - 1} + у_{т} \end{matrix}

$\Delta y_t = \gamma \Delta y_{t-1} + u_t \tag{6}$

і отримали оцінку . Нашу відмінну модель можна записати $\hat \gamma$

\begin{matrix} (7) & у_{т} = у_{т - 1} + γ (у_{т - 1} - у_{т - 2}) + у_{т} \end{matrix}

$y_t = y_{t-1} + \gamma (y_{t-1}-y_{t-2}) + u_t \tag{7}$

тож прогнозуючи рівень процесу, у нас буде

{\hat{у}}_{Т + 1} = у_{Т} + \hat{γ} (у_{Т} - у_{Т - 1})

$\hat y_{T+1} = y_{T} + \hat \gamma (y_{T}-y_{T-1})$

що насправді, враховуючи справжній DGP

\begin{matrix} (8) & {\hat{у}}_{Т + 1} = у_{Т} + \hat{γ} у_{Т} \end{matrix}

$\hat y_{T+1} = y_{T} + \hat \gamma u_T \tag {8}$

Легко перевірити то , що для моделі , $B$

{\hat{у}}_{Т + к} = у_{Т} + (\hat{γ} + {\hat{γ}}^{2} + . . . + {\hat{γ}}^{к}) у_{Т}

$\hat y_{T+k} = y_{T} + \big(\hat \gamma + \hat \gamma^2+...+\hat \gamma^k)u_T$

Тепер ми обґрунтовано очікуємо, що, враховуючи будь-яку «перевірену і перевірену» процедуру оцінки, ми отримаємо оскільки її справжнє значення дорівнює , за винятком випадків, коли ми маємо занадто мало даних або в дуже «поганій» формі . Тож можна сказати, що в більшості випадків у нас буде $|\hat \gamma|<1$ $0$

\begin{matrix} (9) & {\hat{у}}_{Т + к} = у_{Т} + \frac{\hat{γ} - {\hat{γ}}^{к + 1}}{1 - \hat{γ}} у_{Т} \end{matrix}

$\hat y_{T+k} = y_{T} + \frac {\hat \gamma - \hat \gamma ^{k+1}}{1-\hat \gamma}u_T \tag{9}$

і так

\begin{matrix} (10) & М S Е_{Б} [{\hat{у}}_{Т + к}] = Е [{(\frac{\hat{γ} - {\hat{γ}}^{к + 1}}{1 - \hat{γ}})}^{2} у_{Т}^{2}] + к σ_{у}^{2} \end{matrix}

$MSE_B[\hat y_{T+k}] = E\left[\left(\frac {\hat \gamma - \hat \gamma ^{k+1}}{1-\hat \gamma}\right)^2u_T^2\right] + k\sigma^2_u \tag{10}$

поки я повторю для зручності

\begin{matrix} (5) & М S Е_{А} [{\hat{у}}_{Т + к}] = Е [({\hat{β}}^{к} - 1)^{2} у_{Т}^{2}] + к σ_{у}^{2} \end{matrix}

$MSE_A[\hat y_{T+k} ] = E\big[(\hat\beta^k-1)^2 y_T^2\big]+ k\sigma^2_u \tag{5}$

Отже, для того, щоб розрізнена модель працювала краще в плані прогнозування MSE, ми хочемо

М S Е_{Б} [{\hat{у}}_{Т + к}] \leq М S Е_{А} [{\hat{у}}_{Т + к}]

$MSE_B[\hat y_{T+k}] \leq MSE_A[\hat y_{T+k}]$

\Rightarrow Е [{(\frac{\hat{γ} - {\hat{γ}}^{к + 1}}{1 - \hat{γ}})}^{2} у_{Т}^{2}] \leq Е [({\hat{β}}^{к} - 1)^{2} у_{Т}^{2}]

$\Rightarrow E\left[\left(\frac {\hat \gamma - \hat \gamma ^{k+1}}{1-\hat \gamma}\right)^2u_T^2\right] \leq E\big[(\hat\beta^k-1)^2 y_T^2\big]$

Як і в оцінці в моделі , ми надаємо таку ж ввічливість до оцінювача в моделі : ми справедливо очікуємо, що буде "близьким до одиниці". $B$ $A$ $\hat \beta$

Очевидно, що якщо так трапиться, що , кількість у правій частині нерівності буде, як правило, збільшуватися без обмежень, оскільки , кількість кроків, що прогнозуються вперед, збільшуватиметься. З іншого боку, кількість лівої сторони бажаної нерівності може збільшуватися зі збільшенням , але має верхню межу . Таким чином , в цьому випадку, ми очікуємо , що різницева модель на виставку краще з точкою зору прогнозування СКО по порівнянні з моделлю . $\hat \beta >1$ $k$ $k$ $B$ $A$

Але припустимо більш вигідний для моделі випадок, де . Тоді величина правої частини також має обмежену форму. Тоді як ми повинні вивчити чи $A$ $\hat \beta <1$ $k \rightarrow \infty$

Е [{(\frac{\hat{γ}}{1 - \hat{γ}})}^{2} у_{Т}^{2}] \leq Е [у_{Т}^{2}] = Т σ_{у}^{2} ? ?

$E\left[\left(\frac {\hat \gamma}{1-\hat \gamma}\right)^2u_T^2\right] \leq E\big[y_T^2\big]= T\sigma^2_u\;\; ??$

( - це зручність - в реальності обидві величини будуть близькі до їх верховенства вже за малих значень ). $k \rightarrow \infty$ $k$

Зауважимо, що термін очікується, що "досить близький" до , тому модель має перевагу з цього аспекту. $\left(\frac {\hat \gamma }{1-\hat \gamma}\right)^2$ $0$ $B$

Ми не можемо відокремити залишилося очікуване значення, оскільки оцінювач не залежить від . Але ми можемо перетворити нерівність на $\hat \gamma$ $u_T$

Ков [{(\frac{\hat{γ}}{1 - \hat{γ}})}^{2}, у_{Т}^{2}] + Е [{(\frac{\hat{γ}}{1 - \hat{γ}})}^{2}] \cdot σ_{у}^{2} \leq Т σ_{у}^{2} ? ?

$\operatorname{Cov}\left[\left(\frac {\hat \gamma}{1-\hat \gamma}\right)^2,\,u_T^2\right] + E\left[\left(\frac {\hat \gamma}{1-\hat \gamma}\right)^2\right]\cdot \sigma^2_u \leq T\sigma^2_u\;\; ??$

\Rightarrow Ков [{(\frac{\hat{γ}}{1 - \hat{γ}})}^{2}, у_{Т}^{2}] \leq (Т - Е [{(\frac{\hat{γ}}{1 - \hat{γ}})}^{2}]) \cdot σ_{у}^{2} ? ?

$\Rightarrow \operatorname{Cov}\left[\left(\frac {\hat \gamma}{1-\hat \gamma}\right)^2,\,u_T^2\right] \leq \left (T-E\left[\left(\frac {\hat \gamma}{1-\hat \gamma}\right)^2\right]\right)\cdot \sigma^2_u \;\; ??$

Тепер очікується, що коваріація з лівого боку буде невеликою, оскільки оцінювач залежить від усіх помилок. З іншого боку нерівності походить від стаціонарного набору даних, і тому очікуване значення вищезгаданої функції від неї, як очікується, буде набагато меншим, ніж розмір вибірки (оскільки більше за цією функцією буде коливатися в ). $\hat \gamma$ $T$ $\hat \gamma$ $(0,1)$

Таким чином, в цілому, не обговорюючи конкретного методу оцінки, я вважаю, що нам вдалося неофіційно показати, що розрізнену модель слід очікувати на кращу ефективність з точки зору MSE прогнозування.

— Алекос Пападопулос
джерело

Це гарне запитання.

Як я розумію, ви просто розглядали pacf, але цього недостатньо. ACF та PACF необхідні для вибору найкращої моделі.

З іншого боку, стаціонарні тести є слабкими та чутливими та потребують великої кількості відставань, щоб перевірити.

Крім того, бажано зробити часові ряди нерухомими перед застосуванням будь-якої моделі. Грубо кажучи, моделі ARIMA просто вважають особливий випадок нестаціонарності (бажано в тренді).

Що стосується ваших запитань, я не впевнений у функції auto.arima, але я впевнений, що кількість точок даних у вашому прикладі невелика. Імітаційна модель з використанням великої кількості точок даних добре відповість на ваші запитання. Також я раджу розглянути ACF часових рядів, а також PACF. Щодо вибору моделі правилом є вибір найпростішої моделі (зауважте, що найпростіша модель після створення часового ряду нерухомою).

Я посилаюсь на цю посилання. Ця книга не відповідає на всі ваші запитання, але дає вам декілька підказок.

----- додатковий розділ ------- @nsw з урахуванням тренду ваших даних. Якщо ви розглядаєте стаціонарну модель, це призводить до прогнозування вгору / вниз, але фактично моделі ARMA призначені для прогнозування плоских даних. Я змінив ваш код, щоб відобразити цю різницю:

вимагати ('прогноз')

вимагати ('tseries')

controlData <- arima.sim (список (порядок = c (1,1,1), ar = .5, ma = .5), n = 1000 )

ACF (controlData)

ts.plot (controlData)

naiveFit <- arima (controlData, order = c (2,0,1))

trueFit <- arima (controlData, order = c (1,1,1))

PrnaiveFit <-forecast.Arima (naiveFit, 10)

PrtrueFit <- прогноз.Аріма (trueFit, 10)

matplot (cbind (PrnaiveFit $ середнє значення, PrtrueFit $ середнє значення), type = 'b', col = c ('червоний', 'зелений'), ylab = c ('прогнозувати іон'), pch = c ('n', 't'))

— TPArrow
джерело

Питання задає питання, чому вважають за краще "робити часові ряди нерухомими". Це насправді не відповідає на це питання.

— тінькалкер

@ssdecontrol Взагалі ви праві. Мене справді більше турбують неявні наслідки для прогнозування після помилок. Але я не хочу надто сильно бити на Hamed.HM. Він все-таки звертався до мого останнього запитання про те, "це правильний спосіб вибору моделі?" Але тільки щоб ще раз зазначити, це найменше моє занепокоєння тут.

— Кларк Генрі