Чому інформаційний критерій (не скоригований ) використовується для вибору відповідного порядку відставання у моделі часових рядів?

9

У моделях часових рядів, таких як ARMA-GARCH, для вибору відповідного відставання або порядку моделі використовуються різні інформаційні критерії, такі як AIC, BIC, SIC тощо.

Моє запитання дуже просте, чому ми не використовуємо скоригований для вибору відповідної моделі? Ми можемо вибрати модель, яка призводить до більш високого значення скоригованого . Оскільки як скоригований і інформаційний критерій штрафують за додаткову кількість регресорів у моделі, де колишні штрафують а пізніше штрафують значення ймовірності. $R^2$ $R^2$ $R^2$ $R^2$

— Неєрай
джерело

У відповідях мені може бути щось не вистачає (нижче), але R-квадрати, а також скореговані R-квадрати підходять для відносно обмеженого класу оцінених OLS моделей, тоді як AIC, BIC та ін. Підходять для більш широкого класу узагальнених лінійних моделі, оцінені, можливо, з ML або варіантом.

— Мистер Хантер

12

Я б стверджував, що принаймні при обговоренні лінійних моделей (на зразок моделей AR), скориговані та AIC не так вже й відрізняються. $R^2$

Розглянемо питання, чи слід включати у Це еквівалентно порівнянню моделі де . Ми говоримо, що - справжня модель, якщо . Зауважте, що . Таким чином, моделі вкладені в гніздо . Процедура вибору моделі - це залежне від даних правило, яке вибирає найбільш правдоподібну з декількох моделей. $X_2$

y = \underset{(n \times K_{1})}{X_{1}} β_{1} + \underset{(n \times K_{2})}{X_{2}} β_{2} + ϵ

$y=\underset{(n\times K_1)}{X_1}\beta_1+\underset{(n\times K_2)}{X_2}\beta_2+\epsilon$

\begin{array}{rcl} M_{1} & : & y = X_{1} β_{1} + u \\ M_{2} & : & y = X_{1} β_{1} + X_{2} β_{2} + u, \end{array}

$\begin{eqnarray*} \mathcal{M}_1&:&y=X_1\beta_1+u\\ \mathcal{M}_2&:&y=X_1\beta_1+X_2\beta_2+u, \end{eqnarray*}$

E (u | X_{1}, X_{2}) = 0

$E(u|X_1,X_2)=0$

M_{2}

$\mathcal{M}_2$

β_{2} \neq 0

$\beta_2\neq0$

M_{1} \subset M_{2}

$\mathcal{M}_1\subset\mathcal{M}_2$

\hat{M}

$\widehat{\mathcal{M}}$

Ми говоримо є послідовним , якщо $\widehat{\mathcal{M}}$

\begin{array}{rcl} lim_{n \to \infty} P (\hat{M} = M_{1} | M_{1}) & = & 1 \\ lim_{n \to \infty} P (\hat{M} = M_{2} | M_{2}) & = & 1 \end{array}

$\begin{eqnarray*} \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_1|\mathcal{M}_1\bigr)&=&1\\ \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_2|\mathcal{M}_2\bigr)&=&1 \end{eqnarray*}$

Розглянемо скоригований . Тобто виберіть якщо . Оскільки монотонно зменшується в , ця процедура еквівалентна мінімізації . У свою чергу це еквівалентно мінімізації . Для досить великих останній може бути записаний як де $R^2$ $\mathcal{M}_1$ $\bar{R}^2_1>\bar{R}^2_2$ $\bar{R}^2$ $s^2$ $s^2$ $\log(s^2)$ $n$

\begin{array}{rcl} \log (s^{2}) & = & \log ({\hat{σ}}^{2} \frac{n}{n - K}) \\ = & \log ({\hat{σ}}^{2}) + \log (1 + \frac{K}{n - K}) \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n - K} \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n}, \end{array}

$\begin{eqnarray*} \log(s^2)&=&\log\left(\widehat{\sigma}^2\frac{n}{n-K}\right) \\ &=&\log(\widehat{\sigma}^2)+\log\left(1+\frac{K}{n-K}\right) \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n-K} \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n}, \end{eqnarray*}$

{\hat{σ}}^{2}

$\widehat{\sigma}^2$ є оцінкою ML дисперсії помилок. Отже, вибір моделі на основі асимптотично еквівалентний вибору моделі з найменшим . Ця процедура непослідовна.

{\bar{R}}^{2}

$\bar{R}^2$

\log ({\hat{σ}}^{2}) + K / n

$\log(\widehat{\sigma}^2)+K/n$

Пропозиція :

lim_{n \to \infty} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) < 1

$\lim_{n\rightarrow\infty}P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)<1$

Доказ : де випливає другий рядок, оскільки статистика є статистикою LR у випадку лінійної регресії, що слідує за асимптотикою нульовий розподіл. QED

\begin{array}{rcl} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) & \approx & P (\log (s_{1}^{2}) < \log (s_{2}^{2}) | M_{1}) \\ = & P (n \log (s_{1}^{2}) < n \log (s_{2}^{2}) | M_{1}) \\ \approx & P (n \log ({\hat{σ}}_{1}^{2}) + K_{1} < n \log ({\hat{σ}}_{2}^{2}) + K_{1} + K_{2} | M_{1}) \\ = & P (n [\log ({\hat{σ}}_{1}^{2}) - \log ({\hat{σ}}_{2}^{2})] < K_{2} | M_{1}) \\ \to & P (χ_{K_{2}}^{2} < K_{2}) \\ < & 1, \end{array}

$\begin{eqnarray*} P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)&\approx&P\bigl(\log(s^2_1)<\log(s^2_2)|\mathcal{M}_1\bigr) \\ &=&P\bigl(n\log(s^2_1)<n\log(s^2_2)|\mathcal{M}_1\bigr) \\ &\approx&P(n\log(\widehat{\sigma}^2_1)+K_1<n\log(\widehat{\sigma}^2_2)+K_1+K_2|\mathcal{M}_1) \\ &=&P(n[\log(\widehat{\sigma}^2_1)-\log(\widehat{\sigma}^2_2)]<K_2|\mathcal{M}_1) \\ &\rightarrow&P(\chi^2_{K_2}<K_2) \\ &<&1, \end{eqnarray*}$

χ_{K_{2}}^{2}

$\chi^2_{K_2}$

Тепер розглянемо критерій Akaike, Таким чином, АПК також торгує зменшенням SSR, що має на увазі додаткові регресори, проти "штрафного строку , "який вказує у зворотному напрямку. Таким чином, виберіть якщо , інше виберіть .

A I C = \log ({\hat{σ}}^{2}) + 2 \frac{K}{n}

$AIC=\log(\widehat{\sigma}^2)+2\frac{K}{n}$

M_{1}

$\mathcal{M}_1$

A I C_{1} < A I C_{2}

$AIC_1<AIC_2$

M_{2}

$\mathcal{M}_2$

Видно, що також суперечить продовженню вищезазначеного доказу в третьому рядку з . Відрегульований та таким чином вибирають "велику" модель з позитивною ймовірністю, навіть якщо є справжньою моделлю. $AIC$ $P(n\log(\widehat{\sigma}^2_1)+2K_1<n\log(\widehat{\sigma}^2_2)+2(K_1+K_2)|\mathcal{M}_1)$ $R^2$ $AIC$ $\mathcal{M}_2$ $\mathcal{M}_1$

Оскільки штраф за складність в AIC трохи більший, ніж для скоригованого , він може бути менш схильним до перевибору. І він має інші приємні властивості (мінімізуючи розбіжність KL до справжньої моделі, якщо цього немає в наборі розглянутих моделей), які не розглядаються в моєму дописі. $R^2$

— Крістоф Ганк
джерело

1

Чудова відповідь: не надто важкий, але все-таки точний! Якби це було вчора, я б не розміщував свою.

— Річард Харді

А як щодо справи ARMA-GARCH? Як би діяв при виборі термінів AMung і GARCH?

R_{a d j}^{2}

$R^2_{adj}$

— Захарій Блюменфельд

Я б не наважувався сказати. Як ви пояснюєте, навіть не ясно, що означає R2 для пристосування такої моделі.

— Крістоф Хенк

5

Штраф в не дає приємних властивостей з точки зору вибору моделі, якою володіє AIC або BIC. Штрафу в достатньо, щоб зробити об'єктивним оцінювачем сукупності коли жоден з регресорів насправді не належить до моделі (відповідно до публікацій блогу Дейва Гілза "У якому сенсі" чи "Налагоджений" R-квадрат безпристрасного? " та " Детальніше про властивості "відрегульованого" коефіцієнта визначення " ); однак не є оптимальним селектором моделі. $R^2_{adj}$ $R^2_{adj}$ $R^2_{adj}$ $R^2$ $R^2_{adj}$

(Можуть бути докази суперечливістю: якщо AIC є оптимальним в одному сенсі, а BIC є оптимальним в іншому, а не еквівалентно жодному з них, то не є оптимальним в жодному з них цих двох почуттів.) $R^2_{adj}$ $R^2_{adj}$

— Річард Харді
джерело

Скільки параметрів GARCH я повинен додати, перш ніж збільшиться? :) .... Я вважаю, що подібний аргумент може бути зроблений для припущення корельованих помилок (як у моделі МА). І в MA, і в GARCH параметри (не пояснювальні змінні, на які налаштовано ) додаються до моделі. Параметри MA та GARCH не додаються для зменшення , скоріше їх додають, щоб збільшити ймовірність та / або зменшити зважену суму квадратичних залишків, щоб відобразити відсутність термінів помилки iid.

R^{2}

$R^2$

R^{2} a d j

$R^2{adj}$

S S R

$SSR$

— Захарій Блуменфельд

Чи насправді це стосується оригінальної публікації чи моєї відповіді? У будь-якому випадку я згоден з вашими пунктами.

— Річард Харді

Я намагався зазначити, що насправді не може використовуватися для вибору компонентів GARCH (і, можливо, і компонентів MA), оскільки він заснований на частці над які є упередженими оцінками відхилення, коли умови помилки не є iid. (це лише конкретний випадок упередженості, про яку ви говорите). У випадку з ARMA-GARCH ви ніколи не вибирали модель з компонентами GARCH, навіть якщо в даних була стохастична мінливість, оскільки вона не збільшує . В основному я згоден з вами, намагаючись навести конкретні приклади.

R_{a d j}^{2}

$R^2_{adj}$

S S T - S S R

$SST-SSR$

S S T

$SST$

R^{2}

$R^2$

— Захарій Блюменфельд