Різні визначення AIC

12

З Вікіпедії є визначення інформаційного критерію Akaike (AIC) як , де - кількість параметрів, а - вірогідність журналу моделі. $AIC = 2k -2 \log L$ $k$ $\log L$

Тим НЕ менше, наші замітки Економетрика в поважній державного університету , що . Тутє оцінка дисперсії за помилки в моделі АРМА іпредставляє число спостережень в наборі даних часових рядів. $AIC = \log (\hat{\sigma}^2) + \frac{2 \cdot k}{T}$ $\hat{\sigma}^2$ $T$

Чи останнє визначення рівнозначне першому, а просто налаштоване на моделі ARMA? Або існує якийсь конфлікт між двома визначеннями?

— пір
джерело

3

Для запису: критерій однини, критерій множини. (Відредаговано відповідно.)

— Нік Кокс

15

Формула, яку ви цитуєте із своїх заміток, не є точно AIC.

AIC становить . $-2\log\mathcal{L}+2k$

Тут я навожу контур приблизного виведення, який досить чітко пояснює, що відбувається.

Якщо у вас є модель з незалежними нормальними помилками з постійною дисперсією,

L \propto σ^{- н} е^{- \frac{1}{2 σ^{2}} \sum ε_{i}^{2}}

$\mathcal{L}\propto \sigma^{-n} \: e^{-\frac{1}{2\sigma^2}\sum \varepsilon_i^2}$

що може бути оцінено з максимальною ймовірністю як

\begin{array}{rcl} \propto & ({\hat{σ}}^{2})^{- н / 2} е^{- \frac{1}{2} н {\hat{σ}}^{2} / {\hat{σ}}^{2}} \\ \propto & ({\hat{σ}}^{2})^{- н / 2} е^{- \frac{1}{2} н} \\ \propto & ({\hat{σ}}^{2})^{- н / 2} \end{array}

$\begin{eqnarray} & \propto &(\hat{\sigma}^2)^{-n/2} e^{-\frac12 n\hat{\sigma}^2/\hat{\sigma}^2}\\ & \propto &(\hat{\sigma}^2)^{-n/2} e^{-\frac12 n}\\ & \propto &(\hat{\sigma}^2)^{-n/2} \end{eqnarray}$

(якщо припустити, що оцінка - оцінка ML) $\sigma^2$

Так (до переходу на константу) $-2\log\mathcal{L} +2k = n\log{\hat{\sigma}^2} + 2k$

Тепер у моделі ARMA, якщо дійсно велика порівняно з та , то ймовірність може бути приблизна таким гауссовим фреймом (наприклад, ви можете написати ARMA приблизно як довший AR та умовою на достатній кількості, щоб написати цей AR як модель регресії), так що з замість : $T$ $p$ $q$ $T$ $n$

$AIC \approx T\log{\hat{\sigma}^2} + 2k$

звідси

$AIC/T \approx \log{\hat{\sigma}^2} + 2k/T$

$T$

Однак якщо ви використовуєте AIC для будь-якої іншої мети, яка покладається на фактичне значення відмінностей в AIC (наприклад, робити мультимодельний висновок, як описано Бернхемом та Андерсоном), то це має значення.

Численні тексти економетрики, схоже, використовують цю форму AIC / T. Як не дивно, деякі книги, схоже, посилаються на Гурвіча і Цая 1989 або Фіндлі 1985 на цю форму, але Хурвіч, Цай і Фіндлі, здається, обговорюють оригінальну форму (хоча я маю лише непряме вказівку на те, що робить Фіндлі зараз, тому, можливо, є щось у Findley на ньому).

$\sigma^2$

Можливо, вам подобається переглянути список фактів та помилок АПК Роб Хандмена , особливо пункти 3 до 7. Деякі з цих моментів можуть призвести до того, що ви хоч трохи обережно ставитеся до того, що занадто сильно покладаєтесь на наближення ймовірності Гаусса, але можливо, є краще виправдання, ніж я пропоную тут.

Я не впевнений, що є вагома причина використовувати це наближення до вірогідності журналу, а не для фактичного AIC, оскільки багато пакетів часових рядів в ці дні, як правило, обчислюють (/ максимізують) фактичну ймовірність журналу для моделей ARMA. Здається, мало причин не використовувати його.

— Glen_b -Встановити Моніку
джерело

1

Рано чи пізно кожна дискусія про будь-який * ІС перетворюється на "Це критерій, який ви повинні використовувати, за винятком того, що він часто дає неправильну відповідь за таких і таких обставин". Просто іронічно, зовсім не критично типово корисна відповідь. Це так само, як у реальному житті, де якусь загальну максимуму, наприклад, "любити всіх", як правило, тимчасово перекривають іншими порадами, якщо хтось намагається побити вас або зірвати вас.

— Нік Кокс

1

n

$n$

2

Я вважаю, що це засновано на припущенні нормальних помилок. В економетрії ви працюєте з використанням асимптотики, особливо в додатках часових рядів, що використовують AIC. Як наслідок, нормальне припущення повинно дотримуватися асимптотики для обгрунтування цієї (асимптотичної) схеми вибору моделі.

$ln(L) = -(T/2)ln(2\pi) -(T/2)ln(\sigma^2) - (1/2\sigma^2)\sum(x_i - \mu)$ $\mathbb{E}(X) = \mu$ $Var(X) = \sigma^2$ $x_1, ..., x_T$

$L$ $Tln(\sigma^2)$ $(1/\sigma^2)(T\hat{\sigma}^2)$ $\hat{\sigma}^2 = T^{-1} \sum(x_i - \bar{x})$ $\sigma^2$ $(1/\sigma^2)(T\hat{\sigma}^2) = (1/\hat{\sigma}^2)(T\hat{\sigma}^2)$

$AIC = 2k + Tln(\sigma^2) + 1$ $1$ $T$ $T$ $AIC$ $AIC/T$

— Єремія К
джерело