Як порівняти моделі на основі AIC?

У нас є дві моделі, які використовують один і той же метод для обчислення ймовірності журналу, і AIC для однієї нижче, ніж для іншої. Однак той із нижчим АПК інтерпретувати набагато складніше.

У нас виникають проблеми вирішити, чи варто ввести труднощі, і ми оцінили це, використовуючи відсоткову різницю в АПК. Ми виявили, що різниця між цими двома АПК становила лише 0,7%, при цьому більш складна модель має на 0,7% нижчу АПК.

Чи є низька відсоткова різниця між цими двома вагомими причинами уникати використання моделі з нижчим AIC?
Чи пояснює відсоток різниці, що в менш складній моделі втрачається 0,7% більше інформації?
Чи можуть дві моделі мати дуже різні результати?

model-selection aic

— Алі Тураб Лоція
джерело

Можливий дублікат Що порушує порівнянність моделей стосовно АПК?

— Арун Хосе

@ArunJose, здається, це не дублікат. Питання тут зовсім інші.

— Річард Харді

Ні. Це питання не стосується порівнянності моделей. Ми вже знаємо, що моделі порівнянні. Це питання стосується того, що вважається суттєвою різницею в АПК та компромісі між складністю та моделлю.

— Алі Тураб Лотія

Не можна порівнювати абсолютні значення двох АПК (які можуть бути як але також ), але розглядає їх різницю : де - AIC з -та модель, а - найнижча AIC, отримана серед набору досліджуваних моделей (тобто, краща модель). Основне правило, окреслене, наприклад, у Burnham & Anderson 2004 , таке: $\sim 100$ $\sim 1000000$

Δ_{i} = A I C_{i} - A I C_{m i n},

$\Delta_i=AIC_i-AIC_{\rm min},$

A I C_{i}

$AIC_i$

i

$i$

A I C_{m i n}

$AIC_{\rm min}$

якщо , то існує істотна підтримка ї моделі (або докази проти неї варто лише згадати), і твердження про те, що це правильний опис, дуже вірогідне; $\Delta_i<2$ $i$
якщо , то є сильна підтримка ї моделі; $2<\Delta_i<4$ $i$
якщо , тоді значно менша підтримка ї моделі; $4<\Delta_i<7$ $i$
моделі з по суті не мають підтримки. $\Delta_i>10$

Тепер щодо 0,7%, зазначених у питанні, розглянемо дві ситуації:

$AIC_1=AIC_{\rm min}=100$ а більший на 0,7%: . Тоді тому істотної різниці між моделями немає. $AIC_2$ $AIC_2=100.7$ $\Delta_2=0.7<2$
$AIC_1=AIC_{\rm min}=100000$ а більший на 0,7%: . Тоді тому немає підтримки для другої моделі. $AIC_2$ $AIC_2=100700$ $\Delta_2=700\gg 10$

Отже, мовляв, що різниця між АПК становить 0,7%, не дає жодної інформації.

Значення AIC містить константи масштабування, що надходять від вірогідності журналу , і тому не містять таких констант. Можна вважати перетворення масштабу, що змушує найкращу модель мати . $\mathcal{L}$ $\Delta_i$ $\Delta_i = AIC_i − AIC_{\rm min}$ $AIC_{\rm min} := 0$

Рецептура AIC карає використання надмірної кількості параметрів, отже, перешкоджає надмірному застосуванню. Він віддає перевагу моделям із меншою кількістю параметрів до тих пір, поки інші не забезпечують значно кращого пристосування. АПК намагається вибрати модель (серед обстежених), яка найбільш адекватно описує реальність (у формі даних, що перевіряються). Це означає, що насправді модель, яка є реальним описом даних, ніколи не розглядається. Зауважте, що AIC дає вам інформацію, яка модель краще описує дані, вона не дає тлумачення .

Особисто я хотів би сказати, що якщо у вас є проста модель і складна, яка має набагато менший AIC, то проста модель недостатньо хороша. Якщо більш складна модель дійсно набагато складніша, але не величезна (можливо, , можливо - залежить від конкретної ситуації), я б дотримувався більш простої моделі, якщо з нею дійсно простіше працювати . $\Delta_i$ $\Delta_i<2$ $\Delta_i<5$

Далі ви можете віднести ймовірність до ї моделі через $i$

p_{i} = \exp (\frac{- Δ_{i}}{2}),

$p_i=\exp\left(\frac{-\Delta_i}{2}\right),$

що забезпечує відносну (порівняно з ) ймовірність того, що -та модель мінімізує AIC. Наприклад, відповідає (досить високий), а відповідає (досить низький). Перший випадок означає, що існує 47% ймовірність того, що -та модель насправді може бути кращим описом, ніж модель, яка дала , а у другому випадку ця ймовірність становить лише 0,05%. $AIC_{\rm min}$ $i$ $\Delta_i=1.5$ $p_i=0.47$ $\Delta_i=15$ $p_i=0.0005$ $i$ $AIC_{\rm min}$

Нарешті, стосовно формули для AIC:

A I C = 2 k - 2 L,

$AIC=2k-2\mathcal{L},$

важливо зазначити, що при розгляді двох моделей з подібними залежить виключно від кількості параметрів через термін . Отже, коли , відносне поліпшення зумовлене фактичним поліпшенням пристосування, а не збільшенням кількості лише параметрів. $\mathcal{L}$ $\Delta_i$ $2k$ $\frac{\Delta_i}{2\Delta k} < 1$

TL; DR

Це погана причина; використовувати різницю між абсолютними значеннями АПК.
Процент не каже нічого.
Неможливо відповісти на це питання через відсутність інформації про моделі, дані та те, що означають різні результати .

— corey979
джерело

Це найяскравіше пояснення, яке я коли-небудь бачив у цій загадковій справі. Я переглянув статтю, на яку ви згадували (с. 270-272), і ваше пояснення тут - це просте і чітке, але дуже точне представлення того, що пояснюється у статті.

— Tripartio

Чи можете ви допомогти у цьому подальшому питанні? stats.stackexchange.com/questions/349883 / ...

— Tripartio