Чи BIC намагається знайти справжню модель?

Це питання - це подальше спостереження або спроба вияснити можливу плутанину щодо теми, яку я та багато інших вважають дещо складними щодо різниці між АПК та BIC. У дуже приємній відповіді на цю тему @Dave Kellen ( /stats//a/767/30589 ) ми читаємо:

Ваше запитання означає, що AIC та BIC намагаються відповісти на одне і те ж питання, що не відповідає дійсності. AIC намагається вибрати модель, яка найбільш адекватно описує невідому реальність з високими розмірами. Це означає, що реальність ніколи не буває у наборі кандидатських моделей, які розглядаються. Навпаки, BIC намагається знайти модель ІСТИНА серед набору кандидатів. Мені здається досить дивним припущення, що реальність закладена в одній із моделей, яку будували дослідники на цьому шляху. Це справжнє питання для BIC.

У коментарі нижче, від @ gui11aume, ми читаємо:

(-1) Прекрасне пояснення, але я хотів би оскаржити твердження. @Dave Kellen Чи не могли б ви дати нам посилання на те, де ідея про те, що модель TRUE повинна бути в комплекті для BIC? Я хотів би дослідити це, оскільки в цій книзі автори дають переконливий доказ того, що це не так. - gui11aume 27 травня 1212 о 21:47

Схоже, що це твердження походить від самого Шварца (1978), хоча твердження не було необхідним. Ті ж автори (як @ gui11aume посилання на) ми читаємо з їх статті "Мультимодель висновок: Розуміння AIC та BIC у виборі моделі" ( Бернхем і Андерсон, 2004):

Чи передбачає виведення BIC існування справжньої моделі, або, що більш вузько, чи вважається, що справжня модель є в наборі моделі при використанні BIC? (Виведення Шварца уточнило ці умови.) ... Відповідь ... ні. Тобто BIC (як основа для наближення до певного інтегралу Байєса) можна отримати, не припускаючи, що модель, що лежить в основі деривації, є істинною (див., Наприклад, Cavanaugh and Neath 1999; Burnham and Anderson 2002: 293-5). Звичайно, застосовуючи BIC, набір моделей не повинен містити (неіснуючої) справжньої моделі, що представляє повну реальність. Більше того, ймовірність конвергенції обраної BIC моделі до моделі targbet (за ідеалізації iid вибірки) логічно не означає, що ця цільова модель повинна бути справжнім розподілом даних, що генерує дані).

Отже, я вважаю, що варто обговорити або уточнити (якщо більше потрібно) на цю тему. Зараз у нас є лише коментар від @ gui11aume (дякую!) Під дуже вкрай голосованою відповіддю щодо різниці між AIC та BIC.

model-selection aic bic

— Еросеннін
джерело

Щоб краще зосередити питання, AIC, можливо, може бути видалений із заголовка, оскільки, якщо я правильно розумію, це питання стосується того, чи справжня модель повинна бути в наборі кандидатів при використанні BIC.

— Juho Kokkala

@JuhoKokkala: Я згоден.

— Еросеннін

Для мене суть полягає в тому, що в більшості практичних застосувань BIC призводить до недостатнього підключення, а AIC більш правильно оцінює ймовірні показники роботи цієї моделі за новими даними. Якщо ви використовуєте AIC або BIC, якщо вибираєте з, скажімо, трьох конкуруючих моделей / наборів функцій, то отримана модель може бути надмірна. AIC і BIC найкраще працюють, коли кількість потенційних моделей низька або моделі пов'язані з невеликою кількістю параметрів (наприклад, штрафних санкцій).

— Френк Харрелл

Дякую @Erosennin за перекопання посилання. Тепер я розумію, звідки походить ідея про те, що модель TRUE повинна бути включена.

— gui11aume

@FrankHarrell: Чи можете ви пояснити, що ви маєте на увазі під практичними програмами? Якщо я правильно розумію Бернхема та Андерсона, здається, що BIC призведе до недостатніх даних, коли даних не вистачає. Коли ми маємо багато даних, BIC насправді вибере / шукатиме квазіістинну модель, більш складну, ніж AIC. AIC та BIC мають різні "цільові моделі". Я хотів би розібратися в тому, що ви говорите, якби тільки вказати мені на якусь статтю / книгу.

— Еросеннін

\frac{p (M_{1} | y)}{p (M_{2} | y)} > 1 \overset{A}{\sim} S I C (M_{1}) < S I C (M_{2})

$\frac{p(M_1|y)}{p(M_2|y)} > 1 \overset{A}{\sim} SIC(M_1) < SIC(M_2)$

\overset{A}{\sim}

$\overset{A}{\sim}$

p (M_{j} | y)

$p(M_j|y)$

j

$j$

y

$y$

I C (k) = - \frac{2}{T} l (\hat{θ}; y) + k g (T)

$IC(k) = -\frac{2}{T} \mathcal{l}(\hat{\theta};y) + k g(T)$

l (\hat{θ}; y)

$\mathcal{l}(\hat{\theta};y)$

\hat{θ}

$\hat{\theta}$

k

$k$

T

$T$

g (T) \to 0 as \infty

$g(T) \to 0 \; \text{as} \;\infty$

T g (T) \to \infty as \infty

$Tg(T) \to \infty \; \text{as} \;\infty$

g_{A I C} (T) = \frac{2}{T}, g_{S I C} (T) = \frac{\ln T}{T}

$g_{AIC}(T) = \frac{2}{T},\;\; g_{SIC}(T) = \frac{\ln{T}}{T}$

Елліотт, Г. та А. Тіммерман (2016, квітень). Економічне прогнозування Прінстонський університетський прес.

Шварц, Гедеон. "Оцінка розмірності моделі." Літописи статистики 6.2 (1978): 461-464.

— Маттіас Шмідтлахер
джерело