Чи є якась причина віддавати перевагу AIC або BIC перед іншими?

AIC і BIC - це обидва методи оцінки відповідності моделі, що штрафується за кількістю оцінюваних параметрів. Наскільки я розумію, BIC карає моделі більше за вільні параметри, ніж AIC. Крім переваг, що ґрунтуються на строгості критеріїв, чи є інші причини віддати перевагу AIC перед BIC або навпаки?

Ваше запитання означає, що AIC та BIC намагаються відповісти на одне і те ж питання, що не відповідає дійсності. АПК намагається вибрати модель, яка найбільш адекватно описує невідому реальність з високими розмірами. Це означає, що реальність ніколи не буває у наборі кандидатських моделей, які розглядаються. Навпаки, BIC намагається знайти модель ІСТИНА серед набору кандидатів. Мені здається досить дивним припущення, що реальність закладена в одній із моделей, яку будували дослідники на цьому шляху. Це справжнє питання для BIC.

Тим не менш, є багато дослідників, які кажуть, що BIC кращий за AIC, використовуючи моделювання відновлення моделей як аргумент. Ці імітації складаються з генерування даних з моделей A і B, а потім встановлення обох наборів даних з двома моделями. Переобладнання виникає тоді, коли неправильна модель підходить для даних краще, ніж генеруюча. Сенс цих симуляцій полягає в тому, щоб перевірити, наскільки AIC та BIC виправляють ці наряди. Зазвичай результати вказують на те, що АПК занадто ліберальна і все ще часто надає перевагу складнішій, неправильній моделі над більш простою, справжньою моделлю. На перший погляд, ці симуляції здаються справді гарними аргументами, але проблема з ними полягає в тому, що вони не мають сенсу для AIC. Як я вже говорив раніше, AIC не вважає, що будь-яка з кандидатських моделей, що тестуються, насправді є правдою. Згідно з AIC, всі моделі - це наближення до реальності, і реальність ніколи не повинна мати низьку розмірність. Принаймні нижче, ніж деякі моделі-кандидати.

Моя рекомендація - використовувати як AIC, так і BIC. У більшості випадків вони погоджуватимуться з кращою моделлю, а коли цього не відбувається, просто повідомляють про це.

Якщо ви незадоволені як AIC, так і BIC, і у вас є вільний час для інвестицій, знайдіть Мінімальну довжину опису (MDL) - зовсім інший підхід, який долає обмеження AIC та BIC. Існує декілька заходів, що випливають із MDL, як нормалізована максимальна ймовірність або наближення інформації Фішера. Проблема з MDL полягає в тому, що його математично вимогливий та / або обчислювально інтенсивний.

Однак, якщо ви хочете дотримуватися простих рішень, хороший спосіб оцінки гнучкості моделі (особливо коли кількість параметрів однакова, а також AIC і BIC є непотрібними) робить параметричний Bootstrap, який досить легко здійснити. Ось посилання на статтю на ньому.

Деякі люди виступають за використання перехресної перевірки. Я особисто використовував його і не маю нічого проти цього, але проблема з ним полягає в тому, що вибір серед правил вирізання вибірки (випуск-один-вихід, K-складка тощо) - безпринципний.

Хоча AIC і BIC є одночасно оціненими максимальною вірогідністю та штрафують вільні параметри, намагаючись боротися з надмірною обробкою, вони роблять це таким чином, що призводить до значно різної поведінки. Давайте розглянемо одну загально представлену версію методів (яка утворює результати, що передбачають нормально розподілені помилки та інші припущення, що добре поводяться):

• AIC = -2 * ln (вірогідність) + 2 * k,

і

• BIC = -2 * ln (вірогідність) + ln (N) * k,

де:

• k = модель ступеня свободи
• N = кількість спостережень

Найкраща модель у порівняній групі - це модель, яка мінімізує ці показники в обох випадках. Зрозуміло, що AIC безпосередньо не залежить від розміру вибірки. Більше того, загалом кажучи, АПК представляє небезпеку, що вона може перевищити, тоді як BIC представляє небезпеку, що вона може бути недостатньою, просто в силу того, як вони штрафують вільні параметри (2 * k в AIC; ln (N) * k в BIC). Діахронічно, коли дані вводяться і перерахунки балів, при відносно низькому N (7 і менше) BIC є більш толерантним до вільних параметрів, ніж AIC, але менш толерантним при більшій N (оскільки природний журнал N долає 2).

Крім того, AIC спрямована на пошук найкращої моделі наближення до невідомого процесу генерування даних (шляхом мінімізації очікуваного розрахованого розбіжності KL ). Як такий, він не зможе зблизитись вірогідно з істинною моделлю (якщо припустити, що така група присутня в оціненій групі), тоді як BIC дійсно сходиться, оскільки N має тенденцію до нескінченності.

Отже, як у багатьох методологічних питаннях, що слід віддати перевагу, залежить від того, що ви намагаєтеся зробити, які інші методи доступні та чи є будь-які окреслені функції (конвергенція, відносна толерантність до вільних параметрів, мінімізація очікуваної розбіжності KL ), розмовляйте зі своїми цілями.

Моє швидке пояснення

• AIC найкраще для прогнозування, оскільки він асимптотично еквівалентний перехресній валідації.
• BIC найкраще для пояснення, оскільки дозволяє послідовно оцінювати основні процеси генерування даних.

На мій досвід, BIC призводить до серйозного недобору, і АПК, як правило, справляється добре, коли мета - максимально передбачити дискримінацію.

Інформаційне та доступне "виведення" AIC та BIC Брайана Ріплі можна знайти тут: http://www.stats.ox.ac.uk/~ripley/Nelder80.pdf

Ріплі надає деякі зауваження щодо припущень, що стоять за математичними результатами. Всупереч тому, що вказують деякі інші відповіді, Ріплі підкреслює, що AIC заснована на припущенні, що модель є правдивою. Якщо модель не відповідає дійсності, загальне обчислення виявить, що "кількість параметрів" має бути замінено на більш складну величину. Деякі посилання наведені в слайдах Ріплі. Однак зауважимо, що для лінійної регресії (строго кажучи з відомою дисперсією), загалом, більш складна величина спрощується дорівнює кількості параметрів.

Дійсно, єдина відмінність полягає в тому, що BIC розширено AIC для врахування кількості об'єктів (зразків). Я б сказав, що хоча обидва досить слабкі (порівняно, наприклад, з перехресною валідацією), краще використовувати AIC, ніж більшість людей будуть знайомі з абревіатурою - адже я ніколи не бачив паперу чи програми, де BIC би бути використаним (все-таки я визнаю, що я упереджений проблемами, коли такі критерії просто не працюють).

Редагувати: AIC та BIC еквівалентні перехресній валідації за умови двох важливих припущень - коли вони визначені, коли модель є максимальною ймовірністю та коли вас цікавлять лише ефективність моделі на даних тренувань. У разі згортання деяких даних на якусь консенсус, вони цілком нормальні.
У випадку, якщо зробити передбачувальну машину для певної проблеми в реальному житті, перша помилка, оскільки ваш навчальний набір представляє лише частину інформації про проблему, з якою ви маєте справу, тому ви просто не можете оптимізувати свою модель; друге - помилково, оскільки ви очікуєте, що ваша модель буде обробляти нові дані, для яких ви навіть не можете розраховувати, що навчальний набір буде репрезентативним. І для цього було придумано резюме; моделювати поведінку моделі при зіткненні з незалежними даними. У разі вибору моделі CV дає вам не лише приблизний рівень якості, але і розподіл наближення якості, тому він має таку велику перевагу, що може сказати: «Я не знаю, що б нові дані не надійшли, будь-який з них може бути краще ».

Як ви вже згадували, AIC та BIC - це методи покарання моделей, що мають більше змінних регресорів. У цих методах використовується функція штрафу, яка є функцією кількості параметрів у моделі.

• При застосуванні AIC функція штрафу - z (p) = 2 p .

• При застосуванні BIC функція штрафу - z (p) = p ln ( n ), яка ґрунтується на інтерпретації покарання як похідної від попередньої інформації (звідси назва Баєсівського критерію інформації).

Коли n великий, дві моделі дадуть зовсім різні результати. Тоді BIC застосовує набагато більший штраф до складних моделей, а отже, призведе до більш простих моделей, ніж AIC. Однак, як зазначено у Вікіпедії на BIC :

слід зауважити, що у багатьох програмах ... BIC просто зменшується до максимально можливого вибору, оскільки кількість параметрів дорівнює моделям, що цікавлять.

З того, що я можу сказати, між AIC та BIC немає великої різниці. Вони обидва математично зручні наближення можна зробити для ефективного порівняння моделей. Якщо вони дають вам різні «найкращі» моделі, це, ймовірно, означає, що у вас висока невизначеність моделі, про що важливіше хвилюватися, ніж використовувати AIC або BIC. Мені особисто більше подобається BIC, тому що він запитує більше (менше) моделі, якщо вона має більше (менше) даних, щоб відповідати її параметрам - на зразок вчителів, які просять про вищий (нижчий) рівень продуктивності, якщо їхній учень має більше (менше ) час дізнатися про предмет. Мені це просто здається інтуїтивно зрозумілим. Але я впевнений, що для AIC також існує однаково інтуїтивні та переконливі аргументи, враховуючи її просту форму.

Тепер, коли ви зробите наближення, напевно будуть певні умови, коли ці наближення є сміттям. Це, безумовно, можна побачити для AIC, де існує багато "коригувань" (AICc) для врахування певних умов, які роблять початкове наближення поганим. Це також існує для BIC, оскільки існують різні інші більш точні (але все-таки ефективні) методи, такі як наближення повністю Лапласа до сумішей g-пріорів Зельнера (BIC - це наближення до методу наближення Лапласа для інтегралів).

Одне місце, де вони обидва лайна, - це коли у вас є значна попередня інформація про параметри в будь-якій моделі. AIC та BIC надмірно штрафують моделі, де параметри частково відомі порівняно з моделями, які вимагають оцінювати параметри з даних.

$P(D|M,A)$$P(M|D,A)$$M$$M$$A$

А потім продовжую призначати ті самі моделі ймовірностей (ті ж параметри, ті ж дані, ті ж наближення тощо), я отримаю той самий набір значень BIC. Лише приєднуючи якесь унікальне значення до логічної літери "М", втягується у нерелевантні питання про "справжню модель" (відгомони "справжньої релігії"). Єдине, що "визначає" M - це математичні рівняння, які використовують його у своїх обчисленнях, - і це навряд чи виокремлює одне і лише одне визначення. Я міг би однаковою мірою висловити передбачення щодо М ("i-я модель дасть найкращі прогнози"). Я особисто не бачу, як це змінить будь-яку ймовірність, а отже, наскільки хорошим чи поганим буде BIC (АІК також з цього приводу - хоча АПК базується на іншому виведенні)

І , крім того, що трапилося з твердженням Якщо справжня модель в наборі я розглядаю, тобто 57% вірогідність того , що модель B . Мені здається досить розумним, або ви можете перейти на більш "м'яку" версію, існує 57% ймовірність того, що модель B найкраща з набору, що розглядається

Останній коментар: Я думаю, ви знайдете приблизно стільки ж думок про AIC / BIC, скільки людей, які знають про них.

AIC слід застосовувати рідко, оскільки він дійсно діє лише асимптотично. Майже завжди краще використовувати AICc (AIC з c- оррекцією для кінцевого розміру зразка). AIC, як правило, переосмислює: ця проблема значно зменшується при AICc. Основний виняток із використання AICc - це коли основні розподіли сильно лептокуртичні. Докладніше про це дивіться у книзі Вибір моделі : Бернхем та Андерсон.

AIC та BIC - це інформаційні критерії для порівняння моделей. Кожен намагається врівноважувати придатність моделі та посидючості, і кожен штрафує по-різному за кількістю параметрів.

AIC - інформаційний критерій Akaike, формула

Я не чув про KIC.

Дуже коротко:

• $n$
• BIC - це наближення до інтегрованої граничної ймовірності $P(D|M,A) (D=Data, M=model, A=assumptions)$$P(M|D,A)$$n$$n$$k=n[1−1/(log(n)−1)]$$n=$розмір вибірки (Шао, 1997). Існує багато різних версій програми BIC, які зводиться до того, щоб зробити різні наближення граничної ймовірності або припускати різні пріоритети. Наприклад, замість використання попередньої уніформи всіх можливих моделей, як в оригінальній BIC, EBIC використовує попередню уніформу моделей фіксованого розміру ( Chen & Chen 2008 ), тоді як BICq використовує розподіл Бернуї, вказуючи попередню ймовірність включення кожного параметра .

$lambda = 2$$lambda=log(n)$, де за оптимізацією однієї цілі (регресія LASSO або еластична сітка) супроводжується налаштуванням параметрів регуляризації на основі якоїсь іншої мети (яка, наприклад, мінімізує помилку прогнозування перехресної перевірки, AIC або BIC).

$n −1$спостереження як стояння для наближеної моделі відносно єдиного спостереження, що представляє «реальність». Ми можемо вважати це як вивчення максимальної кількості інформації, яка може бути отримана з даних при оцінці збитків. Дано незалежні та однаково розподілені спостереження, виконуючи це над$n$

Зауважте, що помилка LOOCV також може бути обчислена аналітично із залишків та діагоналі капелюшкової матриці , не маючи фактичної перехресної перевірки. Це завжди було б альтернативою AIC як асимптотичного наближення помилки LOOCV.

Список літератури

Стоун М. (1977) Асимптотична еквівалентність вибору моделі за допомогою перехресної валідації та критерію Акайке. Журнал Королівського статистичного товариства, серія B. 39, 44–7.

Шао Дж. (1997) Асимптотична теорія вибору лінійної моделі. Statistica Sinica 7, 221-242.