Чому застосування вибору моделі за допомогою AIC дає мені незначні значення p для змінних

У мене є питання щодо АПК і сподіваюся, що ви можете мені допомогти. Я застосував вибір моделі (назад або вперед) на основі АПК на моїх даних. І деякі з обраних змінних закінчилися значеннями p> 0,05. Я знаю, що люди говорять, що ми повинні вибирати моделі на основі AIC замість p-значення, тому здається, що AIC і p-значення - це два відмінності. Може хтось скаже мені, в чому різниця? Я розумію поки що:

1. Для зворотного вибору за допомогою AIC, припустимо, у нас є 3 змінні (var1, var2, var3), і AIC цієї моделі є AIC *. Якщо виключення будь-якої з цих трьох змінних не призведе до AIC, який значно нижчий, ніж AIC * (з точки зору розподілу ch-квадрата при df = 1), то ми би сказали, що ці три змінні є кінцевими результатами.

2. Значне p-значення для змінної (наприклад, var1) у трьох змінних моделях означає, що стандартизований розмір ефекту цієї змінної значно відрізняється від 0 (згідно з Wald або t-тестом).

У чому полягає принципова відмінність цих двох методів? Як я інтерпретую це, якщо в моїй кращій моделі (отриманої через AIC) є деякі змінні, що мають несуттєві значення p?

AIC та його варіанти ближчі до варіацій на ніж при p-значеннях кожного регресора. Точніше, це штрафовані версії журналу вірогідності.$R^2$

Ви не хочете перевіряти відмінності AIC за допомогою chi-квадрата. Ви можете перевірити відмінності ймовірності журналу за допомогою chi-квадрата (якщо моделі вкладені). Для AIC краще нижчий (в більшості випадків у більшості його реалізацій). Подальше коригування не потрібно.

Ви дійсно хочете уникати автоматизованих методів вибору моделі, якщо можливо. Якщо вам потрібно скористатися, спробуйте LASSO або LAR.

Насправді використання AIC для ступінчастого вибору з одною змінною за часом (принаймні, асимптотично) еквівалентно ступінчастому відбору з використанням межі для p-значень приблизно 15,7%. (Це досить просто показати - AIC для більшої моделі буде меншим, якщо зменшить ймовірність журналу більше, ніж штраф за додатковий параметр 2; це відповідає вибору більшої моделі, якщо значення p в a Хі-квадрат Вальда менший за площу хвоста на поза 2 ... (15,7%)$\chi^2_1$

Тож навряд чи дивно, якщо порівнювати його з використанням менших обрізань для p-значень, які іноді містять змінні з більш високими p-значеннями, ніж це відсічення.

Зауважте, що ні p-значення, ні AIC не були розроблені для поетапного вибору моделі, насправді припущення, що лежать в основі обох (але різні припущення), порушуються після першого кроку в поступовій регресії. Як зазначалося @PeterFlom, LASSO та / або LAR є кращими альтернативами, якщо ви відчуваєте потребу в автоматизованому виборі моделі. Ці методи тягнуть великі випадкові оцінки (які поступово винагороджують випадковість) назад у бік 0 і тому мають тенденцію бути менш упередженими, ніж ступінчасті (а решта зміщення, як правило, більш консервативні).

Велика проблема з AIC, яку часто не помічають, - це величина різниці значень AIC, загальноприйняте бачити "чим краще", і зупинитися там (і автоматизовані процедури просто підкреслюють це). Якщо ви порівнюєте 2 моделі і вони мають дуже різні значення AIC, то явна перевага надається моделі з нижчим AIC, але часто ми матимемо 2 (або більше) моделі зі значеннями AIC, близькими одна до одної, у у цьому випадку, використовуючи лише модель з найнижчим значенням AIC, буде упущено цінну інформацію (а висновки щодо термінів, які містяться в цій моделі чи ні, але відрізняються від інших подібних моделей, будуть безглуздими або гіршими). Інформація, що знаходиться за межами самих даних (наприклад, наскільки важко / дорого) збирати набір змінних прогнозів), може зробити модель з дещо більшим AIC більш бажаною для використання без особливих втрат якості. Інший підхід полягає у використанні середньозваженого середнього рівня для подібних моделей (це, ймовірно, призведе до подібних остаточних прогнозів для таких санкціонованих методів, як регресія хребта чи ласо, але роздум, що веде до моделі, може допомогти в розумінні).

Мій досвід роботи з AIC полягає в тому, що якщо змінні здаються несуттєвими, але все ж з'являються в моделі з найменшим AIC, вони виявляються можливими плутанинами.

Я пропоную вам перевірити на непорозуміння. Видалення таких несуттєвих змінних має змінити величину деяких інших оцінених коефіцієнтів більш ніж на 25%.

Я думаю, що найкращий вибір моделі - це використання пакету MuMIn. Це буде однокроковий результат, і вам не доведеться шукати найнижчі значення AIC. Приклад:

d<-read.csv("datasource")
library(MuMIn)
fit<-glm(y~x1+x2+x3+x4,family=poisson,data=d)
get.models(dredge(fit,rank="AIC"))[1]