Розуміння критерію АПК та Шварца

Я веду логістичну модель. Фактичний набір даних моделі містить понад 100 змінних, але я вибираю тестовий набір даних, в якому є близько 25 змінних. До цього я також створив набір даних, який мав 8-9 змінних. Мені кажуть, що значення AIC і SC можна використовувати для порівняння моделі. Я помітив, що модель має більш високі значення SC, навіть коли змінна мала низькі значення p (наприклад, 0053). На мою інтуїцію, модель із змінними, які мають хороший рівень значущості, повинна призвести до низьких значень SC та AIC. Але цього не відбувається. Може хтось прохання уточнити це. Коротше кажучи, я хочу задати наступні питання:

Чи має число змінної щось спільне з SC AIC?
Чи слід зосередитись на значеннях p або низьких значеннях AIC SC?
Які типові способи зменшення значень AIC SC?

model-selection logistic aic

— ayush biyani
джерело

Відповісти на ваше запитання досить складно точно, але мені здається, ви порівнюєте два критерії (інформаційні критерії та p-значення), які не дають однакової інформації. Що стосується всіх інформаційних критеріїв (критерій АПК або Шварца), то чим вони менші, тим краще відповідність вашої моделі (зі статистичної точки зору), оскільки вони відображають компроміс між відсутністю пристосування та кількістю параметрів у моделі ; наприклад, критерій Acaike читає , де $-2\log(\ell)+2k$ $k$ - кількість параметрів. Однак, на відміну від AIC, SC є послідовним: ймовірність вибору неправильно більшої моделі збільшиться до 0 із збільшенням розміру вибірки. Вони використовуються для порівняння моделей, але ви цілком можете спостерігати модель зі значними прогнозами, які забезпечують погану відповідність (велике залишкове відхилення). Якщо ви можете досягти іншої моделі з нижчим AIC, це говорить про погану модель. І якщо розмір вибірки великий, все ще можуть бути низькими, що не дає багато інформації про відповідність моделі. Принаймні, подивіться, чи AIC показує значне зниження при порівнянні моделі лише з перехопленням і моделі з коваріатами. Однак якщо ваш інтерес полягає у пошуку найкращого набору прогнозів, вам, безумовно, доведеться переглянути методи варіативного вибору. $p$

Я б запропонував ознайомитись із санкціонованою регресією , яка дозволяє здійснити змінний вибір, щоб уникнути проблем із придатністю. Про це йдеться у Стратегії моделювання регресії Франка Харрелла (стор. 207 пр.), Або Moons et al., Що санкціонують максимальну оцінку ймовірності для прямого коригування діагностичних та прогностичних моделей прогнозування для переоптимізму: клінічний приклад , J Clin Epid (2004) 57 ( 12).

Дивіться також дизайн ( lrm) і stepPlr ( step.plr) пакетів R, або штрафується пакет. Ви можете переглядати пов'язані питання щодо варіабельного вибору в цьому ПТ.

— хл
джерело

Привіт чл, спасибі за відповідь .. Я визнаю, що я отримав деяку інформацію з вашої відповіді. (1) Я отримую підказку, що значення P можуть знижуватися, якщо розмір вибірки великий ... - Це так ?? Наскільки я розумію, значення p може лише показати, відхилена чи ні гіпотеза ур-нуля. (2) Зараз я розумію, що мені потрібно бачити різницю в значеннях AIC тільки з перехопленням і з коваріатами. Я гадаю, що коли ми кажемо, що ми хочемо знизити AIC, ми маємо на увазі для того ж набору даних. У моєму коментарі

— я залишаю

@ayush (1) статистика випробувань (наприклад, Wald) залежить від розміру вибірки (стандартна помилка зменшується зі збільшенням розміру вибірки, і ви, швидше за все, отримаєте нижчі значення p при більшій вибірці). (2) так, хоча AIC може використовуватися для порівняння вкладених моделей, тут я думав про це як про спосіб порівняння різних моделей, що збільшують складність.

— chl

ще раз дякую .. Я отримую суть значення p зараз. Деякі 5 хвилин назад я запустив модель, яка дає мені значення p нижче .05 для всіх змінних, крім AIC 28238.407, лише з перехопленням і з коваріатами 21507.933. У мене також є випадок, коли AIC - це 16035.xy лише з перехопленням і з коваріатами 4234.xy. Як ви думаєте, порівнюючи два випадки? Зверніть увагу, що друга модель мала різні змінні 25 var, а перша - 20. тому друга, хоч і більше змінних (25 порівняно з 20) мала нижчий AIC. Хоча значення p не було .05 для всіх. Пропонуйте, будь ласка, більше запитати після цього .. Дякую.

— ayush biyani

@ayush Важко відповісти про якість моделі, не знаючи, як обрані змінні. Розрив в АПК між моделлю, що включає лише перехоплення та деякі коваріати, дає вам вказівку про "пояснювальну силу" цих прогнокторів (залишкове відхилення, здається, зменшиться в більшій мірі у 2-му показаному вами випадку, і AIC штрафує за # параметрів, як я вже сказав у своїй відповіді). Це аж ніяк не повна відповідь про актуальність цих прогнозів. Я б запропонував вам задати більш конкретне запитання (ІМО), наприклад, щодо варіативного вибору в GLM для вашого конкретного дослідження.

— chl

Групування SC та AIC разом НЕ ВАЖЛИВО . Вони дуже різні речі, хоча люди сильно їх зловживають. AIC має сенс, коли ви прогнозуєте речі, використання SC у цьому сценарії може призвести (не завжди) до неправильних результатів. Точно так само, якщо вам цікаво зробити вибір моделі з принципом посидючості (Occam's Razor) SC краще. Я не хочу вникати в теоретичні деталі, але в двох словах: SC - добре для парсимоніальних моделей, коли потрібно щось еквівалентне найпростішій можливій моделі для пояснення ваших даних, AIC - коли ви хочете передбачити. AIC не припускає, що ваша справжня модель лежить у просторі моделі там, де це робить SC.

По-друге, спільне використання p-значень та інформаційних критеріїв також може вводити в оману, як пояснено в chl .

— suncoolsu
джерело