Hosmer-Lemeshow vs AIC для логістичної регресії

Якщо Hosmer-Lemeshow вказує на відсутність придатності, але AIC є найнижчим серед усіх моделей .... чи варто все-таки використовувати модель?

Якщо я видаляю змінну, статистика Хосмера-Лемешоу не є істотною (це означає, що немає грубої недостатності придатності). Але АПК збільшується.

Редагувати : Я думаю, загалом, якщо AIC різних моделей близькі (тобто ) один до одного, то вони в основному однакові. Але АПК сильно відрізняються. Це, мабуть, вказує на те, що той, з найнижчою АПК, є той, який я повинен використовувати, хоча тест Хосмера-Лемешоу вказує інакше. $<2$

Також, можливо, тест на HL застосовується лише для великих зразків? Він має низьку потужність для невеликих розмірів зразка (розмір мого зразка становить ~ 300). Але якщо я отримую значний результат ... Це означає, що навіть при низькій потужності я отримую відмову.

Чи має значення це, якби я використовував AICc проти AIC? Як отримати AICc в SAS? Я знаю, що можуть бути проблеми з кратністю. Але апріорі я припускаю, що змінні впливають на результат.

Будь-які коментарі?

Edit2 : Я думаю, що я повинен використовувати модель з однією меншою змінною та більш високою AIC з несуттєвою HL. Причина полягає в тому, що дві зі змінних співвідносяться між собою. Тож позбутися одного має сенс.

regression logistic hosmer-lemeshow-test

— Томас
джерело

Враховуйте, що всі ваші моделі можуть бути непотрібними.

@mbq: Як це допомагає?

— Томас

Добре, що навіть у групі незначних моделей є одна з кращими AIC. У будь-якому разі, не використовуйте відповіді, щоб поширити своє запитання.

Тест Хосмера-Лемешоу певною мірою є застарілим, оскільки він вимагає довільного впорядкування прогнозованих ймовірностей і не володіє чудовою силою для виявлення недостатньої калібрування. Це також не повністю штрафує за екстремальне надягання моделі. Доступні кращі методи, такі як Hosmer, DW; Хосмер, Т.; le Cessie, S. & Lemeshow, S. Порівняння тестів на корисність для моделі логістичної регресії. Статистика в медицині , 1997, 16 , 965-980. Їх новий захід реалізований у Рrms $R^2$ $c$

— Френк Харрелл
джерело

Тож чи було б краще використовувати тест на коефіцієнт ймовірності для оцінки корисності придатності моделі з найнижчим AIC? Тому що цей тест показує, що не вистачає придатності.

— Томас

Якщо дивитися на AIC більше ніж 2 моделі, це призведе до певних ухилів вибору / надмірного оснащення. AIC не чітко оцінює корисність, за винятком контексту, який я дав вище. Найкращий спосіб оцінити придатність - продемонструвати хорошу калібрування, використовуючи безперервний плавний непараметричний графік калібрування, та показавши мало доказів для більш складних компонентів, які могли б змусити модель прогнозувати краще.

— Френк Харрелл

Якщо припустити, що я не маю доступу до жодного з цих інструментів. Модель A, яка має несуттєвий тест на HL, також має одну меншу змінну, ніж модель B, яка має значний тест на HL. Я порівнюю лише ці дві моделі. Модель A має найнижчий AIC, а модель B має значно вищий AIC.

— Томас

Я мав на увазі, що модель B має найнижчий AIC, а модель A має значно вищий AIC.

— Томас

rms

P

$P$