Оцінка логістичної регресійної моделі

Я працюю над логістичною моделлю, і у мене виникають певні труднощі з оцінкою результатів. Моя модель - двочленний логіт. Мої пояснювальні змінні: категорична змінна з 15 рівнями, дихотомна змінна та 2 безперервні змінні. Мій N великий> 8000.

Я намагаюся моделювати рішення фірм інвестувати. Залежна змінна - це інвестиція (так / ні), змінні 15 рівнів - це різні перешкоди для інвестицій, про які повідомляють менеджери. Решта змінних - це контролі продажу, кредити та використана потужність.

Нижче наведені мої результати, використовуючи rmsпакет в Р.

  Model Likelihood     Discrimination    Rank Discrim.    
                         Ratio Test            Indexes          Indexes       
Obs          8035    LR chi2     399.83    R2       0.067    C       0.632    
 1           5306    d.f.            17    g        0.544    Dxy     0.264    
 2           2729    Pr(> chi2) <0.0001    gr       1.723    gamma   0.266    
max |deriv| 6e-09                          gp       0.119    tau-a   0.118    
                                           Brier    0.213                     

          Coef    S.E.   Wald Z Pr(>|Z|)
Intercept -0.9501 0.1141 -8.33  <0.0001 
x1=10     -0.4929 0.1000 -4.93  <0.0001 
x1=11     -0.5735 0.1057 -5.43  <0.0001 
x1=12     -0.0748 0.0806 -0.93  0.3536  
x1=13     -0.3894 0.1318 -2.96  0.0031  
x1=14     -0.2788 0.0953 -2.92  0.0035  
x1=15     -0.7672 0.2302 -3.33  0.0009  
x1=2      -0.5360 0.2668 -2.01  0.0446  
x1=3      -0.3258 0.1548 -2.10  0.0353  
x1=4      -0.4092 0.1319 -3.10  0.0019  
x1=5      -0.5152 0.2304 -2.24  0.0254  
x1=6      -0.2897 0.1538 -1.88  0.0596  
x1=7      -0.6216 0.1768 -3.52  0.0004  
x1=8      -0.5861 0.1202 -4.88  <0.0001 
x1=9      -0.5522 0.1078 -5.13  <0.0001 
d2         0.0000 0.0000 -0.64  0.5206  
f1        -0.0088 0.0011 -8.19  <0.0001 
k8         0.7348 0.0499 14.74  <0.0001 

В основному я хочу оцінити регресію двома способами, а) наскільки добре модель відповідає даним і б) наскільки добре модель прогнозує результат. Для оцінки корисності придатності (a) я вважаю, що тести на відхилення, засновані на чі-квадраті, в цьому випадку не є доцільними, оскільки кількість унікальних коріаріатів наближається до N, тому ми не можемо припустити розподілу X2. Чи правильне це тлумачення?

Я бачу коваріатів, використовуючи epiRпакет.

require(epiR)
logit.cp <- epi.cp(logit.df[-1]))

    id n x1   d2 f1 k8
     1 1 13 2030 56  1
     2 1 14  445 51  0
     3 1 12 1359 51  1
     4 1  1 1163 39  0
     5 1  7  547 62  0
     6 1  5 3721 62  1
    ...
    7446

Я також читав, що тест Hosmer-Lemeshow GoF є застарілим, оскільки він ділить дані на 10, щоб запустити тест, що досить довільно.

Натомість я використовую тест le Cessie – van Houwelingen – Copas – Hosmer, що реалізований у rmsпакеті. Я не впевнений, як саме виконується цей тест, я ще не читав робіт про нього. У будь-якому випадку, результати:

Sum of squared errors    Expected value|H0           SD             Z            P
         1711.6449914         1712.2031888    0.5670868    -0.9843245    0.3249560

P великий, тому немає достатніх доказів, щоб сказати, що моя модель не підходить. Чудово! Однак….

Перевіряючи прогностичну ємність моделі (b), я малюю криву ROC і виявляю, що це AUC 0.6320586. Це виглядає не дуже добре.

Отже, підводячи підсумки моїх запитань:

1. Чи підходять тести, які я запускаю, щоб перевірити свою модель? Який ще тест я міг би розглянути?

2. Чи вважаєте ви модель взагалі корисною чи відмовите її на основі порівняно поганих результатів аналізу ROC?

Існує багато тисяч тестів, які можна застосувати для перевірки логістичної регресійної моделі, і багато цього залежить від того, чи є мета, передбачення, класифікація, вибір змінних, умовивід, причинно-наслідкове моделювання тощо. Тест Хосмера-Лемешоу, наприклад, оцінює калібрування моделі та відповідність прогнозованих значень прогнозованій частоті при поділі на децили ризику. Хоча вибір 10 довільний, тест має асимптотичні результати і може бути легко модифікований. Випробування на HL, як і AUC, мають (на мій погляд) дуже нецікаві результати, розраховані на ті самі дані, які використовувались для оцінки логістичної регресійної моделі. Це чудо програми , такі як SAS і SPSS зробив часті подання статистичних даних для абсолютно різних Аналізує де - фактоспосіб представлення результатів логістичної регресії. Тести прогнозної точності (наприклад, HL та AUC) краще використовувати з незалежними наборами даних або (ще кращими) даними, зібраними за різні періоди часу, для оцінки прогнозованої здатності моделі.

Ще один момент, який слід зробити, - це те, що передбачення та умовивід - це дуже різні речі. Об'єктивного способу оцінювання прогнозування немає, AUC 0,65 дуже хороший для прогнозування дуже рідкісних і складних подій, таких як ризик раку молочної залози на 1 рік. Аналогічно, умовивід можна звинуватити у довільному, оскільки традиційна помилкова позитивна ставка 0,05 просто зазвичай обмежується.

Якби я був ти, то опис вашої проблеми, схоже, зацікавив моделювання ефектів, про які менеджер повідомив про «перешкоди» в інвестуванні, тому зосередьтеся на представленні асоційованих моделей асоціацій. Представіть точкові оцінки та 95% довірчі інтервали для коефіцієнтів шансів моделі та будьте готові обговорити їх значення, інтерпретацію та обґрунтованість з іншими. Лісова ділянка - ефективний графічний інструмент. Ви також повинні показувати частоту цих перешкод у даних, а також подавати їх посередництво іншими змінними коригування, щоб продемонструвати, чи була можливість непорозуміння невеликою чи великою у невідрегульованих результатах. Я б ще пішов і досліджував такі фактори, як альфа Кронбаха, на предмет узгодженості перешкод, повідомляючи менеджерів, щоб визначити, чи менеджери схильні повідомляти про подібні проблеми, або,

Я думаю, ти трохи зосереджений на цифрах, а не на питанні. 90% представлення хорошої статистики відбувається до того, як будуть представлені результати моделі.