Чи обов'язково логістична регресія, що збільшує ймовірність, також максимізує AUC над лінійними моделями?

З огляду на набір даних із двійковими результатами та деякою матрицею провідників , стандартна модель логістичної регресії оцінює коефіцієнти які максимально збільшують біноміальну ймовірність. Коли повний ранг є унікальним; коли ідеального поділу немає, воно є кінцевим.$y\in\{0,1\}^n$$X\in\mathbb{R}^{n\times p}$$\beta_{MLE}$$X$$\beta_{MLE}$

Чи ця модель максимальної ймовірності також максимізує AUC ROC (він же -статистичний), чи існує якась оцінка коефіцієнта яка отримає більш високу AUC ROC? Якщо це правда, що MLE не обов'язково максимізує RUC AUC, то іншим способом розглянути це питання є "Чи існує альтернатива максимізації ймовірності, яка завжди максимізує RUC AUC логістичної регресії?"$c$$\beta_{AUC} \neq \beta_{MLE}$

Я припускаю, що в іншому випадку моделі однакові: ми не додаємо або видаляємо предиктори в , або іншим чином змінюємо специфікацію моделі, і я припускаю, що моделі, що збільшують ймовірність і максимально збільшують AUC, використовують однакову функцію зв'язку.$X$

Це не так, що .$\beta_{MLE} = \beta_{AUC}$

Щоб проілюструвати це, врахуйте, що AUC можна записати як

$P(\hat y_1 > \hat y_0 | y_1 = 1, y_0 = 0)$

Іншими словами, впорядкування прогнозів - це єдине, що впливає на AUC . Це не стосується функції ймовірності. Отже, як розумова вправа, припустимо, у нас були єдині передбачувачі, і в нашому наборі даних ми не бачимо ідеального поділу (тобто є кінцевим). Тепер, якщо ми просто візьмемо значення найбільшого прогноктора і збільшимо його на якусь невелику суму, ми змінимо ймовірність цього рішення, але це не змінить AUC, оскільки впорядкування має залишатися колишнім. Таким чином, якщо старий MLE максимізував AUC, він все одно буде максимізувати AUC після зміни предиктора, але більше не збільшуватиме ймовірність.$\beta_{MLE}$

Таким чином, принаймні, не так, що не є унікальним; будь-яка що зберігає впорядкованість оцінок, досягає точно такої ж AUC. В цілому, оскільки AUC чутливий до різних аспектів даних, я вважаю, що нам слід знайти можливість, коли не збільшує значення . Справді, я б ризикнув здогадатися, що це відбувається з великою часткою ймовірності.$\beta_{AUC}$$\beta$$\beta_{MLE}$$\beta_{AUC}$

EDIT (переміщення коментаря у відповідь)

Наступний крок - довести, що MLE не обов'язково максимізує AUC (що ще не доведено). Це можна зробити, взявши щось на кшталт прогнозів 1, 2, 3, 4, 5, 6, (з ) з результатами 0, 0, 0, 1, 1, 1, 0. Будь-яке позитивне значення буде максимізувати AUC (незалежно від значення ), але ми можемо вибрати достатньо великий, щоб .$x$$x > 6$$\beta$$x$$x$$\beta_{MLE} < 0$