Інформація з матриці капелюхів для логістичної регресії

Мені зрозуміло, і на кількох сайтах добре пояснено, яку інформацію дають значення по діагоналі капелюшкової матриці для лінійної регресії.

Матриця капелюхів моделі логістичної регресії мені менш зрозуміла. Чи вона ідентична інформації, яку ви отримуєте з матриці капелюхів, застосовуючи лінійну регресію? Це визначення матриці капелюхів я знайшов у іншій темі резюме (джерело 1):

$H=VX ( X'V X)^-1 X' V$

з X вектор змінних предиктора і V - діагональна матриця з $\sqrt{(π(1−π))}$ .

Іншими словами, правдиво також, що особливе значення матриці капелюха спостереження також просто представляє положення коваріатів у коваріатному просторі і не має нічого спільного з результативним значенням цього спостереження?

Про це написано в книзі "Категоричний аналіз даних" у програмі Agresti:

Чим більший рівень спостереження, тим більший його потенційний вплив на придатність. Як і у звичайній регресії, важелі падають між 0 і 1 і доходять до кількості параметрів моделі. На відміну від звичайної регресії, значення капелюхів залежать від розміру, а також матриці моделі, і точки, які мають екстремальні значення прогнозувальника, не повинні мати високого важеля.

Отже, з цього визначення, здається, ми не можемо використовувати його, як ми використовуємо його у звичайній лінійній регресії?

Джерело 1: Як обчислити матрицю капелюхів для логістичної регресії в R?

regression logistic

— Каспер
джерело

Дозвольте мені трохи змінити позначення і записати матрицю капелюхів як де - діагональна симетрична матриця із загальними елементами . Позначимо як групи індивідів з однаковим значенням коваріату . Діагональний елемент ( ) матриці капелюха ви можете отримати як Тоді сума дає число параметрів , як і в лінійної регресії. Тепер до вашого питання:

H = V^{\frac{1}{2}} X (X^{'} V X)^{- 1} X^{'} V^{\frac{1}{2}}

$H = V^{\frac{1}{2}}X(X'VX)^{-1}X'V^{\frac{1}{2}}$

V

$V$

v_{j} = m_{j} π (x_{j}) [1 - π (x_{j})]

$v_j = m_j \pi (x_j) \left[1 - \pi (x_j) \right]$

m_{j}

$m_j$

x = x_{j}

$x = x_j$

j^{t h}

$j^{th}$

h_{j}

$h_j$

h_{j} = m_{j} π (x_{j}) [1 - π (x_{j})] x_{j}^{'} (X^{'} V X)^{- 1} x_{j}^{'}

$h_j = m_j \pi (x_j) \left[1 - \pi (x_j) \right] x'_j (X'VX)^{-1}x'_j$

h_{j}

$h_j$

Інтерпретація значень важеля в матриці капелюхів залежить від розрахункової ймовірності . Якщо , ви можете інтерпретувати значення важелів так само, як у випадку лінійної регресії, тобто віддалення від середнього значення дає вам більш високі значення. Якщо ви перебуваєте в крайніх кінцях розподілу ймовірностей, ці значення важелів можуть більше не вимірювати відстань у тому ж сенсі. Це показано на малюнку нижче, взятому з Hosmer та Lemeshow (2000): $\pi$ $0.1 < \pi < 0.9$

введіть тут опис зображення

У цьому випадку найбільш екстремальні значення в просторі коваріату можуть дати вам найменший важіль, що суперечить випадку лінійної регресії. Причина полягає в тому, що важіль при лінійній регресії - це монотонна функція, що не відповідає правильності нелінійної логістичної регресії. У вищенаведеному формулюванні діагональних елементів матриці капелюхів є монотонно зростаюча частина, яка представляє відстань від середнього. Це , яку ви можете подивитися, якщо вас цікавить лише відстань. Більшість діагностичних статистичних даних для логістичних регресій використовують повний важіль , тому ця окрема монотонна частина рідко розглядається окремо. $x'_j (X'VX)^{-1}x'_j$ $h_j$

Якщо ви хочете прочитати цю тему глибше, погляньте на статтю Прегібона (1981), який вивів матрицю логістичних капелюхів, та книгу Хосмера та Лемешоу (2000).

Прегібон, Д. (1981) «Логістична регресійна діагностика», Анали статистики, Вип. 9 (4), стор 705-724
Hosmer, DW та Lemeshow, S. (2000) "Прикладна логістична регресія", 2-е видання, John Wiley and Sons, Inc.

— Енді
джерело