Інтерпретація досвіду (B) у багаточленній логістичній регресії

Це дещо питання для початківців, але як інтерпретувати результат exp (B) 6.012 в мультиноміальній логістичній регресії?

1) це 6.012-1.0 = 5.012 = 5012% збільшення ризику?

або

2) 6,012 / (1 + 6,012) = 0,857 = 85,7% збільшення ризику?

Якщо обидві альтернативи є невірними, може хтось, будь ласка, зазначити правильний шлях?

Я шукав багато ресурсів в Інтернеті, і потрапляю до цих двох альтернатив, і я не зовсім впевнений, який з них правильний.

Щоб дістатися туди, нам знадобиться певний час, але, підсумовуючи, зміна змінної, що відповідає одній одиниці B, збільшить відносний ризик результату (порівняно з базовим результатом) на 6.012.

Це можна виразити як збільшення на 5012% відносного ризику, але це заплутаний і потенційно оманливий спосіб зробити це, тому що це дозволяє нам думати про зміни додатково, коли насправді багаточленна логістична модель настійно спонукає нас до мислити мультиплікативно. Модифікатор "відносний" є суттєвим, оскільки зміна змінної одночасно змінює передбачувані ймовірності всіх результатів, а не лише того, про який йдеться, тому нам доведеться порівнювати ймовірності (за допомогою коефіцієнтів, а не різниць).

Решта цієї відповіді розвиває термінологію та інтуїцію, необхідну для правильного тлумачення цих тверджень.

Фон

Почнемо зі звичайної логістичної регресії, перш ніж переходити до мультиноміального випадку.

Для залежної (бінарної) змінної та незалежних змінних X i модель є$Y$$X_i$

$$\Pr[Y=1] = \frac{\exp(\beta_1 X_1 + \cdots + \beta_m X_m)}{1+\exp(\beta_1 X_1 + \cdots + \beta_m X_m)};$$

еквівалентно, якщо вважати ,$0 \ne \Pr[Y=1] \ne 1$

$$\log(\rho(X_1, \cdots, X_m)) = \log\frac{\Pr[Y=1]}{\Pr[Y=0]} = \beta_1 X_1 + \cdots + \beta_m X_m.$$

(Це просто визначає , що є шансами як функцією X i .)$\rho$$X_i$

Не втрачаючи загальності, індексуйте так, що X m є змінною, а β m - "B" у питанні (так що exp ( β m ) = 6,012 ). Фіксація значення X я , 1 ≤ я < м , і варіюючи X м на малу величину & delta ; виходи$X_i$$X_m$$\beta_m$$\exp(\beta_m)=6.012$$X_i, 1\le i\lt m$$X_m$$\delta$

$$\log(\rho(\cdots, X_m+\delta)) - \log(\rho(\cdots, X_m)) = \beta_m \delta.$$

Таким чином, - гранична зміна логічних коефіцієнтів щодо X m .$\beta_m$ $X_m$

Щоб відновити , очевидно, ми повинні встановити δ = 1 і експоненціювати ліву частину:$\exp(\beta_m)$$\delta=1$

$$\eqalign{ \exp(\beta_m) &= \exp(\beta_m \times 1) \\ & = \exp( \log(\rho(\cdots, X_m+1)) - \log(\rho(\cdots, X_m))) \\ & = \frac{\rho(\cdots, X_m+1)}{\rho(\cdots, X_m)}. }$$

Це показує як коефіцієнт шансів на одно-одиничне збільшення X m . Щоб розвинути інтуїцію щодо того, що це може означати, складіть таблицю деяких значень для діапазону стартових шансів, сильно округлюючи, щоб шаблони виділялися:$\exp(\beta_m)$$X_m$

Starting odds  Ending odds  Starting Pr[Y=1]  Ending Pr[Y=1]
0.0001         0.0006       0.0001            0.0006
0.001          0.006        0.001             0.006
0.01           0.06         0.01              0.057
0.1            0.6          0.091             0.38
1.             6.           0.5               0.9
10.            60.          0.91              1.
100.           600.         0.99              1.

Для дуже маленьких шансів, що відповідає дуже малих ймовірностей, ефект збільшення на одну одиницю в , щоб помножити шанси або ймовірність приблизно 6,012. Мультиплікативний коефіцієнт зменшується, коли шанси (та ймовірність) збільшуються, і по суті зникає, коли шанси перевищують 10 (ймовірність перевищує 0,9).$X_m$

Як зміна добавки , велика різниця між ймовірністю 0,0001 і 0,0006 (це лише 0,05%), а також різницею між 0,99 та 1 (лише 1%). Найбільший аддитивний ефект виникає, коли коефіцієнт дорівнює , де ймовірність змінюється від 29% до 71%: зміна + 42%.$1/\sqrt{6.012} \sim 0.408$

Тоді ми бачимо, що якщо ми виражаємо "ризик" як коефіцієнт шансів, = "B" має просту інтерпретацію - коефіцієнт шансів дорівнює β m для одиничного збільшення X m -, але коли ми виражаємо ризик у деякі інші способи, такі як зміна ймовірностей, інтерпретація вимагає обережності для визначення початкової ймовірності.$\beta_m$$\beta_m$$X_m$

Багаточленна логістична регресія

(Це було додано як пізніша редакція.)

Визнавши значення використання коефіцієнтів журналу для вираження шансів, перейдемо до мультиноміального випадку. Тепер залежна змінна може дорівнювати одній з k ≥ 2 категорій, індексованій i = 1 , 2 , … , k . Відносна ймовірність того, що вона знаходиться в категорії я є$Y$$k \ge 2$$i=1, 2, \ldots, k$$i$

$$\Pr[Y_i] \sim \exp\left(\beta_1^{(i)} X_1 + \cdots + \beta_m^{(i)} X_m\right)$$

з параметрами які слід визначити, і записуючи Y i для Pr [ Y = категорія  i ] . Як абревіатуру, запишемо правий вираз у вигляді p i ( X , β ) або, де X і β зрозумілі з контексту, просто p i . Нормалізація для зведення всіх цих відносних ймовірностей дорівнює одиниці$\beta_j^{(i)}$$Y_i$$\Pr[Y=\text{category }i]$$p_i(X,\beta)$$X$$\beta$$p_i$

$$\Pr[Y_i] =\frac{p_i(X,\beta)}{p_1(X,\beta) + \cdots + p_m(X,\beta)}.$$

(У параметрах є неоднозначність: їх занадто багато. Зазвичай, для порівняння вибирають "базову" категорію і змушують усі її коефіцієнти дорівнювати нулю. Однак, хоча це необхідно для повідомлення унікальних оцінок бета, воно НЕ потрібно інтерпретувати коефіцієнти для підтримки симетрії -. тобто, щоб уникнути будь - яких штучних відмінностей між категоріями - давайте не будемо застосовувати будь-яке таке обмеження , якщо ми не повинні).

Одним із способів інтерпретації цієї моделі є запит граничної швидкості зміни коефіцієнта журналу для будь-якої категорії (скажімо, категорія ) стосовно будь-якої з незалежних змінних (скажімо, X j ). Тобто, коли ми трохи змінимо X j , це викликає зміну логічного шансу Y i . Нас цікавить константа пропорційності, що стосується цих двох змін. Правило ланцюга обчислення разом з невеликою алгеброю говорить нам, що така швидкість змін є$i$$X_j$$X_j$$Y_i$

$$\frac{\partial\ \text{log odds}(Y_i)}{\partial\ X_j} = \beta_j^{(i)} - \frac{\beta_j^{(1)}p_1 + \cdots + \beta_j^{(i-1)}p_{i-1} + \beta_j^{(i+1)}p_{i+1} +\cdots + \beta_j^{(k)}p_k}{p_1 + \cdots + p_{i-1} + p_{i+1} + \cdots + p_k}.$$

Це має порівняно просту інтерпретацію, оскільки коефіцієнт від X j у формулі для того, що Y є у категорії i за вирахуванням "коригування". Корекція - це середньозважене на вірогідність коефіцієнти X j у всіх інших категоріях . Ваги обчислюються з використанням ймовірності , пов'язану з поточними значеннями незалежних змінних X . Таким чином, гранична зміна журналів не обов'язково є постійною: це залежить від ймовірності всіх інших категорій, а не лише від ймовірності відповідної категорії (категорія $\beta_j^{(i)}$$X_j$$Y$$i$$X_j$$X$$i$).

Коли є лише категорії, це повинно зводитися до звичайної логістичної регресії. Дійсно, зважування ймовірності нічого не робить і (вибираючи i = 2 ) дає просто різницю β ( 2 ) j - β ( 1 ) j . Нехай базова категорія i є базовим випадком, зводить це далі до β ( 2 ) j , тому що ми примушуємо β ( 1 ) j = 0 . Таким чином нова інтерпретація узагальнює стару.$k=2$$i=2$$\beta_j^{(2)} - \beta_j^{(1)}$$i$$\beta_j^{(2)}$$\beta_j^{(1)}=0$

Щоб інтерпретувати безпосередньо, тоді ми виділимо його на одній стороні попередньої формули, що веде до:$\beta_j^{(i)}$

Коефіцієнт для категорії я дорівнює граничним зміна в журналі шанси категорії I по відношенню до змінної X J , плюс ймовірність-зважене середнє коефіцієнтів всіх інших X J ' для категорії я .$X_j$$i$$i$$X_j$$X_{j'}$$i$

Інша інтерпретація, хоча і дещо менш пряма, надається (тимчасово) встановленням категорії як основного випадку, таким чином, роблячи β ( i ) j = 0 для всіх незалежних змінних X j :$i$$\beta_j^{(i)}=0$$X_j$

Гранична швидкість зміни коефіцієнтів журналу базового випадку для змінної - це від'ємне значення середньозваженого на вірогідність його коефіцієнтів для всіх інших випадків.$X_j$

Насправді використання цих інтерпретацій зазвичай вимагає вилучення бета-версій та ймовірностей з виведення програмного забезпечення та виконання обчислень, як показано.

Нарешті, для коефіцієнтів експоненціації зауважте, що відношення ймовірностей між двома результатами (іноді їх називають "відносним ризиком" порівняно з i ' )$i$$i'$

$$\frac{Y_{i}}{Y_{i'}} = \frac{p_{i}(X,\beta)}{p_{i'}(X,\beta)}.$$

Збільшимо на одну одиницю до X j + 1 . Це множимо p i на exp ( β ( i ) j ) і p i ′ на exp ( β ( i ′ ) j ) , звідки відносний ризик помножується на exp ( β ( i ) j ) / exp ( β ( i ′) ) j$X_j$$X_j+1$$p_{i}$$\exp(\beta_j^{(i)})$$p_{i'}$$\exp(\beta_j^{(i')})$$\exp(\beta_j^{(i)}) / \exp(\beta_j^{(i')})$= . Приймаючи категорію i ' як базовий випадок, це зводить це до exp ( β ( i ) j ) , що призводить нас до того, щоб сказати,$\exp(\beta_j^{(i)}-\beta_j^{(i')})$$i'$$\exp(\beta_j^{(i)})$

Експонентний коефіцієнт - це сума, на яку відносний ризик Pr [ Y = категорія  i ] / Pr [ Y = базова категорія ] множиться, коли змінна X j збільшується на одну одиницю.$\exp(\beta_j^{(i)})$$\Pr[Y = \text{category }i]/\Pr[Y = \text{base category}]$$X_j$

Спробуйте розглянути це трохи пояснень на додаток до того, що @whuber вже так добре написав. Якщо exp (B) = 6, то коефіцієнт шансів, пов'язаний зі збільшенням 1 на відповідний прогноктор, дорівнює 6. У мультиноміальному контексті під «коефіцієнтом шансів» маємо на увазі відношення цих двох величин: а) шанси ( не ймовірність, а скоріше p / [1-p]) випадку, що приймає значення залежної змінної, зазначеної у вихідній таблиці, про яку йдеться, і b) шанси випадку, що приймають опорне значення залежної змінної.

Ви, здається, хочете кількісно оцінити ймовірність, а не шанси - справи, що належать до тієї чи іншої категорії. Для цього вам потрібно знати, з якою ймовірністю справа "починалася" - тобто, перш ніж ми припустили збільшення на 1 для відповідного прогноктора. Коефіцієнти ймовірностей залежать від конкретних випадків, тоді як відношення шансів, пов'язаних зі збільшенням 1 на прогнокторі, залишається однаковим.

Я також шукав ту саму відповідь, але один раз вище не задовольняв мене. Здавалося, складним є те, що воно є насправді. Тому я дам своє тлумачення, будь ласка, виправте мене, якщо я помиляюся.

Однак читай до кінця, оскільки це важливо.

Перш за все, значення B і Exp (B) - це те, що ви шукаєте. Якщо B від'ємний, то Exp (B) буде нижчим за одиницю, що означає зменшення шансів. Якщо вище, то Exp (B) буде вище 1, значить шанси збільшуються. Оскільки ви множите на коефіцієнт Exp (B).

На жаль, вас там ще немає. Оскільки в мультиномінальній регресії залежна змінна має кілька категорій, давайте назвемо ці категорії D1, D2 і D3. Ваша остання - референтна категорія. І припустимо, що вашою першою незалежною змінною є стать (чоловіки проти жінок).

Скажімо, вихід для D1 -> чоловіків є exp (B) = 1,21, це означає, що шанси збільшуються на коефіцієнт 1,21 на те, що вони перебувають у категорії D1, а не D3 (контрольна категорія) порівняно з жінками (референтна категорія).

Таким чином, ви завжди порівнюєте проти вашої референтної категорії залежних, але й незалежних змінних. Це неправда, якщо у вас є коваріатна змінна. У цьому випадку це означатиме; збільшення на 1 одиницю в X збільшує шанси на 1,21, а не в D3, а не в D3.

Для тих, хто має порядкову змінну:

Якщо ви маєте порядкову залежну змінну і не зробили порядкової регресії через припущення пропорційних коефіцієнтів, наприклад. Майте на увазі, що ваша найвища категорія - це референтна категорія. Ваш результат, як зазначено вище, дійсний для звітування Але майте на увазі, що збільшення шансів, ніж насправді, означає збільшення шансів бути нижчою категорією, а не вищою! Але це лише в тому випадку, якщо у вас є порядкова залежна змінна.

Якщо ви хочете дізнатися про збільшення відсотка, то добре візьміть вигадане число з коефіцієнтами, скажімо, 100 і помножте його на 1,21, що становить 121? У порівнянні зі 100, на скільки це змінилося відсотково?

Скажіть, що exp (b) в mlogit дорівнює 1,04. якщо помножити число на 1,04, то воно збільшується на 4%. Це відносний ризик потрапити до категорії a замість b. Я підозрюю, що частина плутанини тут може стосуватися 4% (мультиплікативне значення) та 4% балів (адитивне значення). Інтерпретація% правильна, якщо ми говоримо про зміну відсотка, а не про відсоткові зміни. (Останнє не мало б сенсу, оскільки відносні ризики не виражаються у відсотках.)