Порівнюючи коефіцієнти логістичної регресії в моделях?

11

Я розробив модель logit, яку слід застосувати до шести різних наборів даних поперечного перерізу. Я намагаюся розкрити, чи є зміни суттєвого впливу даної незалежної змінної (IV) на залежну змінну (DV), що контролює інші пояснення, в різний час та впродовж часу.

Мої запитання:

Як я оцінюю збільшення / зменшення розміру в асоціації між IV та DV?
Чи можу я просто подивитися на різні величини (розміри) коефіцієнтів у моделях або мені потрібно пройти якийсь інший процес?
Якщо мені потрібно зробити щось інше, що це таке і чи можна це зробити / як це зробити в SPSS?

Також в межах однієї моделі
Чи можу я порівняти відносний розмір незалежних змінних на основі нестандартних балів, якщо всі кодуються 0-1 або мені потрібно конвертувати їх у стандартизовані бали?
Чи є проблеми зі стандартизованими балами?

logistic spss

— Ейс
джерело

2

Ця стаття може зацікавити dx.doi.org/10.1093/esr/jcp006 , очевидно, порівняння ефектів між логістичними моделями значно складніше, ніж у випадку OLS!

— Енді Ш

13

Я головним чином зупинюся на ваших перших трьох питаннях. Короткі відповіді: (1) вам потрібно порівнювати вплив IV на DV за кожен часовий період, але (2) лише порівняння величин може призвести до помилкових висновків, і (3) існує багато способів зробити це, але немає єдиної думки щодо того, хто з них правильний.

Нижче я описую, чому ви не можете просто порівняти величини коефіцієнтів і вказую на деякі рішення, про які думали досі.

На думку Аллісон (1999), на відміну від OLS, на коефіцієнти логістичної регресії впливає незарезервована гетерогенність, навіть коли така гетерогенність не пов'язана зі змінною, що цікавить.

Коли ви підходите до логістичної регресії, наприклад:

(1)

\ln (\frac{1}{1 - p_{i}}) = β_{0} + β_{1} x_{1 i}

$\ln\bigg(\frac{1}{1-p_i}\bigg) = \beta_{0} + \beta_{1}x_{1i}$

Насправді ви підходите до рівняння, яке передбачає значення латентної змінної що представляє основу схильності кожного спостереження приймати значення у бінарній залежній змінній, що відбувається, якщо вище певного порогу. Рівняння для цього є (Williams, 2009): $y^*$ $1$ $y^*$

(2)

y^{*} = α_{0} + α_{1} x_{1 i} + σ ε

$y^* =\alpha_{0} + \alpha_{1}x_{1i} + \sigma \varepsilon$

Термін вважається незалежним від інших термінів і слідкувати за логістичним розподілом - або нормальним розподілом у разі пробіту та логістично-логістичного розподілу у разі додаткового журналу журналу та каучучого розподілу у випадку каухіт. $\varepsilon$

За словами Вільямса (2009), коефіцієнти в рівнянні 2 пов'язані з коефіцієнтами в рівнянні 1 до: $\alpha$ $\beta$

(3)

β_{j} = \frac{α_{j}}{σ} j = 1, . . ., J .

$\beta_{j} = \frac{\alpha_{j}}{\sigma}\;\;j=1,...,J.$

У рівняннях 2 і 3 є коефіцієнтом масштабування непоміченої зміни, і ми можемо бачити, що розмір оцінених коефіцієнтів залежить від , якого не спостерігається. Виходячи з цього, Еллісон (1999), Вільямс (2009) та Муд (2009), серед інших, стверджують, що ви не можете наївно порівнювати коефіцієнти між логістичними моделями, оціненими для різних груп, країн чи періодів. $\sigma$ $\beta$ $\sigma$

Це відбувається тому, що порівняння можуть дати неправильні висновки, якщо непомічені зміни відрізняються між групами, країнами або періодами. Обидві порівняння, що використовують різні моделі та використовують умови взаємодії в межах однієї моделі, страждають від цієї проблеми. Окрім logit, це стосується також своїх кузенів probit, clog-log, cachit і, в свою чергу, до дискретних моделей небезпеки за часом, оцінених за допомогою цих функцій зв'язку. На це також впливають упорядковані моделі logit.

Вільямс (2009) стверджує, що рішення полягає в моделюванні непоміченої варіації за допомогою гетерогенної моделі вибору (він же, модель розміщення місць розташування), і забезпечує додавання до статистики, що вимагається oglm для цього (Williams 2010). У R моделі гетерогенного вибору можуть відповідати hetglm()функції glmxпакету, яка доступна через CRAN. Обидві програми дуже прості у використанні. Нарешті, Williams (2009) згадує PLUMзвичайну SPSS для встановлення цих моделей, але я ніколи не використовував її і не можу прокоментувати, наскільки це просто у використанні.

Однак є щонайменше один робочий документ , який показує, що порівняння, що використовують різнорідні моделі вибору, можуть бути ще більш упередженими, якщо рівняння дисперсії неправильно визначено або є помилка вимірювання.

Mood (2010) перераховує інші рішення, які не передбачають моделювання дисперсії, але використовують порівняння передбачуваних змін ймовірності.

Мабуть, це питання, яке не врегульоване, і я часто бачу документи на конференціях моєї галузі (соціології), де виходять різні рішення для цього. Я б порадив вам поглянути на те, що роблять люди у вашій галузі, а потім вирішити, як з цим боротися.

Список літератури

Еллісон, PD (1999). Порівняння коефіцієнтів Logit та Probit у різних групах. Соціологічні методи та дослідження, 28 (2), 186–208.
Настрій, С. (2010). Логістична регресія: чому ми не можемо робити те, що ми думаємо, що можемо зробити, і що ми можемо з цим зробити. Європейський соціологічний огляд, 26 (1), 67–82.
Вільямс, Р. (2009). Використання моделей гетерогенного вибору для порівняння коефіцієнтів Logit та Probit у всіх групах. Соціологічні методи та дослідження, 37 (4), 531–559.
Вільямс, Р. (2010). Встановлення різнорідних моделей вибору з oglm. The Stata Journal, 10 (4), 540–567.

— Кенджі
джерело

Я намагаюся реалізувати рішення Williams (2009) в R, і, здається, нові версії пакету glmx вже не мають функції hetprob (). Просто хотів перевірити, чи знаєте ви якісь альтернативи для цього?

— AliCivil

1

Я не використовував glmx деякий час і не знав, що він змінився. Тепер він доступний через CRAN, і функція, яка використовується для ероскредастичного пробіту, називається, мабуть, hetglm (). Я оновлю цю відповідь, щоб відобразити це пізніше (тут йдеться про час у ліжку). Я сподіваюся, що це зараз допомагає.

— Кенджі

3

Чи є зміни в наборах даних? Я можу відповісти на це, не бачачи даних! Так. Існує. Наскільки вони великі? Це ключове. Для мене спосіб бачити - це дивлячись. У вас будуть коефіцієнти шансів для кожної незалежної змінної для кожного набору даних - чи відрізняються вони способами, яким люди будуть цікавими? Тепер, правда, у кожного буде стандартна помилка тощо, і, ймовірно, є способи зрозуміти, чи вони статистично суттєво відрізняються один від одного, але це справді цікаве питання? Якщо це так, то одним із способів легко перевірити його з програмним забезпеченням буде поєднання всіх досліджень та включення "вивчення" як іншої незалежної змінної. Тоді ви навіть можете випробувати взаємодії, якщо хочете. Ви хочете це зробити, залежить від ваших предметних питань.

Що стосується порівняння змінних у моделі, головна проблема зі стандартизованими оцінками полягає в тому, що вони стандартизовані для вашого конкретного зразка. Отже, оцінки параметрів і так далі вираховуються в стандартних відхиленнях змінних у вашому конкретному вибірці. Навіть якщо ваша вибірка справді є випадковою вибіркою з деякої сукупності, вона матиме (трохи) різні стандартні відхилення від інших випадкових вибірок. Це робить речі заплутаними.

Інша проблема полягає в тому, що навіть "відносний розмір" означає. Якщо ваші ІВ - це речі, які добре розуміються, ви можете порівняти АБО за діапазонами, які щось означають.

— Пітер Флом
джерело

Це корисно, спасибі Пітер. Причиною, що я задав перше питання, є те, що я саме це бачив - порівняння коефіцієнтів у моделях у вибірці та порівняння між моделями з різних зразків - у реферованих роботах. Я не відчував, що це правильний підхід, і, очевидно, я маю рацію. Що стосується технічних деталей, чи не можу я просто оцінити модель на всіх шести зразках та термін взаємодії між ключовим передбачувачем, який я хочу порівняти, та змінною із зазначенням кожного зразка (що представляє різний часовий період)? Це ви казали? Чи потрібна мені змінна для кожного s

— Ejs

Привіт @ejs. Вам потрібно буде кодувати "зразок" так само, як і будь-яку іншу категоричну змінну - фіктивне кодування або кодування ефектів чи будь-що інше.

— Пітер Флом

Щодо взаємодій .... так, їх можна важко інтерпретувати. Мені подобається графічний підхід до показу, що вони означають.

— Пітер Флом

3

Гільгерме тут на гроші. Хоча інші відповіді корисні, зауважте, що логістична регресія (і вся нелінійна регресія, як Пуассон, з цього приводу) принципово відрізняється від лінійної регресії. Можливо, можуть виникнути серйозні проблеми з коефіцієнтом масштабування logit при виконанні одного і того ж аналізу на шести різних наборах даних, а потім при виконанні цього аналізу на об'єднаному наборі даних. Зміни коефіцієнтів можуть не мати нічого спільного із значущими відмінностями (навіть якщо вони є статистично значущими або суттєво важливими). Вони могли мати все, що стосується незауваженої неоднорідності в зразках. Ви абсолютно повинні пройти тестування на це. Багато (якщо не більшість) дослідників у галузі соціальних та політичних наук ігнорують це. Guilherme дає назви про це, на що я рекомендую всім подивитися. Пропозиції Пітерса практичні, але просто кодування фіктивної змінної для вибірки, з якої беруться дані, не вирішить цю неоднорідність у коефіцієнті масштабування. Це можна зробити за допомогою лінійної регресії, і неоднорідність не повинна впливати на ваші коефіцієнти, але тут це може бути.

Ще один аспект ефекту незабезпеченої гетерогенності, унікальної для logit vs лінійної регресії, - це вплив різних регресорів у кожному наборі даних. Якщо у вас немає однакових змінних, або, можливо, якщо вони вимірюються по-різному, у вас є форма опущеної зміщення змінної. На відміну від лінійної регресії, опущена змінна, ортогональна вашому ключовому регресору, все ще може змістити вашу оцінку. Як говорить Крамер:

Навіть з ортогональними регресорами опущені змінні пригнічують до нуля, відносно його значення в повному рівнянні. Іншими словами, дискретних моделей змінюється обернено залежно від міри непоміченої неоднорідності. Практичний наслідок полягає в тому, що оцінки зразків, які відрізняються в цьому відношенні, не є порівнянними безпосередньо. ( http://dare.uva.nl/document/2/96199 ) $\hat β$ $\hat β$

Креймер також зазначає, що хоча оцінки коефіцієнта зміщені вниз при опущенні змінної, часткові похідні не є. Це досить складно, і ви повинні прочитати статтю для більш чіткого пояснення - загальна суть полягає в тому, що не дивіться виключно на коефіцієнти коефіцієнтів журналу або шансів. Розглянути прогнозовані ймовірності та похідні; див. команду маргіналів у Stata для отримання більш детальної інформації JD Long має документ, який тут детально описується.

Нарешті, є декілька статей, з якими Google може обговорити умови взаємодії в моделях logit. Я розумію, що приймайте коефіцієнт логіти взаємодії як орієнтир, але не остаточний, особливо якщо ви вважаєте за краще коефіцієнти розкритими коефіцієнтами коефіцієнтів. Подивівшись на прогнозовані ймовірності та середній граничний ефект краще (знову ж таки, подивіться документацію на команду Stata margin для logit, навіть якщо ви використовуєте SPSS, це все ще буде корисним).

Я недостатньо знайомий з SPSS, щоб знати, як цей пакет може вирішити ці проблеми, але я скажу так: коли ви потрапляєте у більш глибокі статистичні питання, як це, це є ознакою того, що вам настав час перейти до більше гнучкий, витончений пакет типу Stata або R.

— robin.datadrivers
джерело

+1 за рекомендування граничних ефектів та за рекомендацію переїхати до Р.

— Кенджі

1

Іншим інструментом, який може бути корисним, є стандартизований коефіцієнт регресії або, принаймні, псевдоверсія, що є готовою. Отримати одну таку версію можна, помноживши отриманий коефіцієнт на стандартне відхилення предиктора. (Є інші версії та деякі дискусії щодо найкращої, наприклад, див. Menard 2002, Applied Logistic Regression Analysis ( книги Google )). Це дасть вам змогу оцінити силу ефекту в ході досліджень.

— rolando2
джерело