Чому дослідники економіки використовують лінійну регресію для бінарних змінних відповідей?


13

Останнім часом мені довелося прочитати кілька робіт з економіки (сфера, з якою я не надто знайомий). Одне, що я помітив, - це те, що навіть коли змінна відповідь є бінарною, лінійні регресійні моделі, встановлені за допомогою OLS, є всюдисущими. Моє питання, таким чином:

Чому перевагу надає лінійна регресія, наприклад, логістична регресія в галузі економіки? Це просто звичайна практика чи це процедура, яку активно обстоюють (у паперах, викладачах тощо)?

Зауважте, що я не запитую, чому використання лінійної регресії з бінарною відповіддю може бути поганою ідеєю або якими є альтернативні методи. Навпаки, я запитую, чому люди використовують лінійну регресію в цій обстановці, тому що я знаю відповіді на ці два питання.


5
Чи можете ви навести якісь приклади?
Стефан Коласа

7
Це не правильно. Економіка та економетрика також мають велику літературу про logit і probit та пов'язані з ними моделі. Я теж аутсайдер і не можу легко оцінити відносне використання, але література є достатньо великою, щоб спростувати "всюдисуще" (тобто всюди!). Тут виникає питання, чому так звану лінійну ймовірнісну модель взагалі використовують, і я не думаю, що пояснення потрібно знайти глибоко або важко: зрозуміти це просто, а іноді це працює адекватно.
Нік Кокс

3
Економіка має лише дуже випадкові стосунки з математикою. Я б не надто хвилювався з цього приводу.
Sycorax повідомляє, що повернеться Моніка

1
@Sycorax У мене подібне відчуття. І якщо хтось неохайний з математикою, він все одно зможе побудувати щось, що "працює".
Хайтао Ду

1
@Sycorax Це ні правда, ні справедливо. Безумовно, заявляючи, що "Ви не надто переймаєтесь цим", це безвідповідально. Залежно від підполі, економіка може мати дуже міцний зв’язок з математикою та статистикою. Просто економісти часто переймаються причинно-наслідковим висновком, тоді як вони також мають справу з даними спостережень (як це робить багато соціальних наук). Це робить надзвичайно важко встановити сильну математичну суворість, не втягуючи якусь економічну інтуїцію.
StAtS

Відповіді:


18

Ця публікація в блозі економетрики Дейва Гілза в основному окреслює недоліки лінійної моделі ймовірностей (LPM).

Однак він включає короткий перелік причин, чому дослідники вирішили використовувати його:

  • Це обчислювально простіше.
  • Простіше інтерпретувати "граничні ефекти".
  • Це дозволяє уникнути ризику неправильної конкретизації функції "зв'язок".
  • Існують ускладнення з Logit або Probit, якщо у вас є ендогенні регресивні манекени.
  • Орієнтовні граничні ефекти від моделей LPM, Logit та Probit зазвичай дуже схожі, особливо якщо у вас великий розмір вибірки.

Я не знаю, що LPM - це все, що зазвичай використовується порівняно з logit або probit, але деякі з цих причин вищезгадані для мене.


2
+1, спасибі за термін Лінійна модель ймовірності, я її раніше не знав.
Хайтао Ду

1
Про це є чудовий розділ у «Здебільшого нешкідливій економетрії» Ангріста та Пішке, якщо вас цікавить більше.
shf8888

2

У мене були подібні запитання, коли читав документи з інших поданих матеріалів. І задали багато питань, пов’язаних із цим, як, наприклад, цей у спільноті Data Data Mining: навіщо використовувати квадратичні втрати на ймовірності замість логістичних втрат?

Тут я викладу безліч особистих думок.


Я вважаю, що функція втрати не має великого значення в багатьох випадках практичного використання. Деякі дослідники, можливо, знають більше про квадратичні втрати та будують її систему, вона все ще працює і вирішує проблеми реального світу. Дослідники ніколи не можуть знати логістичну втрату чи втрату шарніру, і хочуть спробувати. Крім того, вони можуть не зацікавлені в пошуку оптимальної математичної моделі, але хочуть вирішити реальні проблеми, які ніхто раніше не намагався вирішити.

Це ще один приклад: якщо ви перевірите цю відповідь на моє запитання, всі вони є подібними. Які наслідки вибору різних функцій втрат у класифікації для приблизної втрати 0-1


Більше думок: дослідження машинного навчання можуть витратити багато часу на те, яку модель обрати та як оптимізувати модель. Це тому, що дослідник машинного навчання може не мати можливості збирати більше даних / отримувати більше заходів. А робота дослідника машинного навчання стає все кращою математикою, а не краще вирішує конкретну проблему реального світу.

З іншого боку, в реальному світі, якщо дані кращі, це б'є кожну річ. Отже, вибір нейронної мережі або випадкового лісу може не мати великого значення. Всі ці моделі схожі на те, що людина хоче використовувати машинне навчання як інструмент для вирішення реальних проблем. Людина, яка не зацікавлена ​​у розробці математики чи інструментів, може витратити більше часу на використання конкретних знань про домен, щоб покращити систему.

Як я згадував у коментарі. І якщо хтось неохайний з математикою, він все одно зможе побудувати щось, що працює.


1
(+1) Це багато "котирувань" hxd, що вони мають на меті повідомити? Чи означає "працює", "вони думають, що це працює, але це не так" чи означає "сорта працює"?
Метью Друрі

@MatthewDrury дякую за коментар. Думаю, у мене було багато особистих почуттів і не знаю, як їх записати. Я думаю, що багато з них не є формальними або занадто суб'єктивними. саме тому у мене було багато цитат.
Хайтао Ду

Я думаю, що більш зрозуміло просто позначити їх як особисту думку. Це я роблю на уроці зі студентами: "Це межує з особистою думкою, але СВМ смоктають" (не реальний приклад, чи це ...)
Меттью Друрі

@MatthewDrury дякую, що радили мені писати, ні у відповіді немає цитат!
Хайтао Ду
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.