Визначення та розмежування регресійної моделі

Збентежуюче просте запитання - але, схоже, його раніше не було поставлено на перехресну перевірку:

Що таке визначення регресійної моделі?

Також питання підтримки,

Що не є регресійною моделлю?

Що стосується останнього, мене цікавлять хитрі приклади, коли відповідь не відразу очевидна, наприклад, ARIMA або GARCH.

— Річард Харді
джерело

Відповіді:

Я б сказав, що "модель регресії" - це своєрідна мета-концепція, в тому сенсі, що ви не знайдете визначення "регресійної моделі", але більш конкретні поняття, такі як "лінійна регресія", "нелінійна регресія", "міцна регресія" тощо. Це точно так само, як і в математиці, ми зазвичай визначаємо не "число", а "натуральне число", "цілі числа", "дійсне число", "p-адичне число" і так далі, і якщо хтось захоче включити кватерніони серед чисел, так і бути! Насправді не важливо, що важливо, якими визначеннями користується книга / папір, яку ви читаєте на даний момент.

Визначення - це інструменти , а есенціалізм, тобто обговорення того, що є сутністю ..., що таке слово насправді означає , рідко варто.

Отже, що відрізняє "регресійну модель" від інших видів статистичних моделей? Переважно, що існує змінна відповіді , яку ви хочете моделювати під впливом (або визначається) деяким набором змінних прогнозів . Нас не цікавить вплив на інший напрямок, і нас не цікавлять взаємозв'язки між змінними провісника. Переважно, ми приймаємо змінні предиктора як наведені та трактуємо їх як константи в моделі, а не як випадкові змінні.

Зв'язок, згаданий вище, може бути лінійним або нелінійним, заданим параметричним або непараметричним способом тощо.

Для відмежування від інших моделей, ми краще розглянемо деякі інші слова, які часто використовуються для позначення чогось іншого для "регресійних моделей", наприклад, "помилки змінних", коли ми приймаємо можливість помилок вимірювань у змінних предиктора. Це цілком може бути включено до мого опису "регресійної моделі" вище, але часто приймається як альтернативна модель.

Також те, що мається на увазі, може залежати від полів, див. У чому різниця між кондиціонуванням на регресорах та трактуванням їх як нерухомих?

Повторюся: важливим є визначення, яке використовують автори, які ви зараз читаєте, а не певна метафізика щодо того, що це "насправді".

— kjetil b halvorsen
джерело

Я згоден із суттю вашої відповіді. Моє запитання було мотивоване тим, що я зіткнувся з твердженнями про регресійні моделі, які мене цікавили, до чого ця заява насправді стосується (а до чого вона не стосується). Звичайно, зараз ви можете сказати: "використовуйте найкраще судження і ретельно перевіряйте деталі", але іноді я можу побажати одразу відкинути гіпотезовану заяву, кажучи, що вона взагалі не відповідає дійсності (можливо, правда лише в дуже конкретному випадку) . Тоді мені потрібне визначення для посилання. Звичайно, існує більше таких ситуацій, коли точне визначення корисно.

— Річард Харді

Тоді ви маєте задавати конкретні запитання щодо тих застосувань, з якими ви стикалися, із посиланнями.

— kjetil b halvorsen

Я не збираюся бути вибагливим, але подумайте: хтось запитує вас, що ви робите, ви говорите: "Я аналізую / прогнозую / тестую [щось] за допомогою регресійних моделей". - "Що таке регресійна модель?" - (Тиша). Або ситуація у вступному класі економетрики: "Професоре, що таке регресійна модель?" -- (Без відповіді). Я думаю, що це дуже природні запитання, тому було б непогано відповісти.

— Річард Харді

Так, було б добре відповісти, але я не впевнений, що є одна канонічна відповідь, з якою можна погодитися. У мене зовсім інше уявлення про регресію зі статистичної книги, наприклад, Себера: "Лінійний регресійний аналіз", як із тексту економетрики. Але з деякими ідеями всі можуть погодитися. Я здогадуюсь, це дійсно сімейство моделей. Тоді ми можемо запитати, що є спільним ядром усіх цих моделей.

— kjetil b halvorsen

Можливо, вас зацікавить споріднене моє питання: Визначення простої моделі лінійної регресії .

— Річард Харді

Уже дано дві приємні відповіді, але я хотів би додати свої два центи.

$Y$ $X_1,\dots,X_k$ $Y$

μ = E (y | x_{1}, \dots, x_{k}) = f (x_{1}, \dots, x_{k})

$\mu = E(y|x_1,\dots,x_k) = f(x_1,\dots,x_k)$

$f$ $\mu$ $\mu$ $L_1$ $\mu$

$Y$

— Тім
джерело

Спасибі. Інтуїція не болить, хоча я шукаю більш формальне визначення, яке я міг би накинути на когось, хто мене запитав: Отже, що таке модель регресії? а потім спробував підібрати деталі.

— Річард Харді

@RichardHardy Я думаю , що це ключова особливість моделей регресії , яка поділяється усіма з них.

— Тім

y

$y$

Деякі думки на основі літератури:

Ф. Хаяші в 1 главі класичного підручника для випускників "Економетрика" (2000 р.) Зазначає, що наступні припущення містять класичну модель лінійної регресії:

Лінійність
Сувора екзогенність
Ніякої мультиколінеарності
Відхилення сферичної помилки
"Виправлені" регресори

Вулдрідж у главі 2 свого класичного підручника з вступної економетрики "Вступна економетрика: сучасний підхід" (2012) зазначає, що наступне рівняння визначає просту модель лінійної регресії:

y = β_{0} + β_{1} x + u .

$y=\beta_0+\beta_1 x+u.$

Грін у главі 2 свого популярного підручника з економетрики "Економетричний аналіз" (2011) зазначає

Класична модель лінійної регресії складається з набору припущень про те, як буде вироблятися набір даних за допомогою "процесу генерації даних".

а згодом дає перелік припущень, подібних до Хаяші.

Що стосується інтересу ОП до моделі GARCH, Боллерслев "Узагальнена авторегресивна умовна гетероседастичність" (1986) включає фразу "модель регресії GARCH" у назві розділу 5, а також у першому реченні цього розділу. Тож батько моделі GARCH не проти називати GARCH регресійною моделлю.

— Річард Харді
джерело

Y \approx f (X, β)

$Y\approx f(X, \beta)$

Щоправда, мої приклади - для лінійних регресійних моделей; саме це мені вдалося знайти в надійних джерелах, таких як ці підручники, які широко використовуються та стали класичними. Я не дуже довіряю Вікіпедії для статистичних та економетричних питань. У будь-якому випадку, навіть у Вікіпедії є розділ "Основні припущення", подібний до того, що я цитував з підручників. Щодо іншої публікації, чи можете ви опублікувати відповідну частину свого коментаря там, щоб я міг відповісти там? У цій публікації я нічого не говорив про приховані змінні моделі, але добре почути вашу думку.

— Річард Харді

Чому пункт 3 "відсутність мультиколінеарності"? Я ніколи не бачив, щоб це використовувалося як припущення в доказ якогось результату!

— kjetil b halvorsen

@kjetilbhalvorsen, будь ласка, не покладайте на мене відповідальності за те, що написано в підручнику, я не є автором. Але дякую за коментар, звичайно, і ще більше за відповідь!

— Річард Харді