Яка / механічна різниця між множинною лінійною регресією із лагами та часовими рядами?

Я випускник бізнесу та економіки, який зараз навчається на ступінь магістра з інженерії даних. Під час вивчення лінійної регресії (LR), а потім аналізу часових рядів (TS) у мене в голові з’явилося запитання. Навіщо створювати абсолютно новий метод, тобто часовий ряд (ARIMA), замість того, щоб використовувати кілька лінійних регресій і додавати до нього відсталі змінні (з порядком відставання, визначеним за допомогою ACF і PACF)? Тож викладач запропонував мені написати невеликий твір про проблему. Я б не прийшов шукати допомоги з порожніми руками, тому я зробив своє дослідження на цю тему.

Я вже знав, що при використанні LR, якщо припущення Гаусса-Маркова порушені, регресія OLS неправильна, і що це відбувається при використанні даних часових рядів (автокореляція тощо). (Ще одне питання з цього приводу, одне припущення GM полягає в тому, що незалежні змінні повинні нормально розподілятися? або просто залежна змінна, що залежить від незалежних?)

Я також знаю, що при використанні розподіленої регресії відставання, що, на мою думку, я пропоную тут, і використовуючи OLS для оцінки параметрів, може (очевидно) виникнути мультиколінеарність між змінними, тому оцінки будуть неправильними.

У подібному дописі про TS і LR тут @IrishStat сказав:

... модель регресії - це окремий випадок моделі функції передачі, яка також відома як модель динамічної регресії або модель XARMAX. Важливим моментом є те, що ідентифікація моделі у часових рядах, тобто відповідні відмінності, відповідні відставання X, відповідна структура ARIMA, відповідна ідентифікація не визначеної детермінованої структури, таких як імпульси, зрушення рівня, локальні тенденції часу, сезонні імпульси та включення зміни параметрів або відхилення помилок повинні враховуватися.

(Я також читав його статтю в Автобоксі про Box Jenkins vs LR.) Але це все ще не вирішує мого питання (або, принаймні, не роз'яснює різні для мене механіки RL та TS).

Очевидно, що навіть із відсталими змінними OLS виникають проблеми, і це не ефективно, ані правильно, але, використовуючи максимальну ймовірність, ці проблеми зберігаються? Я читав, що ARIMA оцінюється через максимальну ймовірність, тому, якщо LR з лагами оцінюється з ML замість OLS, чи дає це "правильні" коефіцієнти (припустимо, що ми також включаємо терміни з відсталими помилками, як МА порядку q).

Словом, проблема OLS? Чи вирішена проблема із застосуванням ML?

Навіщо створювати абсолютно новий метод, тобто часовий ряд (ARIMA), замість того, щоб використовувати кілька лінійних регресій і додавати до нього відсталі змінні (з порядком відставання, визначеним за допомогою ACF і PACF)?

$\hat\beta_{OLS}=(X'X)^{-1}X'y$$X$і, отже, оцінювач OLS нездійсненний.

одне припущення GM полягає в тому, що незалежні змінні повинні нормально розподілятися? чи просто залежна змінна, що залежить від незалежної?

Припущення про нормальність іноді викликається помилками моделі, а не для незалежних змінних. Однак нормальність не потрібна ні для послідовності та ефективності оцінки ОЛС, ні для теореми Гаусса-Маркова. У статті Вікіпедії на теорему Гаусса-Маркова прямо вказано, що "помилки не повинні бути нормальними".

(очевидно) може виникнути мультиколінеарність між змінними, тому оцінки будуть неправильними.

Високий ступінь мультиколінеарності означає завищену дисперсію OLS-оцінки. Однак Оцінювач OLS все ще є СВІМОЮ, доки мультиколінеарність не є ідеальною. Таким чином, ваше твердження не виглядає правильним.

Очевидно, що навіть із відсталими змінними OLS виникають проблеми, і це не ефективно, ані правильно, але, використовуючи максимальну ймовірність, ці проблеми зберігаються?

Модель AR може бути оцінена за допомогою OLS та ML; обидва ці методи дають послідовні оцінки. Моделі MA та ARMA не можуть бути оцінені OLS, тому ML є основним вибором; знову ж таки, це послідовно. Інша цікава властивість - це ефективність, і тут я не зовсім впевнений (але, очевидно, інформація повинна бути десь доступною, оскільки питання досить стандартне). Я б спробував коментувати "правильність", але я не впевнений, що ви маєте на увазі під цим.

Це чудове запитання. Справжня різниця між моделями ARIMA та множинною лінійною регресією полягає у вашій структурі помилок. Ви можете маніпулювати незалежними змінними в моделі лінійної регресії, щоб вони відповідали вашим даним часових рядів, про що говорить @IrishStat. Однак після цього вам потрібно включити помилки ARIMA у вашу модель множинної регресії, щоб отримати правильний коефіцієнт та результати тесту. Чудова безкоштовна книга про це: https://www.otexts.org/fpp/9/1 . Я зв'язав розділ, який обговорює комбінування моделей ARIMA та множинної регресії.

Хороше запитання, я фактично будував обох у своїй щоденній роботі на посаді вченого даних. Моделі часових рядів легко побудувати (пакет прогнозу в R дозволяє створити один за менше 5 секунд), такий же або точніший, ніж регресійні моделі тощо. Загалом, завжди слід будувати часові ряди, а потім регресію. Є і філософські наслідки часових рядів, якщо ви можете передбачити, нічого не знаючи, то що це означає?

Моє взяти на себе Дарлінгтон. 1) "Регресія є набагато гнучкішою та потужнішою, створюючи кращі моделі. Ця точка розвивається у численних місцях протягом усієї роботи".

Ні, зовсім навпаки. Регресійні моделі роблять набагато більше припущень, ніж моделі часових рядів. Чим менше припущень, тим більше ймовірність здатності протистояти землетрусу (зміна режиму). Крім того, моделі часових рядів реагують швидше на раптові зрушення.

2) "Регресію набагато легше освоїти, ніж ARIMA, принаймні для тих, хто вже знайомий із застосуванням регресії в інших областях." Це кругові міркування.

3) "Регресія використовує" закритий "обчислювальний алгоритм, який, по суті, гарантовано дає результати, якщо це можливо, в той час як ARIMA та багато інших методів використовують ітеративні алгоритми, які часто не вдається досягти рішення. Я часто бачив метод ARIMA" зависання "щодо даних, які не давали проблем регресії."

Регресія дає відповідь, але чи це правильна відповідь? Якщо я будую моделі лінійної регресії та машинного навчання, і всі вони приходять до одного висновку, що це означає?

Отже, підсумовуючи, так, регресія та часові ряди можуть відповідати на одне і те ж питання, а технічно часові ряди - це технічно регресія (хоча і авторегресія). Моделі часових рядів менш складні і, отже, більш надійні, ніж регресійні. Якщо ви думаєте про спеціалізацію, то моделі TS спеціалізуються на прогнозуванні, тоді як регресія спеціалізується на розумінні. Це зводиться до того, чи хочете ви пояснити чи передбачити.

На думку, найглибша різниця між передавальними функціями та багатоступеневою лінійною регресією (у звичайному її використанні) полягає у їхніх цілях, множинні регресії орієнтовані на пошук основних причинно-наслідкових визначників залежної змінної, тоді як функції передачі просто хочуть прогнозувати вплив на залежний змінна варіації конкретної екзогенної змінної ... Підсумовуючи, множинна регресія орієнтована на вичерпне пояснення та передачу функції прогнозуванню дуже специфічних ефектів ...