Як порівняти 2 нестаціонарні часові ряди, щоб визначити кореляцію?

У мене є дві серії даних, які відображають середній вік при смерті з часом. Обидві серії демонструють збільшення віку при смерті з часом, але одна значно нижча за іншу. Я хочу визначити, чи значно збільшується вік при смерті нижньої проби, ніж у верхньої вибірки.

Ось дані , упорядковані за роками (з 1972 по 2009 р. Включно), округленими до трьох знаків після коми:

Cohort A    70.257  70.424  70.650  70.938  71.207  71.263  71.467  71.763  71.982  72.270  72.617  72.798  72.964  73.397  73.518  73.606  73.905  74.343  74.330  74.565  74.558  74.813  74.773  75.178  75.406  75.708  75.900  76.152  76.312  76.558  76.796  77.057  77.125  77.328  77.431  77.656  77.884  77.983
Cohort B    5.139   8.261   6.094   12.353  11.974  11.364  12.639  11.667  14.286  12.794  12.250  14.079  17.917  16.250  17.321  18.182  17.500  20.000  18.824  21.522  21.500  21.167  21.818  22.895  23.214  24.167  26.250  24.375  27.143  24.500  23.676  25.179  24.861  26.875  27.143  27.045  28.500  29.318

Обидві серії нестаціонарні - як я можу порівняти обидві, будь ласка? Я використовую STATA. Будь-яка порада буде вдячно отримана.

Це проста ситуація; давайте так будемо. Головне - зосередитись на тому, що важливо:

• Отримання корисного опису даних.

• Оцінка окремих відхилень від цього опису.

• Оцінка можливої ​​ролі та впливу випадковості в інтерпретації.

• Підтримання інтелектуальної цілісності та прозорості.

Є ще багато варіантів, і багато форм аналізу будуть достовірними та ефективними. Проілюструємо тут один підхід, який можна рекомендувати для його дотримання цих ключових принципів.

Для збереження цілісності давайте розділимо дані навпіл: спостереження з 1972 по 1990 роки та спостереження з 1991 по 2009 роки (по 19 років у кожній). Ми помістимо моделі до першої половини, а потім подивимося, наскільки добре працює проект в другій половині. Це має додаткову перевагу у виявленні суттєвих змін, які могли статися протягом другої половини.

Для отримання корисного опису нам необхідно: (а) знайти спосіб виміряти зміни та (б) підлаштувати найпростішу можливу модель, відповідну для цих змін, оцінити її та ітеративно підходити до більш складних для розміщення відхилень від простих моделей.

(a) у вас є багато варіантів: ви можете переглянути необроблені дані; ви можете подивитися на їх річні відмінності; ви можете зробити те ж саме з логарифмами (для оцінки відносних змін); ви можете оцінити роки втраченого життя або відносну тривалість життя (ПРАВ); або багато іншого. Подумавши, я вирішив розглянути RLE, визначений як відношення тривалості життя в когорті B відносно відношення до (довідкової) когорти A. На щастя, як показують графіки, тривалість життя в когорті А регулярно збільшується в стабільній мода з часом, так що більшість випадкових змін у RLE відбуватиметься через зміни в когорті B.

(b) Найпростіша можлива модель для початку - лінійна тенденція. Подивимося, як добре це працює.

Темно-сині точки в цьому сюжеті - це дані, збережені для пристосування; точки зору з легкого золота - це наступні дані, які не використовуються для підгонки. Чорна лінія підходить, з нахилом .009 / рік. Штрихові лінії - це інтервали прогнозування для окремих майбутніх значень.

В цілому придатність виглядає добре: експертиза залишків (див. Нижче) не показує суттєвих змін у їх розмірах з часом (протягом періоду даних 1972-1990). (Є певні вказівки, що вони, як правило, збільшуються на ранніх стадіях, коли тривалість життя була низькою. Ми могли б впоратися з цим ускладненням, пожертвувавши деяку простоту, але користь для оцінки тенденції навряд чи велика.) Є просто найменший натяк послідовного кореляційного зв’язку (проявляється деякими прогонами позитивних та прогонів негативних залишків), але, очевидно, це неважливо. Немає аутлайнерів, які б позначалися пунктами, що виходять за межі смуг передбачення.

Одне здивування полягає в тому, що в 2001 році значення раптово впали на нижчу смугу прогнозування і залишилися там: щось досить раптове і велике сталося і тривало.

Ось залишки, які є відхиленнями від описаного раніше опису.

Оскільки ми хочемо порівняти залишки до 0, вертикальні лінії наводяться до нульового рівня як наочний посібник. Знову ж, сині точки показують дані, які використовуються для пристосування. Легкі золоті - залишки для даних, що падають біля нижньої межі прогнозування, після 2000 року.

З цієї цифри ми можемо оцінити, що ефект зміни 2000-2001 рр . Становив приблизно -0,07 . Це відображає раптове падіння 0,07 (7%) повної тривалості життя в когорті В. Після цього падіння горизонтальна картина залишків показує, що попередня тенденція тривала, але на новому нижчому рівні. Цю частину аналізу слід вважати дослідницькою : вона не була спеціально спланована, але виникла завдяки дивовижному порівнянню між даними, що були проведені (1991–2009 рр.) Та відповідності решті даних.

Інша річ - навіть використовуючи дані лише за 19 ранніх років, стандартна похибка нахилу невелика: це лише .0009, лише десята частина оціночного значення .009. Відповідна t-статистика 10, що має 17 градусів свободи, надзвичайно значна (р-значення менше ); тобто ми можемо бути впевнені, що тенденція обумовлена ​​не випадковістю. Це частина нашої оцінки ролі випадковості в аналізі. Інші частини - це експертизи залишків.$10^{-7}$

Здається, немає підстав для встановлення більш складної моделі до цих даних, принаймні, не для того, щоб оцінити, чи існує справжня тенденція у RLE протягом часу: є така. Ми могли б піти далі і розділити дані на значення до 2001 року та значення після 2000 року, щоб уточнити наші оцінкитенденцій, але проводити тести на гіпотезу було б не зовсім чесно. Значення р було б штучно низьким, оскільки тестування на розщеплення не було заплановано заздалегідь. Але як дослідницька вправа така оцінка є чудовою. Дізнайтеся все, що можна, зі своїх даних! Будьте обережні, щоб не обманювати себе переозброєнням (що майже впевнено трапиться, якщо ви використовуєте більше півдесятка параметрів або близько того, або використовуєте автоматизовану техніку пристосування) або прослуховування даних: будьте уважні до різниці між офіційним підтвердженням та неофіційним (але цінні) дослідження даних.

Підведемо підсумки:

• Вибравши відповідний показник тривалості життя (ЗНО), простягнувши половину даних, встановивши просту модель та протестувавши цю модель на решті даних, ми з високою впевненістю встановили, що : була послідовна тенденція; вона була близькою до лінійної протягом тривалого періоду часу; і в 2001 році відбулося раптове стійке падіння RLE.

• Наша модель вражає парсимонічністю : для точного опису ранніх даних потрібні лише два числа (нахил та перехоплення). Для опису очевидного, але несподіваного відходу від цього опису потрібна третя (дата перерви 2001 р.). Немає аутлайнерів щодо цього опису трьох параметрів. Модель не буде суттєво вдосконалена, характеризуючи послідовну кореляцію (фокус методів часових рядів), намагаючись описати проявлені невеликі відхилення (залишки) або ввести складніші пристосування (наприклад, додавання в квадратичну складову часу або моделювання змін розмірів залишків у часі).

• Тенденція склала 0,009 RLE на рік . Це означає, що з кожним роком очікувана тривалість життя в когорті Б додала 0,009 (майже 1%) від повного очікуваного нормального життя. Протягом дослідження (37 років) це склало б 37 * 0,009 = 0,34 = третину повного покращення життя. Незмінність у 2001 році скоротила цей приріст до приблизно 0,28 повної тривалості життя з 1972 по 2009 рік (хоча за цей період загальна тривалість життя зросла на 10%).

• Хоча ця модель може бути вдосконалена, вона, ймовірно, потребує більше параметрів, і вдосконалення навряд чи буде великим (як свідчить майже випадкова поведінка залишків). Тоді ми в цілому повинні задовольнитись таким компактним, корисним, простим описом даних для такої невеликої аналітичної роботи.

Я думаю, що відповідь Ваубера є зрозумілою і зрозумілою для людини, яка не є серією, як це я. Я базую свою на його. Моя відповідь - це не R Stata, оскільки я так добре не знаю.

Цікаво, чи питання насправді не вимагає від нас подивитись, чи абсолютний річний приріст у річному обчисленні однаковий у двох когортах (а не відносний). Я думаю, що це важливо, і проілюструю це так. Розглянемо наступний приклад іграшки:

a <- 21:40
b <- 41:60
x <- 1:20
plot(y = a, x = x, ylim = c(0, 60))
points(y = b, x = x, pch = 2)

Тут ми маємо 2 когорти, кожна з яких постійно збільшує середню виживаність на рік. Таким чином, щороку обидві групи в цьому прикладі збільшуються на однакову абсолютну суму, але RLE дає наступне:

rle <-  a / b
plot(rle)

Що, очевидно, має тенденцію до зростання, а значення р для перевірки гіпотези про те, що градієнт лінії 0 дорівнює 2,2е-16. Встановлена ​​пряма лінія (ігноруємо, що ця лінія виглядає вигнутою) має градієнт 0,008. Отже, хоча обидві когорти мають однаковий абсолютний приріст за рік, RLE має нахил вгору.

Отже, якщо ви використовуєте RLE, коли хочете шукати абсолютні збільшення, то ви неправильно відкинете нульову гіпотезу.

Використовуючи надані дані, обчислюючи абсолютну різницю між когортами, які ми отримуємо:

Звідси випливає, що абсолютна різниця між середньою виживаністю поступово зменшується (тобто когорта з поганою виживаністю поступово наближається до когорти з кращим виживанням).

Ці два часові ряди, схоже, мають детерміновану тенденцію. Це одне відношення, яке ви, очевидно, хочете видалити перед подальшим аналізом. Особисто я би поступив так:

1) Я би запустив регресію для кожного часового ряду проти константи та часу та обчислив залишковий для кожного часового ряду.

2) Беручи два залишкових ряду, обчислені на етапі вище, я би провів просту лінійну регресію (без постійного терміна) і подивився б на t-статистику, p-значення, і вирішив, чи існує додаткова залежність між дві серії.

Цей аналіз передбачає той самий набір припущень, який ви робите в лінійній регресії.

У деяких випадках відома теоретична модель, яка може бути використана для перевірки вашої гіпотези. У моєму світі "знання" часто відсутні, і треба вдаватися до статистичних методів, які можна класифікувати як дослідницький аналіз даних, який підсумовує наступне. Коли аналізуються дані часових рядів, які є нестаціонарними, тобто мають автокореляційні властивості, прості перехресні кореляційні тести часто вводячи в оману, якщо помилкові позитиви можна легко знайти. Один з найбільш ранніх аналізів цього є в Yule, GU, 1926, "Чому ми іноді отримуємо нісенітницькі кореляції між часовими рядами? Дослідження вибірки та характер часових рядів", Journal of the Royal Statistics Society 89, 1– 64. Крім того, коли одна чи кілька серій були здійснені винятковою активністю (див. " раптова невдача в когорті Б 2001 р.), яка може ефективно приховати значні стосунки. Зараз виявлення зв’язку між часовими рядами поширюється на вивчення не тільки сучасних відносин, але й можливих відсталих відносин. Продовжуючи, якщо будь-яка серія була здійснена аномаліями (разовими подіями), тоді ми мусимо обґрунтувати наш аналіз, скоригувавшись на ці разові спотворення. У літературі часових рядів вказується, як визначити відносини за допомогою попереднього відбілювання, щоб більш чітко визначити структуру. Попереднє відбілювання коригує внутрішньокореляційну структуру до ідентифікації міжкореляційної структури. Зауважте, ключовим словом була ідентифікаційна структура. Такий підхід легко призводить до наступної "корисної моделі": Зараз виявлення зв’язку між часовими рядами поширюється на вивчення не тільки сучасних відносин, але й можливих відсталих відносин. Продовжуючи, якщо будь-яка серія була здійснена аномаліями (разовими подіями), тоді ми мусимо обґрунтувати наш аналіз, скоригувавшись на ці разові спотворення. У літературі часових рядів вказується, як визначити відносини за допомогою попереднього відбілювання, щоб більш чітко визначити структуру. Попереднє відбілювання коригує внутрішньокореляційну структуру до ідентифікації міжкореляційної структури. Зауважте, ключовим словом була ідентифікаційна структура. Такий підхід легко призводить до наступної "корисної моделі": Зараз виявлення зв’язку між часовими рядами поширюється на вивчення не тільки сучасних відносин, але й можливих відсталих відносин. Продовжуючи, якщо будь-яка серія була здійснена аномаліями (разовими подіями), тоді ми мусимо обґрунтувати наш аналіз, скоригувавшись на ці разові спотворення. У літературі часових рядів вказується, як визначити відносини за допомогою попереднього відбілювання, щоб більш чітко визначити структуру. Попереднє відбілювання коригує внутрішньокореляційну структуру до ідентифікації міжкореляційної структури. Зауважте, ключовим словом була ідентифікаційна структура. Такий підхід легко призводить до наступної "корисної моделі": якщо будь-яка серія була здійснена аномаліями (разовими подіями), тоді ми повинні обгрунтувати наш аналіз, пристосувавшись до цих одноразових спотворень. У літературі часових рядів вказується, як визначити відносини за допомогою попереднього відбілювання, щоб більш чітко визначити структуру. Попереднє відбілювання коригує внутрішньокореляційну структуру до ідентифікації міжкореляційної структури. Зауважте, ключовим словом була ідентифікаційна структура. Такий підхід легко призводить до наступної "корисної моделі": якщо будь-яка серія була здійснена аномаліями (разовими подіями), тоді ми повинні обгрунтувати наш аналіз, пристосувавшись до цих одноразових спотворень. У літературі часових рядів вказується, як визначити відносини за допомогою попереднього відбілювання, щоб більш чітко визначити структуру. Попереднє відбілювання коригує внутрішньокореляційну структуру до ідентифікації міжкореляційної структури. Зауважте, ключовим словом була ідентифікаційна структура. Такий підхід легко призводить до наступної "корисної моделі": Зауважте, ключовим словом була ідентифікаційна структура. Такий підхід легко призводить до наступної "корисної моделі": Зауважте, ключовим словом була ідентифікаційна структура. Такий підхід легко призводить до наступної "корисної моделі":

Y (T) = -194,45
+ [X1 (T)] [(+ 1,2396+ 1,6523B ** 1)] COHORTA

   +[X2(T)][(- 3.3924)]                :PULSE          3

   +[X3(T)][(- 2.4760)]                :LEVEL SHIFT   30 reflecting persistant  unusal activity

   +[X4(T)][(+ 1.1453)]                :PULSE         29

   +[X5(T)][(- 2.7249)]                :PULSE         11

   +[X6(T)][(+ 1.5248)]                :PULSE         27

   +[X7(T)][(+ 2.1361)]                :PULSE          4

   +[X8(T)][(+ 1.6395)]                :PULSE         13

   +[X9(T)][(- 1.6936)]                :PULSE         12

   +[X10(T)[(- 1.6996)]                :PULSE         19

   +[X11(T)[(- 1.2749)]                :PULSE         10

   +[X12(T)[(- 1.2790)]                :PULSE         17

  +       [A(T)]

що говорить про сучасні відносини 1,2936 та відсталий ефект 1,6523. Зауважимо, що існує ряд років, коли саме незвичну діяльність визначали саме. (1975,2001,1983,1999,1976,1985,1984,1991 та 1989). Поправки за роки дозволяють нам більш чітко оцінити зв’язок між цими двома серіями.

З точки зору складання прогнозу

МОДЕЛЬ, ВИРАЗОВАНИЙ ЯК XARMAX
Y [t] = a [1] Y [t-1] + ... + a [p] Y [tp]
+ w [0] X [t-0] + ... + w [r] X [tr]
+ b [1] a [t-1] + ... + b [q] a [tq]
+ константа

ПРАВИЧНА БУКОВА КОНСТАНТА: -194.45

COHORTA 0 1,239589 X (39) * 78,228616 = 96,971340

COHORTA 1 1,652332 X (38) * 77,983000 = 128,853835

I ~ L00030 0 -2.475963 X (39) * 1.000000 = -2.475963

      NET PREDICTION FOR Y(    39 )=                     28.894826 

Чотири коефіцієнти - це все, що потрібно для прогнозування і, звичайно, прогнозування для когорти на період 39 (78.228616), отриманого з моделі ARIMA для когорти.

Ця відповідь стосується деяких графіків