Підводні камені в аналізі часових рядів

Я тільки починаю самонавчання з аналізу часових рядів. Я помітив, що існує ряд потенційних підводних каменів, які не застосовуються до загальної статистики. Отже, спираючись на Які загальні статистичні гріхи? , Я хотів би запитати:

Що таке загальні підводні камені або статистичні гріхи в аналізі часових рядів?

Це розроблено як вікі спільноти, одна концепція на кожну відповідь, і будь ласка, не потрібно повторювати більш загальні статистичні підводні камені, які перераховані (або повинні бути перераховані) у розділі Що таке загальні статистичні гріхи?

Екстраполяція лінійної регресії на часовий ряд, де час є однією з незалежних змінних у регресії. Лінійна регресія може наближати часовий ряд за короткою шкалою часу і може бути корисною для аналізу, але екстраполяція прямої лінії є нерозумною. (Час нескінченний і постійно збільшується.)

EDIT: Відповідаючи на запитання naught101 про "нерозумний", моя відповідь може бути неправильною, але мені здається, що більшість явищ у реальному світі не збільшуються та зменшуються постійно. Більшість процесів мають обмежуючі фактори: люди перестають зростати у зріст, запаси не завжди збільшуються, популяція не може вийти негативною, ви не можете заповнити свій будинок мільярд цуценят тощо. Час, на відміну від більшості незалежних змінних, що приходять На жаль, має нескінченну підтримку, тому ви дійсно можете уявити вашу лінійну модель, яка передбачає ціну акцій Apple через 10 років, оскільки 10 років з цього моменту, безумовно, існуватимуть. (Тоді як ви б не екстраполювали регресію висоти у вазі, щоб передбачити вагу дорослих чоловіків у 20 метрів: вони не існують і не існуватимуть.)

Крім того, часові ряди часто містять циклічні або псевдоциклічні компоненти або компоненти випадкової ходи. Як згадує IrishStat у своїй відповіді, потрібно враховувати сезонність (іноді сезонність у кількох часових масштабах), зміну рівня (що буде робити дивні речі для лінійних регресій, які не враховують їх) тощо. Лінійна регресія, яка ігнорує цикли, буде підходить за короткочасний термін, але будьте дуже введені в оману, якщо ви екстраполюєте його.

Звичайно, ви можете потрапити в проблеми, коли екстраполюєте, часові ряди чи ні. Але мені здається, що ми занадто часто бачимо, як хтось кидає в Excel часовий ряд (злочини, ціни на акції тощо), скидає на нього ПРОГНОМУВАННЯ або НАЙБІЛЬШЕ, і передбачує майбутнє по суті прямою лінією, ніби ціни на акції будуть постійно зростати (або постійно відхиляється, включаючи негатив).

Зверніть увагу на співвідношення двох нестаціонарних часових рядів. (Не є несподіваним, що вони матимуть високий коефіцієнт кореляції: пошук за "нечуттєвою кореляцією" та "коінтеграцією".)

Наприклад, на кореляті google собаки та пірсинг вуха мають коефіцієнт кореляції 0,84.

Більш старий аналіз див. У дослідженні проблеми Юля 1926 року

На найвищому рівні Колмогоров визначив незалежність як ключове припущення статистики - без припущення про те, що багато важливих результатів статистики не відповідають дійсності, незалежно від того, чи застосовуються вони до часових рядів чи більше загальних завдань аналізу.

Послідовні або сусідні зразки в більшості реальних сигналів дискретного часу не є незалежними, тому слід обережно розкласти процес на детерміновану модель і стохастичний компонент шуму. Незважаючи на це, незалежне збільшення припущення в класичному стохастичному обчисленні є проблематичним: пригадаймо Нокона Нобеля 1997 року та імпровізацію LTCM 1998 року, яка підрахувала лауреатів серед його директорів (хоча справедливо, менеджер фонду Merrywthether, швидше за все, винен, ніж кількісний методи).

Занадто впевнений у результатах вашої моделі, оскільки ви використовуєте техніку / модель (наприклад, OLS), яка не враховує автокореляцію часових рядів.

Я не маю приємного графіка, але книга "Вступний часовий ряд з R" (2009, Cowpertwait та ін.) Дає розумне інтуїтивне пояснення: якщо є позитивна автокореляція, значення вище або нижче середнього, як правило, зберігатимуться і бути об'єднаними разом у часі. Це призводить до менш ефективної оцінки середнього значення, що означає, що вам потрібно більше даних, щоб оцінити середнє значення з тією ж точністю, ніж якщо б не було нульової автокореляції. У вас фактично менше даних, ніж ви думаєте, що є.

Процес OLS (і, отже, ви) припускаєте, що не існує автокореляції, тому ви також припускаєте, що оцінка середнього значення більш точна (для кількості ваших даних), ніж є насправді. Таким чином, ви зрештою впевнені у своїх результатах, ніж повинні бути.

(Це може подіяти і в іншому випадку для негативної автокореляції: ваша оцінка середньої величини насправді є більш ефективною, ніж це було б інакше. У мене немає чого доводити це, але я б припустив, що позитивна кореляція частіше зустрічається в більшості реального часу серія, ніж негативна кореляція.)

Вплив зрушень рівня, сезонних імпульсів та місцевих тенденцій часу ... крім одноразових імпульсів. Зміни параметрів з часом важливі для дослідження / моделювання. Можливі зміни варіацій помилок з часом повинні бути досліджені. Як визначити, як на Y впливають сучасні та відсталі значення X. Як визначити, чи можуть майбутні значення X впливати на поточні значення Y. Як дізнатися в конкретні дні місяця, мають вплив. Як моделювати змішані проблеми частоти, коли погодинні дані впливають на щоденні значення?

night попросив мене надати більш конкретну інформацію / приклади про зміну рівня та імпульси. З цією метою я зараз включаю ще кілька обговорень. Серія, що демонструє АКФ, що говорить про нестаціонарність, фактично надає "симптом". Одним із запропонованих засобів захисту є "розходження" даних. Захищений засіб усунення "знецінення" даних. Якщо серія має "основний" зсув рівня в середньому (тобто інтерцепт), ACF цілого ряду може бути легко витлумачено неправильно, щоб запропонувати диференціювати. Я покажу приклад серії, яка демонструє зсув рівня. Якби я підкреслив (збільшив) різницю між двома засобами, ACF загальної серії запропонував би (неправильно!) Необхідність різниці. Неліковані імпульси / зсуви рівня / сезонні імпульси / місцеві тенденції часу збільшують дисперсію помилок, що підтверджують важливість структури моделі і є причиною хибних оцінок параметрів та поганих прогнозів. Тепер перейдемо до прикладу. Чт- це список 27-ти місячних значень. Це графік . Є чотири імпульси та зсув 1 рівня І НЕ ТЕНДЕНЦІЯ! і . Залишки цієї моделі передбачають процес білого шуму . Деякі (більшість!) Комерційних і навіть безкоштовних пакетів прогнозування забезпечують наступну глузливість внаслідок прийняття тенденції моделі з додатковими сезонними факторами . На закінчення та перефразовуючи Марка Твена. "Є дурниці і є дурниці, але найнечуттєвішою їхньою відсутністю є статистична дурниця!" порівняно з більш розумним . Сподіваюся, це допомагає!

Визначення тенденції як лінійного зростання з часом.

Хоча деякі тенденції якимось чином лінійні (див. Ціна акцій Apple), і хоча діаграма часових рядів схожа на лінійну діаграму, де можна знайти лінійну регресію, більшість тенденцій не є лінійними.

Існують зміни крок, як зміни, коли щось траплялося в конкретний момент часу, що змінило поведінку вимірювання ( "Міст обвалився, і з цього моменту жоден автомобіль не переходить ").

Ще одна популярна тенденція - "Buzz" - експоненціальний ріст та подібний різкий спад після цього ( "Наша маркетингова кампанія мала величезний успіх, але ефект згасав через пару тижнів" ).

Знання правильної моделі (логістична регресія тощо) тенденції в часових рядах має вирішальне значення у можливості виявити її в даних часових рядів.

На додаток до деяких чудових моментів, які вже були згадані, я додам:

1. Невизначення довгих циклів або сезонності - шляхом вивчення лише даних протягом "недостатньо тривалого" періоду часу
2. Нездатність оцінювати помилку прогнозування за минулі періоди ( повторна перевірка )
3. Невизначення та боротьба зі змінами режиму

Ці проблеми пов'язані не зі статистичними методами, а із розробкою дослідження, тобто які дані включати та як оцінювати результати.

Складна частина пункту 1. - це переконання, що ми спостерігали достатній період даних, щоб зробити висновки про майбутнє. Під час моєї першої лекції з часових рядів професор намалював довгу криву синуса на дошці і зазначив, що довгі цикли виглядають як лінійні тенденції, коли спостерігаються за коротким вікном (досить просто, але урок приклеюється зі мною).

Точка 2. особливо актуальна, якщо помилки вашої моделі мають певні практичні наслідки. Серед інших галузей він широко застосовується у галузі фінансів, але я заперечую, що оцінка помилок прогнозування в минулі періоди має багато сенсу для всіх моделей часових рядів, де дані це дозволяють.

Пункт 3. знову торкається теми, яка частина минулих даних є репрезентативною для майбутнього. Це складна тема з великою кількістю літератури - я назову свого особистого фаворита: Цукіні та Макдональд як приклад.

Уникайте зшивання у вибіркових часових рядах. Якщо ви аналізуєте дані часових рядів, які вибираються з вибіркою через рівні проміжки часу, то частота дискретизації повинна бути вдвічі більшою за частоту найвищої частотної складової в даних, які ви відбираєте. Це теорія дискретизації Найквіста, і вона застосовується до цифрового звуку, а також до будь-якого часового ряду, вибіреного через рівні проміжки часу. Спосіб уникнення згладжування - це відфільтрувати всі частоти, що перевищують частоту найквіста, що становить половину швидкості вибірки. Наприклад, для цифрового звуку для частоти вибірки 48 кГц знадобиться фільтр низьких частот із відсіканням нижче 24 кГц.
Ефект згладжування можна побачити, коли колеса, як здається, крутяться назад, внаслідок стробіскопічного ефекту, коли швидкість обертання близька до швидкості обертання колеса. Повільна швидкість, що спостерігається, є псевдонімом фактичної швидкості обертання.