Чи незвично для MEAN перевершувати ARIMA?


38

Нещодавно я застосував цілу низку методів прогнозування (MEAN, RWF, ETS, ARIMA та MLP) і виявив, що MEAN справився на диво добре. (ЗНАЧЕНО: де всі майбутні прогнози прогнозуються як рівні середнього арифметичного спостережуваних значень.) MEAN навіть перевершує ARIMA у трьох використаних нами рядах.

Що я хочу знати, якщо це незвично? Чи означає це, що часовий ряд, який я використовую, дивний? Або це вказує на те, що я налаштував щось не так?



@Mehrdad можна було б точно визначити гарну відповідь навколо Martingales.
shadowtalker

1
Досить звичайними є прості методи для успішної роботи, особливо поза зразком (де це важливо). Цей ефект посилюється на коротких серіях. Якщо серійної кореляції чи тренду не так багато, ми б очікували, що середнє значення буде дуже добре навіть із відносно довгими серіями.
Glen_b -Встановіть Моніку

Відповіді:


31

Я практик, і виробник, і користувач прогнозування, і НЕ навчений статистик. Нижче я ділюсь своїми думками щодо того, чому ваш середній прогноз виявився кращим, ніж ARIMA, посилаючись на статтю дослідження, що спирається на емпіричні дані. Одна книга, яку знову і знову повертаюсь до згадки, - це книга " Принципи прогнозування " Армстронга та її веб-сайт, який я рекомендував би відмінне для читання будь-якому синоптику, який дає чудове розуміння використання та керівних принципів методів екстраполяції.

Щоб відповісти на ваше перше запитання - що я хочу знати, якщо це незвично?

Існує глава під назвою Екстраполяція даних часових рядів і міжсекційних, які також доступні безкоштовно на тому ж веб-сайті . Далі йде цитата з глави

"Наприклад, у змаганнях М2 в реальному часі, в яких було вивчено 29 щомісячних серій, Бокс-Дженкінс виявився одним із найменш точних методів, і його загальна медіанна помилка була на 17% більшою, ніж для наївного прогнозу"

Існує емпіричне підтвердження того, чому ваші середні прогнози були кращими, ніж моделі ARIMA.

Також було проведено дослідження після вивчення емпіричних змагань, і третій конкурс M3, який показує підхід Box - Jenkins ARIMA, не дає точного прогнозу і не має доказів того, що він працює краще для одновимірної екстраполяції тенденцій.

На цьому ж веб-сайті є ще одна стаття та триває дослідження Гріна та Армстронга під назвою " Просте прогнозування: уникайте сліз перед сном ". Автори статті підсумовують наступне:

Всього ми виділили 29 робіт, що містять 94 формальних порівняння точності прогнозів від складних методів із тими простими, але не у всіх випадках складними простими методами. Вісімдесят три відсотки порівнянь виявили, що прогнози від простих методів були більш точними, або аналогічно точними, ніж прогнози складних методів. В середньому помилки прогнозів від складних методів були приблизно на 32 відсотки більшими, ніж помилки прогнозів від простих методів у 21 дослідженні, які забезпечують порівняння помилок

Щоб відповісти на ваше третє запитання : чи це означає, що я щось не так налаштував? Ні, я б вважав ARIMA складним методом, а середній прогноз - простими методами. Існує багато доказів того, що прості методи, такі як Середній прогноз, перевершують складні методи, такі як ARIMA.

Щоб відповісти на ваше друге запитання : Чи означає це, що серія часу, яку я використовую, дивна?

Нижче наведено те, що я вважав експертами з прогнозування реального світу:

  • Макрідакіс (Піонерська емпірична конкуренція з прогнозування під назвою M, M2 та M3, і проклала шлях для методів, що ґрунтуються на доказах у прогнозуванні)
  • Армстронг (надає цінну інформацію у вигляді книг / статей з практики прогнозування)
  • Гарднер (Експоненціальна згладжувана тенденція викритої тенденції - ще один простий метод, який дивно добре працює проти ARIMA)

Всі перераховані вище дослідники виступають за простоту (такі методи як ваш середній прогноз) порівняно зі складними методами, такими як ARIMA. Тож вам слід почувати себе комфортно, що ваші прогнози хороші та завжди віддавати перевагу простоті над складністю на основі емпіричних даних. Усі ці дослідники внесли величезний внесок у сферу прикладного прогнозування.

Окрім хорошого списку простого методу прогнозування Стефана. Існує також інший метод, який називається методом прогнозування Theta, який є дуже простим методом (в основному Просте Експоненціальне згладжування з дрейфом, що дорівнює 1/2 нахилу лінійної регресії), я додав би це до вашої панелі інструментів. Forecast package in Rреалізує цей метод.


2
Мені дуже подобається точка зору, яку ви надаєте щодо прогнозування, та докази, які ви наводите, щоб їх підтримати, але елементи цієї відповіді заперечують, оскільки вони занадто багато читають, як сканда проти "статистиків" чи, можливо, проти офіційного статистичного навчання - і не відповідають правилам . Наприклад, вища ступінь Макрідакіса знаходиться в статистиці (відгадайте, що?) , Тому він викладає, і це те, що він робить.
whuber

1
Зрозумів, я його зніму. Я намагався зазначити, що головний прогрес на методах, заснованих на доказах, прийшов від нестатистів. Але я бачу вашу думку, що це може трапитися так
синоптик

Зроблено, Макрідакіс, PHD був в управлінських інформаційних системах відповідно до цього опублікованого інтерв'ю
синоптик

FWIW, його сторінка LinkedIn --which він підтримує - перераховує обидва його PhDs в статистиці. Але аргумент є безпредметним: твердження, що хтось не є статистиком, оскільки їх ступінь, можливо, спеціально не міститься у статистиці, має мало значення і є суттєвим. (До недавнього часу більшість людей, чия кар'єра займалася статистикою, мали ступінь в інших галузях, оскільки мало статистичних програм.)
whuber

2
+1. Однак ви пишете: "Існує емпіричне підтвердження того, чому ваші середні прогнози були кращими, ніж моделі ARIMA". - ні, це говорить лише про те, що середнє значення було кращим (у цьому конкретному випадку), а не чому . Я б перевернув аргумент і ставлю тягар доказування на ARIMA та інші моделі. Я ніколи не розумів, чому процес генерування даних повинен піклуватися про помилки минулого в моїй моделі. Це, по суті, модель MA. Моя особиста підозра в тому, що ARIMA настільки популярна, тому що ви насправді можете довести такі речі, як кореневі одиниці та стаціонарність - не тому, що це добре прогнозує.
S. Kolassa - Відновіть Моніку

36

Це зовсім не дивно . Прогнозуючи, ви дуже часто виявляєте такі надзвичайно прості методи, як

  • загальна середня
  • наївна випадкова хода (тобто останнє спостереження, що використовується як прогноз)
  • сезонна випадкова прогулянка (тобто спостереження з року назад)
  • Єдине експоненціальне згладжування

перевершити більш складні методи. Ось чому ви завжди повинні перевірити свої методи на основі цих дуже простих орієнтирів.

Цитата від Джорджа Атаносопулоса та Роб Хандмана (які є фахівцями в цій галузі):

Деякі методи прогнозування дуже прості та напрочуд ефективні.

Зауважте, як вони прямо говорять, що вони будуть використовувати деякі дуже прості методи в якості орієнтирів.

Насправді весь їх безкоштовний відкритий онлайн-підручник з прогнозування дуже рекомендується.

EDIT: Один з краще прийнятих заходів помилки прогнозу, середня абсолютна помилка масштабу (MASE) Hyndman & Koehler (див. Також тут ) вимірює, наскільки покращується даний прогноз у (на вибірці) наївному прогнозі випадкового ходу: якщо MASE <1, ваш прогноз кращий, ніж випадковий пробіг у вибірці. Ви б очікували, що це буде легко переможений, правда?

Не так: іноді навіть найкращий із кількох стандартних методів прогнозування, таких як ARIMA або ETS, дасть лише МАСЕ 1,38, тобто буде гіршим (поза вибіркою), ніж (у вибірці) випадковий прогноз ходи. Це достатньо неприємно, щоб викликати тут питання. (Це питання не є дублікатом цього, оскільки MASE порівнює точність поза вибіркою з точністю в зразку наївного методу, але це також просвічує для цього питання.)


1
Дякуємо за те, що прийняли, але, можливо, ви хочете зачекати день - якщо на запитання будуть прийняті відповіді, менше людей навіть прочитають його, не кажучи вже про коментарі чи відповіді. І інші люди можуть по-різному сприймати це. Не соромтеся приймати ;-)
С. Коласа - Відновіть Моніку

Дуже чесно з тобою :) Я дам це за день. Спасибі.
Енді Т

9
"складний" - близький родич "переобладнаного".
shadowtalker

1
+1 приємна відповідь. Якби прогнозування було такою доказовою діяльністю, як медицина, метод ARIMA був би історією.
синоптик

2
простодушна ARIMA без підтвердження гауссових припущень - це вже історія для більшості з нас, але, очевидно, не для всіх!
IrishStat
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.