Інтерпретація середньої абсолютної помилки (MASE)

Середня абсолютна масштабована помилка (MASE) - це міра точності прогнозування, запропонована Koehler & Hyndman (2006) .

де - середня абсолютна похибка, вироблена фактичним прогнозом; тоді як - середня абсолютна похибка, що створюється наївним прогнозом (наприклад, прогноз без змін інтегрованого часового ряду), обчислена на даних вибірки.M A E i n - s a m p l e $MAE$
I(1$MAE_{in-sample, \, naive}$$I(1)$

(Ознайомтеся з документом Koehler & Hyndman (2006) для точного визначення та формули.)

M A S E > $MASE>1$ означає, що фактичний прогноз виходить гіршим за вибірку, ніж наївний прогноз у вибірці, з точки зору середньої абсолютної помилки. Таким чином, якщо середня абсолютна похибка є відповідним показником точності прогнозування (що залежить від проблеми, яка існує), припускає, що фактичний прогноз слід відкинути на користь наївного прогнозу, якщо ми очікуємо, що вибірні дані не будуть бути цілком схожими на вибіркові дані (адже ми знаємо лише, наскільки наївний прогноз виконаний у вибірці, а не поза вибіркою)$MASE>1$

Питання:

$MASE=1.38$ було використано як орієнтир у змаганнях з прогнозування, запропонованих у цій публікації блогу Hyndsight . Чи не повинен був очевидним орієнтиром бути ?$MASE=1$

Звичайно, це питання не стосується конкретної конкуренції з прогнозування. Я хотів би допомогти в розумінні цього в більш загальному контексті.

Моя здогадка:

Єдине розумне пояснення, яке я бачу, - це те, що, як очікувалося, наївний прогноз буде набагато гіршим, ніж у вибірці, наприклад, через структурні зміни. Тоді можливо, було занадто складним для досягнення.$MASE<1$

Список літератури:

• Хайндман, Роб Дж. Та Енн Б. Келер. " Ще один погляд на заходи точності прогнозу ". Міжнародний журнал прогнозування 22.4 (2006): 679-688.
• Hyndsight блог пост .

У пов’язаному дописі на блозі Роб Хайндман закликає участі у конкурсі з прогнозування туризму. По суті, повідомлення в блозі слугує для привернення уваги до відповідної статті IJF , необ’єднана версія якої пов'язана з публікацією в блозі.

Орієнтовні показники, на які ви посилаєтесь - 1,38 за місяць, 1,43 за квартальні та 2,28 за річні дані, - очевидно, були досягнуті наступним чином. Автори (всі вони є експертами з прогнозування та дуже активні в IIF - тут немає продавців зміїної олії) цілком здатні застосовувати стандартні алгоритми прогнозування або програмне забезпечення для прогнозування, і їх, мабуть, не цікавить просте подання ARIMA. Тому вони пішли і застосували до своїх даних деякі стандартні методи. Для того, щоб виграш подали заявку на роботу в IJF , вони просять, щоб він покращився на кращому рівні з цих стандартних методів, що вимірюються MASE.

Отже, ваше питання зводиться до:

Зважаючи на те, що MASE 1 відповідає прогнозу, який є вибірковим настільки ж хорошим (за MAD), як і наївний прогноз випадкового ходу у вибірці, чому стандартні методи прогнозування, такі як ARIMA, не можуть покращитись на 1,38 для щомісячних даних?

Тут, 1,38 МАСЕ походить із таблиці 4 у неоднорідній версії. Це середній показник ASE за прогноз ARIMA на 1-24 місяці вперед. Інші стандартні методи, такі як прогноз Proro, ETS тощо, працюють навіть гірше.

$\exp(t)$зі стандартними методами. Жодне з них не охопить тенденцію, що прискорюється (і це, як правило, хороша річ - якщо ваш алгоритм прогнозування часто моделює прискорюючий тренд, ви, швидше за все, набагато перевищить свою оцінку), і вони дадуть МАСЕ вище 1. Інші пояснення можуть як ви говорите, це різні структурні розриви, наприклад, зміна рівня або зовнішні впливи, такі як SARS або 9/11, які не будуть охоплені непричинними моделями орієнтиру, але які можуть бути змодельовані спеціальними методами прогнозування туризму (хоча використовуючи майбутні каузали у зразку тримання - це своєрідний обман).

Тому я б сказав, що ви, швидше за все, не можете сказати багато про це, не дивлячись на самі дані. Вони доступні на Kaggle. Ваша найкраща ставка, ймовірно, візьме ці серії 518, витримає останні 24 місяці, підходить серія ARIMA, підрахує MASE, вирийте десять-двадцять найгірших прогнозних серій, отримайте великий горщик кави, подивіться ці серії та спробуйте щоб з'ясувати, що саме робить ARIMA моделями настільки поганими при їх прогнозуванні.

EDIT: ще один момент, який здається очевидним після цього факту, але мені знадобилося п’ять днів - пам’ятайте, що знаменник MASE - це крок вперед у вибірці прогнозу випадкового ходу, тоді як чисельник - це середній показник 1-24- крок вперед прогнози. Не надто дивно, що прогнози погіршуються зі збільшенням горизонтів, тому це може бути ще однією причиною MASE 1,38. Зауважимо, що прогноз сезонного наїву також був включений у орієнтир і мав ще більший MASE.

Не відповідь, а сюжет після заклику Стефана Коласи "переглянути ці серії".
Kaggle tourism1 має 518 річних часових рядів, для яких ми хочемо передбачити останні 4 значення:

$5^{th}$
$\qquad Error4( y ) \equiv {1 \over 4} \sum_ {last\ 4} |y_i - y_{-5}|$
$Error4(y)$$length(y)$

Очевидно, дуже короткі серії - 12 11 7 7 7 ... у верхньому ряду - важко передбачити: не сюрприз.
(Athanasopoulos, Hyndman, Song and W; Конкурс прогнозування туризму (2011, 23 р.) Використовував 112 із 518 річних серій, але я не бачу, які з них.)

Чи є інші, новіші колекції часових рядів з 2010 року, які, можливо, варто переглянути?