Які недоліки середньої абсолютної процентної помилки (MAPE)?

Відсоток помилки Середнього Absolute ( Мапе ) є спільною точністю або міра помилки для часових рядів або інших передбачень,

де - фактичні факти, а F t - відповідні прогнози чи прогнози.$A_t$$F_t$

MAPE - це відсоток, тому ми можемо легко порівняти його між серіями, а люди можуть легко зрозуміти та інтерпретувати відсотки.

Однак я чую, що у MAPE є недоліки. Я б хотів краще зрозуміти ці недоліки, щоб я міг прийняти обгрунтоване рішення про те, чи використовувати MAPE або якусь альтернативу, наприклад, MSE ( mse ), MAE ( mae ) або MASE ( mase ).

Недоліки MAPE

• MAPE у відсотках має сенс лише для значень, де поділи та співвідношення мають сенс. Наприклад, не має сенсу обчислювати відсотки температур, тому не слід використовувати MAPE для обчислення точності прогнозу температури.

• $A_t=0$

  $F_t=100$$F_t=1000$

  Якщо трапляється лише кілька нулів, ви можете використовувати зважений MAPE ( Kolassa & Schütz, 2007 ), який, тим не менш, має власні проблеми. Це стосується і симетричного MAPE ( Goodwin & Lawton, 1999 ).

• MAPE можуть перевищувати 100%. Якщо ви віддаєте перевагу роботі з точністю, яку деякі люди визначають як 100% -МАРТ, це може призвести до негативної точності, яку люди можуть важко зрозуміти. ( Ні, точність обрізання нуля - це не дуже гарна ідея. )

• $F_t=0$$A_t=1$$F_t=5$$A_t=1$

Особливо остання точка кулі заслуговує трохи більше думки. Для цього нам потрібно зробити крок назад.

$F_t$$t$$t=1, \dots, n$

Проблема тут полягає в тому, що люди рідко відверто кажуть, що таке хороший підсумок майбутнього розповсюдження.

$F_t$$F_t$

Ось проблема: мінімізація MAPE, як правило, не стимулює нас до отримання цього очікування, а зовсім інший підсумок з одним числом ( McKenzie, 2011 , Kolassa, 2020 ). Це відбувається з двох різних причин.

• $(\mu=1,\sigma^2=1)$

  

  Горизонтальні лінії дають оптимальні точкові прогнози, де "оптимальність" визначається як мінімізація очікуваної помилки для різних заходів помилок.

  • $F_t=\exp(\mu+\frac{\sigma^2}{2})\approx 4.5$
  • $F_t=\exp\mu\approx 2.7$
  • $F_t=\exp(\mu-\sigma^2)=1.0$$\beta=-1$

  Ми бачимо, що асиметрія майбутнього розподілу, а також той факт, що MAPE по-різному карає завищені та недооцінені, означає, що мінімізація MAPE призведе до сильно упереджених прогнозів. ( Ось розрахунок оптимальних точкових прогнозів у випадку гамми. )

• $A_t$$t$

  

  В цьому випадку:

  • $F_t=3.5$

  • $3\leq F_t\leq 4$

  • $F_t=2$

  Ми знову бачимо, як мінімізація MAPE може призвести до упередженого прогнозу через різницю покарання, що застосовується до переоцінки та недооцінки. У цьому випадку проблема виходить не з асиметричного розподілу, а з високого коефіцієнта варіації нашого процесу генерації даних.

  Це насправді проста ілюстрація, яку ви можете використовувати, щоб навчити людей про недоліки КАРТИ - просто вручіть своїм відвідувачам кілька кубиків і згорніть їх. Дивіться інформацію про Kolassa & Martin (2011) для отримання додаткової інформації.

Пов’язані питання CrossValidated

• Різниця між MSE та MAPE
• Найкращий спосіб оптимізації MAPE
• Зведення до мінімуму симетричної середньої абсолютної похибки (SMAPE)
• MAPE vs R-квадрат у регресійних моделях
• Навіщо використовувати певний показник помилки прогнозу (наприклад, MAD) на відміну від іншого (наприклад, MSE)?

R код

Приклад логіки:

mm <- 1
ss.sq <- 1
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- rlnorm(100,meanlog=mm,sdlog=sqrt(ss.sq))

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    xx <- seq(0,max(actuals),by=.1)
    polygon(c(101+150*dlnorm(xx,meanlog=mm,sdlog=sqrt(ss.sq)),
      rep(101,length(xx))),c(xx,rev(xx)),col="lightgray",border=NA)

    (min.Ese <- exp(mm+ss.sq/2))
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    (min.Eae <- exp(mm))
    lines(c(101,150),rep(min.Eae,2),col=SAPGold,lwd=3,lty=3)

    (min.Eape <- exp(mm-ss.sq))
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Приклад прокатки кісток:

SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- sample(x=1:6,size=100,replace=TRUE)

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    min.Ese <- 3.5
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    min.Eape <- 2
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Список літератури

Гнайтінг, Т. Складання та оцінка точкових прогнозів . Журнал Американської статистичної асоціації , 2011, 106, 746-762

Гудвін, П. та Лоутон, Р. Про асиметрію симетричного MAPE . Міжнародний журнал прогнозування , 1999, 15, 405-408

Гувер, Дж. Вимірювання точності прогнозу: пропуски в сьогоднішніх двигунах прогнозування та програмному плануванні попиту . Передбачення: Міжнародний журнал прикладного прогнозування , 2006, 4, 32-35

Коласса, С. Чому прогноз "найкращого" пункту залежить від міри помилки чи точності (Запрошений коментар до змагань з прогнозування М4). Міжнародний журнал прогнозування , 2020, 36 (1), 208-211

Коласа, С. та Мартін, Р. Відсотки помилок можуть зіпсувати ваш день (і прокатка кісток показує, як) . Передбачення: Міжнародний журнал прикладного прогнозування, 2011, 23, 21-29

Kolassa, S. & Schütz, W. Переваги співвідношення MAD / середнє значення щодо MAPE . Передбачення: Міжнародний журнал прикладного прогнозування , 2007, 6, 40-43

Маккензі, Дж. Середній абсолютний відсотковий похибку та упередженість в економічному прогнозуванні . Економічні листи , 2011, 113, 259-262