Навіщо використовувати певний показник помилки прогнозу (наприклад, MAD) на відміну від іншого (наприклад, MSE)?

MAD = Середнє абсолютне відхилення MSE = Середня помилка квадрата

Я бачив пропозиції з різних місць, що MSE використовується, незважаючи на деякі небажані якості (наприклад, http://www.stat.nus.edu.sg/~staxyc/T12.pdf , де зазначено на сторінці p8 "Поширена думка, що MAD є кращим критерієм, ніж MSE. Однак математично MSE зручніше, ніж MAD. ")

Чи є в цьому більше, ніж це? Чи є документ, який детально аналізує ситуації, в яких різні методи вимірювання похибки прогнозу є більш / менш підходящими? Мій пошук у Google нічого не виявив.

Аналогічне запитання було задано на веб- сайті /programming/13391376/how-to-decide-the-forecasting-method-from-the-me-mad-mse-sde , і користувачеві було запропоновано публікація на stats.stackexchange.com, але я не думаю, що вони ніколи цього робили.

Щоб вирішити, яку точку помилки прогнозування використовувати, нам потрібно зробити крок назад. Зауважте, що майбутні результати ми не знаємо досконало, і ніколи не будемо. Тож майбутній результат слід за розподілом ймовірності . Деякі методи прогнозування явно видають таке повне розповсюдження, а деякі - ні, але воно завжди є, якщо тільки неявно.

Тепер ми хочемо мати хороший показник помилок для точкового прогнозу . Такий точковий прогноз $F_t$ - це наша спроба узагальнити те, що ми знаємо про майбутній розподіл (тобто прогнозний розподіл) за час $t$ використовуючи єдине число, так званий функціонал майбутньої щільності. Тоді міра помилок - це спосіб оцінити якість цього підсумкового числа.

Таким чином, ви повинні вибрати міру помилки, яка приносить користь "хорошим" підсумкам одного числа (невідомих, можливо прогнозованих, але можливо лише неявних) майбутніх густин.

Завдання полягає в тому, що різні заходи помилок мінімізуються різними функціоналами. Очікувана MSE мінімізується на очікувану величину майбутнього розподілу. Очікувана MAD мінімізується на медіаною майбутнього розподілу. Таким чином, якщо ви відкалібруєте свої прогнози, щоб мінімізувати рівень MAE, ваш точковий прогноз буде майбутньою медіаною, а не майбутнім очікуваним значенням, і ваші прогнози будуть упередженими, якщо ваш майбутній розподіл не буде симетричним.

Це найбільш актуально для даних підрахунку, які зазвичай перекошені. У крайніх випадках (скажімо, Пуассон розподіляв продажі із середнім показником нижче $\log 2\approx 0.69$ ), ваш MAE буде найнижчим для прогнозу рівного нуля. Детальніше дивіться тут або тут або тут .

Я надаю ще додаткову інформацію та ілюстрацію в частині Які недоліки Помилки середнього абсолютного відсотка (MAPE)? Цей потік враховує мапе , але також інші заходи помилок, і він містить посилання на інші пов'язані потоки.

Зрештою, яку міру помилок використовувати насправді, залежить від вашої вартості помилки прогнозу, тобто від того, який тип помилки найбільш болючий. Не дивлячись на реальні наслідки прогнозних помилок, будь-яке обговорення "кращих критеріїв" в основному безглуздо.

Заходи точності прогнозу були великою темою у спільноті з прогнозуванням кілька років тому, і вони все ще з’являються раз у раз. Однією з дуже хороших статей, на яку слід звернути увагу, є Hyndman & Koehler "Ще один погляд на заходи точності прогнозу" (2006).

Нарешті, однією з альтернатив є обчислення повної прогнозної щільності та оцінка їх за допомогою правильних правил балів .

Переваги використання MAE замість MSE пояснюються у « Давиденко та Фільдес» (2016) , див. Розділ 3.1:

... Деякі автори (наприклад, Zellner, 1986) стверджують, що критерій, за яким ми оцінюємо прогнози, повинен відповідати критерію, за яким ми оптимізуємо прогнози. Іншими словами, якщо ми оптимізуємо оцінки, використовуючи деяку задану функцію втрат, ми повинні використовувати ту саму функцію втрат для емпіричного оцінювання, щоб з'ясувати, яка модель є кращою.

Встановлення статистичної моделі зазвичай дає прогнози, оптимальні при квадратичних втратах. Це, наприклад, відбувається, коли ми підходимо до лінійної регресії. Якщо наш прогноз щільності при статистичному моделюванні симетричний, то оптимальні прогнози при квадратичних втратах також оптимальні при лінійних втратах. Але, якщо ми стабілізуємо дисперсію за допомогою log-перетворень, а потім перетворимо прогнози назад за експоненціацією, ми отримаємо прогнози, оптимальні лише за лінійних втрат. Якщо ми використовуємо іншу втрату, ми повинні спочатку отримати прогноз щільності за допомогою статистичної моделі, а потім скорегувати нашу оцінку, враховуючи нашу конкретну функцію втрат (див. Приклади цього в Goodwin, 2000).

Припустимо, ми хочемо емпірично порівняти два методи та з’ясувати, який метод кращий з точки зору симетричної лінійної втрати (оскільки цей тип втрат зазвичай використовується в моделюванні). Якщо у нас є лише один часовий ряд, здається природним використовувати середню абсолютну помилку (МАЕ). Крім того, MAE привабливий тим, що його легко зрозуміти та обчислити (Hyndman, 2006) ...

Список літератури

Давиденко, А., & Фільдес, Р. (2016). Заходи помилок прогнозування: критичний огляд та практичні рекомендації. У бізнес-прогнозуванні: практичні проблеми та рішення. Джон Вілі та сини

$RMSE = \sqrt{MSE}$$MAE = MAD$

Насправді,

$MAE \leq RMSE \leq \sqrt{n} MAE$

• $e$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n e^2} = e = MAE$
• верхня межа: один випадок, що має помилку $e$ а всі інші випадки мають 0 помилок:
  $MAE = \frac{e}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} e^2} = \sqrt{\frac{1}{n} (n MAE)^2} = \sqrt{n} MAE$

($MAE \leq RMSE \leq \sqrt{MAE}$ для класифікації з частковим класом $y_i$ та / або $\hat y_i$ є $\in [0, 1]$ - тобто вони можуть насправді приймати значення між 0 і 1).

• верхня межа: тут, $e_i$ є $\leq 1$, так
  $MAE = \frac{n_{wrong}}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n_{wrong}} = \sqrt{MAE}$
  (Ця верхня межа зустрічається для цілого числа $n_{wrong}$, якщо ви йдете на часткове / часткове членство в класі, а отже, і на $e_i \in [0, 1]$, справи стають дещо складнішими, оскільки потрібно враховувати, що максимально можлива помилка може бути меншою за 1, і у вас може бути "залишок" $e_i < 1$ які обидві опускають верхню межу трохи далі.)

Якщо RMSE близький до MAE, у вас є багато невеликих відхилень, якщо він близький до його верхньої межі, є мало грубо неправильних прогнозів.