Середня абсолютна помилка АБО середня коренева помилка у квадраті?

Чому слід використовувати кореневу середньоквадратичну помилку (RMSE) замість середньої абсолютної помилки (MAE) ??

Привіт

Я досліджував помилку, що генерується в обчисленні - спочатку я обчислював помилку як помилку «Кореневе середнє значення».

Придивившись трохи ближче, я бачу, що ефекти квадратичної помилки надають більшої ваги більшим помилкам, ніж меншим, перекосуючи оцінку помилок у бік дивної зовнішності. Це досить очевидно в ретроспективі.

Отже, моє запитання - в якому випадку помилка кореневої середньої квадратики буде більш прийнятною мірою помилки, ніж середня абсолютна помилка? Останнє здається мені більш підходящим чи я щось пропускаю?

Для ілюстрації цього я додав приклад нижче:

Діаграма розкидання показує дві змінні з хорошою кореляцією,
у двох гістограмах праворуч діаграма помилка між Y (спостережувана) та Y (передбачувана) за допомогою нормалізованих RMSE (вгорі) та MAE (знизу).

введіть тут опис зображення

У цих даних немає істотних переживань, і MAE дає меншу помилку, ніж RMSE. Чи є якась раціональна, крім МАЕ, краща для використання однієї міри помилки над іншою?

— користувач1665220
джерело

Оскільки RMSE та MAE - це дві різні міри помилок, чисельне порівняння між ними (яке бере участь у твердженні, що MAE "нижчий", ніж RMSE) не здається значимим. Цей рядок повинен був відповідати якомусь критерію: той критерій, яким би він не був, повинен бути відповідним показником помилки.

— whuber

лінія була встановлена з використанням найменших квадратів - але рис - лише приклад, щоб показати різницю вимірюваної помилки. Моя справжня проблема полягає у використанні оптимізатора для вирішення чотирьох функціональних параметрів для певної міри мінімізованої помилки, MAE або RMSE.

— користувач1665220

Дякую за роз’яснення. Але яка помилка вас точно цікавить? Помилка пристосування або помилки в оцінці параметра ?

— whuber

Помилка при підході. У мене є кілька зразків лабораторії, які дають y, які я хочу передбачити за допомогою функції. Я оптимізую функцію для 4-х експонентів, зводячи до мінімуму похибки відповідності між спостережуваними та прогнозованими даними.

— користувач1665220

У RMSE ми вважаємо коренем кількості елементів (n). Тобто корінь MSE, розділений коренем n. Корінь MSE нормально, але замість того, щоб ділити на n, він ділиться коренем n для отримання RMSE. Я відчуваю, що це буде політика. Реальність буде (Корінь MSE) / n. Таким чином MAE краще.

Відповіді:

Це залежить від вашої функції втрат. За багатьох обставин є сенс надати більше ваги очкам, віддаленим від середнього значення, тобто відключення на 10 більше ніж удвічі менше, ніж відключення на 5. У таких випадках RMSE є більш прийнятною мірою помилок.

Якщо вимкнутись на десять лише вдвічі менше, ніж вимкнутись на 5, то MAE є більш підходящим.

У будь-якому випадку не має сенсу порівнювати RMSE та MAE один з одним, як ви робите у своєму другому останньому реченні ("МАЕ дає меншу помилку, ніж RMSE"). MAE ніколи не буде вище RMSE через спосіб їх обчислення. Вони мають сенс лише порівняно з тією ж мірою помилок: ви можете порівняти RMSE для методу 1 до RMSE для методу 2 або MAE для методу 1 до MAE для методу 2, але ви не можете сказати, що MAE кращий, ніж RMSE для методу 1 тому, що вона менша.

— Джонатан Крістенсен
джерело

Я розумію, що MAE ніколи не буде вищим за RMSE. Я використовую обидві оцінки помилок і розглядаю різницю між значеннями, щоб вказати на вплив пережитих людей. Тобто, коли вони поруч великі, коли вони далі розслідують, щоб побачити, що відбувається. Зрештою, я хочу передбачити параметри, які найкраще відповідають даним, і, наприклад, 9% помилок звучать краще, ніж 12% - я просто хотів переконатися, що я підбираю правильний з правильної причини.

— Привіт

Основна відмінність RMSE (отже, MSE) від MAE не в тому, як вони важать помилок. При необхідності можна використовувати функцію ваги. Основна відмінність полягає в тому, що MSE пов'язаний з L2 Space (у MAE такого немає). Так, наприклад, MSE може виміряти кількість енергії, необхідної для управління замкнутим циклом, коли E - сигнал зворотного зв'язку (Запам’ятайте середню площу сигналу. Помилка в цьому випадку пропорційна його енергії). Також стільки математики і, отже, алгоритмів, як Марквард-Левенберг, працює в цьому просторі. Простіше кажучи, вони використовують MSE в якості своєї об'єктивної функції.

— eulerleibniz

Ось ще одна ситуація, коли ви хочете використовувати (R) MSE замість MAE: коли умовний розподіл ваших спостережень несиметричний і вам потрібно неупереджено підходити. (R) MSE мінімізується за умовним середнім , MAE - за умовною серединкою . Тож якщо ви мінімізуєте MAE, придатність буде ближче до середньої та упередженої.

Звичайно, все це насправді залежить від вашої функції втрат.

Ця ж проблема виникає, якщо ви використовуєте MAE або (R) MSE для оцінки прогнозів чи прогнозів . Наприклад, дані про низькі обсяги продажів зазвичай мають асиметричний розподіл. Якщо ви оптимізуєте MAE, ви можете здивуватися, виявивши, що оптимальним для MAE прогнозом є прогноз рівного нуля.

Ось невеличка презентація, що висвітлює це , і ось нещодавній запрошений коментар до змагань з прогнозування M4, де я пояснив цей ефект .

— С. Коласа - Відновлення Моніки
джерело

+1. Ідея порівняння дистрибутивів чудова, але ... хіба така метрика, як та, яку ви представляєте, невдало провалюється в чомусь подібному N = 1e3; set.seed(1); y = rpois(N, lambda=1); yhat = c(y[2:N],0)? "Різниця" прогнозованої щільності була б мінімальною, але фактична yhatбула б марною. Звичайно, це надзвичайний випадок. (Можливо, я пропускаю щось очевидне, вибачте за це заздалегідь - я не маю доступу до документа лише до презентації.)

— usεr11852 каже Reinstate Monic

\hat{y} = 1

$\hat{y}=1$

Дуже дякую за роз’яснення; Я можу краще концептуалізувати презентацію. (Хм ... мені потрібно

— зважати

@ usεr11852: не соромтеся зв’язатися зі мною електронною поштою ( знайти адресу тут ) - якщо ваша пошта не потрапить у мій спам-фільтр, я з радістю надішлю вам цей папір.

— S. Kolassa - Відновіть Моніку

@ usεr11852 Я повністю втратив тебе після "як N =" що це?

— sak

RMSE - більш природний спосіб опису втрат на евклідовій відстані. Тому, якщо ви будете графікувати його в 3D, втрата має форму конуса, як видно вище із зеленим кольором. Це стосується і більш високих розмірів, хоча уявити його складніше.

MAE можна розглядати як відстань до міста. Це насправді не такий природний спосіб вимірювання втрат, як ви бачите на графіку синім кольором.

— дан дан
джерело