Чи можуть RMSE та MAE мати однакове значення?

Я реалізую перехресну перевірку та обчислення показників помилок, таких як RMSE, $R^2$, MAE, MSE тощо.

Чи можуть RMSE та MAE мати однакове значення?

Так, теоретично. Найпростіший випадок, який я можу собі уявити, - це набір даних, де всі помилки передбачення (тобто залишки) точно 1. RMSE і MAE повернуть однакові значення 1. Можна також побудувати і інші сценарії, але жоден не здається дуже ймовірним.$\pm$

EDIT: Завдяки @DilipSarwate за вказівку (докладно розроблену @ user20160 у відмінній відповіді), що цей результат можливий лише тоді, коли абсолютні значення всіх помилок прогнозування однакові. У цінності немає нічого особливого$\pm$1 на моєму прикладі, іншими словами; будь-яке інше число працюватиме замість 1.

Середня абсолютна помилка (MAE) може дорівнювати середній похибці у квадраті (MSE) або середній кореневій помилці (RMSE) за певних умов, яку я покажу нижче. Ці умови навряд чи трапляться на практиці.

Прелімінарії

Дозволяє $r_i = |y_i - \hat{y}_i|$ позначають абсолютне значення залишкової для $i$точку даних, і нехай $r = [r_i, \dots, r_n]^T$ бути вектором, що містить абсолютні залишки для всіх $n$балів у наборі даних. Здавати в оренду$\vec{1}$ позначають а $n \times 1$ вектор з них, MAE, MSE та RMSE можна записати так:

$$MAE = \frac{1}{n} \vec{1}^T r \quad MSE = \frac{1}{n} r^T r \quad RMSE = \sqrt{\frac{1}{n} r^T r} \tag{1}$$

MSE

Встановлення MSE рівне MAE та перестановка дає:

$$(r - \vec{1})^T r = 0 \tag{2}$$

MSE та MAE рівні для всіх наборів даних, де абсолютні залишки вирішують вищевказане рівняння. Два очевидних рішення:$r = \vec{0}$ (є нульова помилка) та $r = \vec{1}$ (залишки - усі $\pm 1$, як згадано mkt). Але, існує нескінченно багато рішень.

Ми можемо інтерпретувати рівняння $(2)$ геометрично наступним чином: LHS - крапковий добуток $r-\vec{1}$ і $r$. Продукт із нульовою точкою передбачає ортогональність. Отже, MSE і MAE рівні, якщо віднімання 1 з кожного абсолютного залишку дає вектор, ортогональний вихідним абсолютним залишкам.

Крім того, заповнивши квадрат, рівняння $(2)$ можна переписати як:

$$\Big( r-\frac{1}{2} \vec{1} \Big)^T \Big( r-\frac{1}{2} \vec{1} \Big) = \frac{n}{4} \tag{3}$$

Це рівняння описує $n$-вимірна сфера, зосереджена на $[\frac{1}{2}, \dots, \frac{1}{2}]^T$ з радіусом $\frac{1}{2} \sqrt{n}$. MSE та MAE рівні, якщо і лише тоді, коли абсолютні залишки лежать на поверхні цієї гіперсфери.

RMSE

Встановлення RMSE рівне MAE та перестановка дає:

$$r^T A r = 0 \tag{4}$$

$$A = (n I - \vec{1} \vec{1}^T)$$

де $I$є матрицею ідентичності. Безліч рішень є нуль - простір з$A$; тобто сукупність усіх$r$ такий як $A r = \vec{0}$. Щоб знайти нульовий простір, зверніть увагу на це$A$ є $n \times n$ матриця з діагональними елементами, що дорівнює $n-1$ та всіх інших елементів, рівних $-1$. Заява$A r = \vec{0}$ відповідає системі рівнянь:

$$(n-1) r_i - \sum_{j \ne i} r_j = 0 \quad \forall i \tag{5}$$

Або, переставляючи речі:

$$r_i = \frac{1}{n-1}\sum_{j \ne i} r_j \quad \forall i \tag{6}$$

Тобто кожен елемент $r_i$повинна дорівнювати середньому серед інших елементів. Єдиний спосіб задовольнити цю вимогу полягає в тому, щоб всі елементи були рівними (цей результат можна отримати також, розглядаючи ейгендекомпозицію$A$). Тому набір рішень складається з усіх негативних векторів з однаковими записами:

$$\{r \mid r = c \vec{1} \enspace \forall c \ge 0\}$$

Таким чином, RMSE та MAE рівні, якщо і лише тоді, коли абсолютні значення залишків рівні для всіх точок даних.