Як інтерпретувати середньоквадратичну помилку (RMSE) проти стандартного відхилення?

Скажімо, у мене є модель, яка дає мені прогнозовані значення. Я обчислюю RMSE цих значень. А потім стандартне відхилення фактичних значень.

Чи має сенс порівнювати ці два значення (дисперсії)? Я думаю, що якщо RMSE і стандартне відхилення схожі / однакові, то помилка / дисперсія моєї моделі є такою ж, як і на ділі. Але якщо навіть не має сенсу порівнювати ці значення, то цей висновок може бути помилковим. Якщо моя думка правдива, то це означає, що модель настільки ж хороша, наскільки вона може бути, тому що вона не може пояснити, що викликає дисперсію? Я думаю, що остання частина, ймовірно, помиляється або, принаймні, потребує більше інформації, щоб відповісти.

Скажімо, наші відповіді $y_1, \dots, y_n$ а наші прогнозовані значення $\hat y_1, \dots, \hat y_n$ .

Дисперсія вибірки (використовуючи а не для простоти) дорівнює тоді як MSE - . Таким чином, вибіркова дисперсія дає те, наскільки відповіді різняться в середньому, в той час як MSE визначає, наскільки відповіді змінюються залежно від наших прогнозів. Якщо ми вважаємо загальне середнє значення як найпростіший прогноз, який ми коли-небудь вважали, то, порівнюючи MSE з вибірковою дисперсією відповідей, ми можемо побачити, наскільки більше варіантів ми пояснили з нашою моделлю. Саме це робить R ^ 2 значення в лінійній регресії.n - 1 $n$$n-1$$\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2$ˉ у R $\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2$$\bar y$$R^2$

Розглянемо наступне зображення: Дисперсія вибірки - це мінливість навколо горизонтальної лінії. Якщо ми проектуємо всі дані на вісь ми можемо це побачити. MSE - середня квадратна відстань до лінії регресії, тобто мінливість навколо лінії регресії (тобто ). Отже, мінливість, виміряна дисперсією вибірки, - це усереднене відстань у квадраті до горизонтальної лінії, яке ми можемо бачити значно більше, ніж середня квадратна відстань до лінії регресії. $y_i$$Y$$\hat y_i$

Якщо ви говорите про середню квадратичну помилку передбачення, тут це може бути: залежно від того, скільки ( p ) параметрів оцінено для прогнозування, тобто втрати ступеня свободи (DF).

Дисперсія вибірки може бути: де є просто оцінником середнього значення .

Отже, ви можете розглядати останню формулу (вибіркова дисперсія) як особливий випадок колишньої (MSE), де а втрата DF становить 1, оскільки середнє обчислення - оцінка.$\hat{y}_i = \bar{y}$$\bar{y}$

Або якщо ви не дуже переймаєтесь тим, як прогнозується , але хочете отримати бальну MSE для вашої моделі, ви все одно можете використовувати наступну формулу, щоб оцінити це, $\hat{y}_i$

що найпростіше обчислити.

За відсутності кращої інформації середнє значення цільової змінної можна вважати простою оцінкою значень цільової змінної, чи намагаються моделювати існуючі дані, чи намагаються передбачити майбутні значення. Ця проста оцінка цільової змінної (тобто прогнозованих значень, рівних середньому значення цільової змінної) буде усунена певною помилкою. Стандартний спосіб вимірювання середньої помилки - це стандартне відхилення (SD) , , оскільки SD має гарну властивість пристосування дзвоникоподібного (гауссового) розподілу, якщо цільова змінна нормально розподілена. Отже, SD можна вважати величиною помилки, яка природно виникає в оцінках цільової змінної.$\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2}$Це робить його еталоном, який потрібно намагатися обіграти будь-якій моделі.

Існують різні способи вимірювання похибки оцінки моделі ; серед них середньоквадратична помилка (RMSE), яку ви згадали, , є однією з найпопулярніше. Це концептуально досить схоже на SD: замість того, щоб вимірювати, наскільки далеко від фактичного значення знаходиться середнє значення, він використовує по суті ту саму формулу, щоб виміряти, наскільки далеко від фактичного значення від прогнозування моделі для цього значення. Гарна модель повинна, в середньому, мати кращі прогнози, ніж наївна оцінка середнього рівня для всіх прогнозів. Таким чином, міра варіації (RMSE) повинна зменшити випадковість краще, ніж SD.$\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2}$

Цей аргумент стосується інших заходів помилки, не лише до RMSE, але RMSE особливо привабливий для прямого порівняння з SD, оскільки їх математичні формули є аналогічними.