Як інтерпретувати заходи помилок?

Я запускаю класифікацію у Weka для певного набору даних, і я помітив, що якщо я намагаюся передбачити номінальне значення, то вихід конкретно показує правильно та неправильно прогнозовані значення. Однак тепер я запускаю його для числового атрибута, а вихід:

Correlation coefficient                 0.3305
Mean absolute error                     11.6268
Root mean squared error                 46.8547
Relative absolute error                 89.2645 %
Root relative squared error             94.3886 %
Total Number of Instances               36441

Як я трактую це? Я намагався гуглювати кожне поняття, але мало розумію, оскільки статистика зовсім не в моїй галузі знань. Я дуже вдячний для відповіді типу ELI5 з точки зору статистики.

— FloIancu
джерело

Позначимо справжнє значення інтересу як & і вартості , оціненої з допомогою якої - то алгоритм , як & . $\theta$ $\hat{\theta}$

Кореляція говорить вам , скільки і пов'язані між собою . Це дає значення між і , де немає зв'язку, дуже сильна, лінійна залежність і є зворотною лінійного зв'язку (тобто більші значення & вказують менші значення & , або навпаки). Нижче ви знайдете ілюстрований приклад кореляції. $\theta$ $\hat{\theta}$ $-1$ $1$ $0$ $1$ $-1$ $\theta$ $\hat{\theta}$

Приклад кореляції

(джерело: http://www.mathsisfun.com/data/correlation.html )

Середня абсолютна помилка:

М А Е = \frac{1}{N} \sum_{i = 1}^{N} | {\hat{θ}}_{i} - θ_{i} |

$\mathrm{MAE} = \frac{1}{N} \sum^N_{i=1} | \hat{\theta}_i - \theta_i |$

Коренева середньоквадратична помилка є:

R М S Е = \sqrt{\frac{1}{N} \sum_{i = 1}^{N} {({\hat{θ}}_{i} - θ_{i})}^{2}}

$\mathrm{RMSE} = \sqrt{ \frac{1}{N} \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 }$

Відносна абсолютна помилка :

R А Е = \frac{\sum_{i = 1}^{N} | {\hat{θ}}_{i} - θ_{i} |}{\sum_{i = 1}^{N} | \bar{θ} - θ_{i} |}

$\mathrm{ RAE} = \frac{ \sum^N_{i=1} | \hat{\theta}_i - \theta_i | } { \sum^N_{i=1} | \overline{\theta} - \theta_i | }$

$\overline{\theta}$ $\theta$

Відносна коренева помилка у корені:

R R S Е = \sqrt{\frac{\sum_{i = 1}^{N} {({\hat{θ}}_{i} - θ_{i})}^{2}}{\sum_{i = 1}^{N} {(\bar{θ} - θ_{i})}^{2}}}

$\mathrm{ RRSE }= \sqrt{ \frac{ \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 } { \sum^N_{i=1} \left( \overline{\theta} - \theta_i \right)^2 }}$

$\theta$

$\mathrm{ MAE}$ $\mathrm{ RMSE}$ $\mathrm{ MSE}$ $\theta$ $\hat{\theta}$ $\theta$

$\mathrm{ RAE}$ $\mathrm{ RRSE}$ $\theta$ $\sum(\overline{\theta} - \theta_i)^2$ $\sum|\overline{\theta} - \theta_i|$ $\theta$ $\theta$ $\theta$

Перевірте також ці слайди .

— Тім
джерело

Дякую за ваше пояснення! Я намагаюся оцінити працездатність різних алгоритмів. Наприклад, якщо я отримаю цей інший вихід (Кореляція: 0.3044, МАЕ: 10.832, MSE: 47.2971, RAE: 83.163%, RSE: 95.2797%), і я спробую порівняти його з першим, який би я міг сказати, виконаний краще?

— FloIancu

Вам слід вибрати модель із більшою кореляцією та меншими оцінками помилок. Як бачите, існує декілька показників продуктивності моделі (а таких лише кілька), і вони часом дають різні відповіді. Це майже ніколи відповідь "так / ні", яку ви отримуєте. Завдання вибору моделі стане простішим, якщо ви досягнете теорії, ви можете перевірити, наприклад, ці лекції .

— Тім

Дуже дякую! Я пішов вперед і позначив вашу відповідь як відповідь, тому що ви багато мені допомогли!

— FloIancu

@Tim Середня абсолютна помилка, ймовірно, повинна бути скорочена як MAE :)

— Антуан

@MewX Які посилання ви шукаєте? Це в основному масштаб RMSE. Не можна багато про що сказати ...

— Тім