Оцінка ефективності регресійної моделі за допомогою навчальних і тестових наборів?

Я часто чую про оцінку ефективності класифікаційної моделі, проводячи тестовий набір і треную модель на навчальному наборі. Потім створимо 2 вектори, один для передбачуваних значень і один для справжніх значень. Очевидно, що порівняння дозволяє судити про ефективність моделі за її прогнозованою силою, використовуючи такі речі, як F-Score, Kappa Statistic, Precision & Recall, ROC-криві тощо.

Як це порівнюється з оцінкою числового прогнозування, як регресія? Я б припустив, що ви можете тренувати модель регресії на навчальному наборі, використовувати її для прогнозування значень, а потім порівнювати ці передбачувані значення з справжніми значеннями, що стоять у тестовому наборі. Очевидно, що показники ефективності повинні бути різними, оскільки це не завдання класифікації. Звичайні залишки та статистика є очевидними заходами, але чи існують більше / кращі способи оцінити ефективність для регресійних моделей? Здається, класифікація має дуже багато варіантів, але регресія залишається для та залишків. $R^2$ $R^2$

regression machine-learning model-evaluation

— StatTime
джерело

Я не впевнений, яке саме питання ви задаєте, але очевидною метрикою помилки для регресійної моделі з безперервним виходом є середня квадратична помилка (MSE) між результатом моделі та змінною результату.

— BGreene

Тож лише міра помилки між фактичним та передбачуваним.

— StatTime

Так, оптимізовано на навчальному наборі та затверджено за допомогою тестового набору.

— BGreene

Як було сказано, зазвичай використовується середня помилка квадрата. Ви обчислюєте свою регресійну модель на основі навчального набору та оцінюєте її продуктивність за допомогою окремого тестового набору (набір на входах x та відомих прогнозованих виходах y) шляхом обчислення MSE між виходами тестового набору (y) та заданими виходами за моделлю (f (x)) для тих же заданих входів (x).

Крім того, ви можете використовувати такі показники: Помилка кореневого середнього квадрата, відносна помилка квадрата, середня абсолютна помилка, відносна абсолютна помилка ... (запитайте google для визначення)

— Меріма Кулін
джерело

e r r = A \sum (x - x_{i}) + B \sum (x - x_{i})^{2}

$err = A\sum (x - x_i) + B\sum (x - x_i)^2$