RMSE проти коефіцієнта визначення

Я оцінюю фізичну модель і хотів би знати, який із методів я повинен тут використовувати (між RMSE та коефіцієнтом визначення R2)

Проблема полягає в наступному: у мене є функція, яка видає прогнози на вхідне значення x, . У мене також є фактичне спостереження за цим значенням, яке я називаю .$\overline{y_x}= f(x)$$y_x$

Моє запитання - які плюси і мінуси RMSE або . Я бачив, як вони використовуються в документах для проблеми, над якою працюю.$R^2$

Я використовував їх обох, і я маю зробити декілька моментів.

• Rmse корисний, тому що це легко пояснити. Усі знають, що це таке.
• Rmse не показує відносних значень. Якщо , ви повинні спеціально знати діапазон α < y x < β . Якщо α = 1 , β = 1000 , то 0,2 - це хороше значення. Якщо α = 0 , β = 1 , це здається вже не таким хорошим.$rmse=0.2$$\alpha <y_x< \beta$$\alpha=1, \beta=1000$$\alpha=0, \beta=1$
• Відповідно до попереднього підходу, rmse - це хороший спосіб приховати той факт, що люди, яких ви опитували, або вимірювання, які ви проводили, здебільшого є рівномірними (усі оцінили продукт 3 зірочками), а ваші результати виглядають добре, оскільки дані допомогли вам. Якби дані були трохи випадковими, ти знайшов би свою модель на орбіті Юпітера.
• Використовуйте скоригований коефіцієнт визначення, а не звичайний $R^2$
• Коефіцієнт детермінації важко пояснити. Навіть людям з поля потрібна підказка виноски, як \ виноска. {Налагоджений коефіцієнт визначення - це частка мінливості в наборі даних, яку можна пояснити статистичною моделлю. Це значення показує, наскільки вдалі результати можна прогнозувати в майбутньому. може приймати 0 як мінімум, а 1 - максимально.}$R^2$
• Коефіцієнт детермінації, однак, дуже чітко визначає, наскільки добре ваша модель пояснює явища. якщо , незалежно від значень y x , ваша модель погана. Я вважаю, що точка відключення для хорошої моделі починається з 0,6, і якщо у вас є щось близько 0,7-0,8, ваша модель дуже хороша.$R^2=0.2$$y_x$
• Для резюме, говорить, що за допомогою вашої моделі ви можете пояснити 70% того, що відбувається в реальних даних. Решта, 30%, - це те, чого ви не знаєте і не можете пояснити. Це, мабуть, тому, що існують заплутані фактори, або ви допустили деякі помилки в конструюванні моделі.$R^2=0.7$
• В інформатиці майже всі використовують rmse. Соціальні науки частіше використовують .$R^2$
• Якщо вам не потрібно обґрунтовувати параметри у вашій моделі, просто використовуйте rmse. Однак якщо вам потрібно ввести, видалити або змінити параметри під час створення моделі, вам потрібно використовувати щоб показати, що ці параметри можуть найкраще пояснити дані.$R^2$
• Якщо ви будете використовувати , введіть код на мові R. У ньому є бібліотеки, і ви просто даєте їм дані, щоб мати всі результати.$R^2$

Для працьовитого комп'ютерного вченого було захоплююче писати про статистику. З повагою.

Незалежно від того, яке вимірювання помилок ви надаєте, розгляньте подання повного вектора результату у додатку. Люди, які люблять порівнювати з вашим методом, але віддають перевагу іншому вимірюванню помилок, можуть отримати таке значення з вашої таблиці.

:$R^2$

• $R^2$

• $R^2$

• Можна виразити легко зрозумілою формулою, де ви будуєте відношення суми квадратичних залишків і ділите на середнє:

$R^2 = 1 - {\frac{SS_E}{mean}} = 1 - \frac{\sum{(y_i - \overline{y_i}})^2}{\sum{(y_i - \overline{y}})^2}$

• $R^2_{adj.}$

$RMSE$

• $RMSE$$RMSE$$R^2$

• $rel. RMSE$$rel. RMSE$

Як згадували інші люди, вибір може залежати від вашої галузі та рівня техніки. Чи існує надзвичайно прийнятий метод порівняння? Використовуйте ті ж вимірювання, що і вони, і ви зможете легко зв’язати свої переваги з методів в обговоренні.

$R^2$

Я б використав наступне як дуже загальний посібник для розуміння різниці між обома показниками:

RMSE дає вам відчуття того , наскільки близько (або далеко) ваші передбачені значення з фактичних даних , які ви намагаєтеся моделі. Це корисно в різних програмах, де ви хочете зрозуміти точність та точність прогнозів вашої моделі (наприклад, моделювання висоти дерева).

Плюси

1. Це зрозуміло і легко зрозуміти, оскільки повідомлені значення знаходяться в тих же одиницях, що і моделюється залежна змінна.

Мінуси

1. Він чутливий до великих помилок (карає великі помилки передбачення більше, ніж менші помилки передбачення).

$R^2$

Плюси

1. Дає загальне уявлення про те, наскільки добре вибрані змінні вміщуються в дані.

Мінуси

1. $R^2$$R^2$

Зрозуміло, вищезазначене буде залежно від розміру вибірки та структури вибірки, і загальне розуміння того, що кореляція не передбачає причинного зв'язку.

Також є MAE, середня абсолютна помилка. На відміну від RMSE, він не надто чутливий до великих помилок. З того, що я прочитав, деякі поля віддають перевагу RMSE, інші - MAE. Мені подобається використовувати і те, і інше.

Насправді, для науковців-статистиків слід знати, що найкраще підходить модель, тоді RMSE дуже важливий для тих людей у ​​його надійному дослідженні. Якщо RMSE дуже близький до нуля, то модель найкраще підходить.

Коефіцієнт детермінації хороший для інших вчених, таких як сільськогосподарська та інші галузі. Це значення між 0 і 1. Якщо воно становить 1, 100% значень відповідають спостережуваним наборам даних. Якщо він дорівнює 0, то дані повністю неоднорідні. Dr.SK.Hadar Babu, університет VIT, Веллоре, Тамілнаду, Індія.

Якщо до кожного елемента одного з векторів додається деяке число, RMSE змінюється. Те саме, якщо всі елементи в одному або обох векторах множимо на число. R код випливає;

#RMSE vs pearson's correlation
one<-rnorm(100)
two<-one+rnorm(100)

rumis<-(two - one)^2
(RMSE<-sqrt(mean(rumis)))
cor(one,two)

oneA<-one+100

rumis<-(two - oneA)^2
(RMSE<-sqrt(mean(rumis)))
cor(oneA,two)

oneB<-one*10
twoB<-two*10

rumis<-(twoB - oneB)^2
(RMSE<-sqrt(mean(rumis)))
cor(oneB,twoB)
cor(oneB,twoB)^2

Зрештою, різниця - це просто стандартизація, оскільки обидва призводять до вибору однієї і тієї ж моделі, тому що RMSE разів кількість спостережень знаходиться в чисельнику або R у квадраті, а знаменник останнього є постійним для всіх моделей (просто побудуйте одну міру проти інше для 10 різних моделей).