Інтервал довіри RMSE

Я взяв зразок з яти точок даних у популяції. Кожен з цих пунктів має справжнє значення (відоме з основної істини) та оцінене значення. Потім я обчислюю помилку для кожної вибіркової точки і потім обчислюю RMSE вибірки. $n$

Як я можу тоді зробити певний інтервал довіри навколо цього RMSE, виходячи з розміру вибірки ? $n$

Якби я використовував середнє, а не RMSE, я б не мав проблем робити це, оскільки я можу використовувати стандартне рівняння

$m = \frac{Z \sigma}{\sqrt{n}}$

але я не знаю, чи справедливо це для RMSE, а не для середнього. Чи є якийсь спосіб я це адаптувати?

(Я бачив це запитання , але у мене немає питань щодо нормального розподілу мого населення, на що йдеться у відповіді)

confidence-interval

— robintw
джерело

Що конкретно ви обчислюєте, коли "обчислюєте RMSE вибірки"? Чи є це RMSE з істинних значень, з оціночних значень, або їх відмінності?

— whuber

Я обчислюю RMSE різниць, тобто обчислюю квадратний корінь середнього квадрату різниць між істинним і оціненим значеннями.

— robintw

Якщо ви знаєте "основну правду" (хоча я не впевнений, що це насправді означає), навіщо вам потрібна невизначеність у RMSE? Ви намагаєтесь побудувати якийсь висновок про випадки, коли у вас немає основної правди? Це питання калібрування?

— Glen_b -Встановіть Моніку

@Glen_b: Так, саме це ми намагаємось зробити. У нас немає основної істини для всього населення, лише для вибірки. Потім ми обчислюємо RMSE для вибірки, і ми хочемо мати на цьому інтервали довіри, оскільки ми використовуємо цей зразок, щоб зробити висновок про RMSE сукупності.

— robintw

Можливий дублікат SE з RMSE в R

— цікаво

Відповіді:

Маючи подібні міркування, як тут , я можу бути в змозі дати відповідь на ваше запитання за певних умов.

Нехай б ваше справжнє значення для точки даних і оціночної вартості. Якщо припустити, що різниці між оцінними та справжніми значеннями мають $x_{i}$ $i^{th}$ $\hat{x}_{i}$

нульове середнє (тобто розподілений по ) $\hat{x}_{i}$ $x_{i}$
слідувати нормальному розподілу
і всі мають однакове стандартне відхилення $\sigma$

коротко:

{\hat{х}}_{i} - х_{i} \sim N (0, σ^{2}),

$\hat{x}_{i}-x_{i} \sim \mathcal{N}\left(0,\sigma^{2}\right),$

тоді ви дійсно хочете довірчий інтервал для . $\sigma$

Якщо вищезгадані припущення справедливі випливає зрозподілу з(не) ступенями свободи. Це означає

\frac{н {RMSE}^{2}}{σ^{2}} = \frac{н \frac{1}{н} \sum_{i} {(\hat{х_{i}} - х_{i})}^{2}}{σ^{2}}

$\frac{n\mbox{RMSE}^{2}}{\sigma^{2}} = \frac{n\frac{1}{n}\sum_{i}\left(\hat{x_{i}}-x_{i}\right)^{2}}{\sigma^{2}}$

χ_{n}^{2}

$\chi_{n}^{2}$

n

$n$

n - 1

$n-1$

\begin{aligned} П (χ_{\frac{α}{2}, н}^{2} \leq \frac{н {RMSE}^{2}}{σ^{2}} \leq χ_{1 - \frac{α}{2}, н}^{2}) = 1 - α \\ \Leftrightarrow П (\frac{н {RMSE}^{2}}{χ_{1 - \frac{α}{2}, н}^{2}} \leq σ^{2} \leq \frac{н {RMSE}^{2}}{χ_{\frac{α}{2}, н}^{2}}) = 1 - α \\ \Leftrightarrow П (\sqrt{\frac{н}{χ_{1 - \frac{α}{2}, н}^{2}}} RMSE \leq σ \leq \sqrt{\frac{н}{χ_{\frac{α}{2}, н}^{2}}} RMSE) = 1 - α . \end{aligned}

$\begin{align} P\left(\chi_{\frac{\alpha}{2},n}^{2}\le\frac{n\mbox{RMSE}^{2}}{\sigma^{2}}\le\chi_{1-\frac{\alpha}{2},n}^{2}\right) = 1-\alpha\\ \Leftrightarrow P\left(\frac{n\mbox{RMSE}^{2}}{\chi_{1-\frac{\alpha}{2},n}^{2}}\le\sigma^{2}\le\frac{n\mbox{RMSE}^{2}}{\chi_{\frac{\alpha}{2},n}^{2}}\right) = 1-\alpha\\ \Leftrightarrow P\left(\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\le\sigma\le\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right) = 1-\alpha. \end{align}$

Тому - ваш інтервал довіри.

[\sqrt{\frac{н}{χ_{1 - \frac{α}{2}, н}^{2}}} RMSE, \sqrt{\frac{н}{χ_{\frac{α}{2}, н}^{2}}} RMSE]

$\left[\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE},\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right]$

Ось програма python, яка імітує вашу ситуацію

from scipy import stats
from numpy import *
s = 3
n=10
c1,c2 = stats.chi2.ppf([0.025,1-0.025],n)
y = zeros(50000)
for i in range(len(y)):
    y[i] =sqrt( mean((random.randn(n)*s)**2))

print "1-alpha=%.2f" % (mean( (sqrt(n/c2)*y < s) & (sqrt(n/c1)*y > s)),)

Сподіваюся, що це допомагає.

Якщо ви не впевнені, чи застосовуються припущення, чи ви хочете порівняти те, що я написав, з іншим методом, ви завжди можете спробувати завантажувати .

— фея
джерело

Я думаю, ви помиляєтесь - він хоче CI для RMSE, а не

. І я теж цього хочу :)

σ

$\sigma$

— Цікаво

MSE = {\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - {\hat{x}}_{i})^{2}

$\mbox{MSE} = \hat\sigma^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\hat x_i)^2$

n

$n$

n - 1

$n-1$

σ

$\sigma$

σ

$\sigma$

$i=1,\,\ldots,\,n$ $x_i$ $\hat{x}_i$

$\epsilon_i$

ϵ_{i} = {\hat{х}}_{i} - х_{i}, BIAS = \bar{ϵ} = \frac{1}{н} \sum_{i = 1}^{н} ϵ_{i}, MSE = \bar{ϵ^{2}} = \frac{1}{н} \sum_{i = 1}^{н} ϵ_{i}^{2}, RMSE = \sqrt{MSE} .

$\epsilon_i = \hat{x}_i-x_i\,,\\ \text{BIAS} = \overline{\epsilon} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i\,,\\ \text{MSE} = \overline{\epsilon^2} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i^2\,,\\ \text{RMSE} = \sqrt{\text{MSE}}\,.$

$\epsilon$

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \frac{1}{н} \sum_{i = 1}^{н} (ϵ_{i} - \bar{ϵ})^{2},

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2} = \frac{1}{n}\sum_{i=1}^{n}(\epsilon_i-\overline{\epsilon})^2\,,$

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \bar{ϵ^{2}} - {\bar{ϵ}}^{2} = {RMSE}^{2} - {BIAS}^{2} .

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2}=\overline{\epsilon^2}-\overline{\epsilon}^2 = \text{RMSE}^2 - \text{BIAS}^2\,.$

$\epsilon$ $n<30$ $\left.\text{STDE}\middle/\sqrt{n}\right.$

— cvr
джерело

R M S E^{2} = S T D E^{2}

$RMSE^2 = STDE^2$

R M S E^{2}

$RMSE^2$

B I A S^{2}

$BIAS^2$

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

— fabee

σ (\hat{R М S Е}) / R М S Е = \sqrt{\frac{1}{2 н}}

$\sigma (\hat{RMSE})/RMSE = \sqrt{\frac{1}{2n}}$

n

$n$

— Л.Клевін
джерело