Обчислення ймовірності від RMSE

У мене є модель прогнозування траєкторії (x як функція часу) з кількома параметрами. На даний момент я обчислюю середньоквадратичну похибку середнього значення (RMSE) між прогнозованою траєкторією та експериментально записаною траєкторією. В даний час я мінімізую цю різницю (RMSE), використовуючи симплекс (fminsearch в matlab). Незважаючи на те, що цей метод працює на користь, я хотів би порівняти кілька різних моделей, тому я думаю, що мені потрібно прорахувати ймовірність, щоб я міг використовувати максимальну оцінку ймовірності, а не мінімізувати RMSE (а потім порівнювати моделі за допомогою AIC або BIC ). Чи є якийсь стандартний спосіб цього зробити?

maximum-likelihood curve-fitting

— Джейсон
джерело

Коренева середньоквадратична помилка та ймовірність насправді тісно пов'язані. Скажімо, у вас є набір даних пар, і ви хочете моделювати їх відносини за допомогою моделі . Ви вирішили мінімізувати квадратичну помилку $\lbrace x_i, z_i \rbrace$ $f$

\sum_{i} {(f (x_{i}) - z_{i})}^{2}

$\sum_i \left(f(x_i) - z_i\right)^2$

Хіба цей вибір не є абсолютно довільним? Звичайно, ви хочете штрафувати оцінки, які є абсолютно помилковими, ніж ті, що є правильними. Але є дуже вагомий привід використовувати помилку квадрата.

Згадайте щільність Гаусса: де - константа нормалізації, про яку нині нас не хвилює. Припустимо, що цільові дані поширюються відповідно до гаусса . Тож ми можемо записати ймовірність даних. $\frac{1}{Z}\exp \frac{-(x - \mu)^2}{2\sigma^2}$ $Z$ $z$

L = \prod_{i} \frac{1}{Z} \exp \frac{- (f (x_{i}) - z_{i})^{2}}{2 σ^{2}}

$\mathcal{L} = \prod_i \frac{1}{Z}\exp \frac{-(f(x_i) - z_i)^2}{2\sigma^2}$

Тепер, якщо взяти логарифм цього ...

\log L = \sum_{i} \frac{- (f (x_{i}) - z_{i})^{2}}{2 σ^{2}} - \log Z

$\log \mathcal{L} = \sum_i \frac{-(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

... виявляється, вона дуже тісно пов'язана з rms: єдиними відмінностями є деякі постійні доданки, квадратний корінь і множення.

Короткий опис: мінімізація помилки середнього кореня в квадраті еквівалентна максимальній вірогідності даних для журналу.

— байерж
джерело

Дякую за чітке пояснення. Отже, якщо я хочу порівняти дві (не вбудовані) моделі за допомогою BIC, я можу просто відкинути сигма ^ 2 та Z терміни (фактично припускаючи, що вони однакові для моделей) при розрахунку ймовірності?

— Джейсон

σ

$\sigma$

σ

$\sigma$

\log L = \sum_{i} \frac{(f (x_{i}) - z_{i})^{2}}{2 σ^{2}} - \log Z

$\log \mathcal{L} = \sum_i \frac{(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

Чи відсутня негативна ознака в гауссовому розподілі?

— Маной

σ

$\sigma$