Максимальна оцінка ймовірності (MLE) - це метод пошуку найбільш ймовірної
функції, яка пояснює спостережувані дані. Я думаю, що математика необхідна, але не дозволяйте це лякати вас!
Скажімо, у нас є набір точок в площині , і ми хочемо знати параметри функції і які, швидше за все, відповідають даним (у цьому випадку ми знаємо функцію, тому що я вказав її для створення цього приклад, але потерпіть зі мною).x,yβσ
data <- data.frame(x = runif(200, 1, 10))
data$y <- 0 + beta*data$x + rnorm(200, 0, sigma)
plot(data$x, data$y)
Для того, щоб зробити MLE, нам потрібно зробити припущення щодо форми функції. У лінійній моделі вважаємо, що точки йдуть за нормальним (гауссовим) розподілом ймовірностей із середнім та дисперсією : . Рівняння цієї функції щільності ймовірності дорівнює:xβσ2y=N(xβ,σ2)
12πσ2−−−−√exp(−(yi−xiβ)22σ2)
Ми хочемо знайти параметри і які максимально збільшують цю ймовірність для всіх точок . Це функція "ймовірність",βσ(xi,yi)L
L=∏i=1nyi=∏i=1n12πσ2−−−−√exp(−(yi−xiβ)22σ2)
З різних причин простіше використовувати журнал функції ймовірності:
log(L)=∑i=1n−n2log(2π)−n2log(σ2)−12σ2(yi−xiβ)2
Ми можемо кодувати це як функцію в R за допомогою .θ=(β,σ)
linear.lik <- function(theta, y, X){
n <- nrow(X)
k <- ncol(X)
beta <- theta[1:k]
sigma2 <- theta[k+1]^2
e <- y - X%*%beta
logl <- -.5*n*log(2*pi)-.5*n*log(sigma2) - ( (t(e) %*% e)/ (2*sigma2) )
return(-logl)
}
Ця функція при різних значеннях і створює поверхню.βσ
surface <- list()
k <- 0
for(beta in seq(0, 5, 0.1)){
for(sigma in seq(0.1, 5, 0.1)){
k <- k + 1
logL <- linear.lik(theta = c(0, beta, sigma), y = data$y, X = cbind(1, data$x))
surface[[k]] <- data.frame(beta = beta, sigma = sigma, logL = -logL)
}
}
surface <- do.call(rbind, surface)
library(lattice)
wireframe(logL ~ beta*sigma, surface, shade = TRUE)
Як бачите, десь на цій поверхні є десь максимальна точка. Ми можемо знайти параметри, які задають цю точку за допомогою вбудованих команд оптимізації R. Це досить близько до виявлення справжніх параметрів
0,β=2.7,σ=1.3
linear.MLE <- optim(fn=linear.lik, par=c(1,1,1), lower = c(-Inf, -Inf, 1e-8),
upper = c(Inf, Inf, Inf), hessian=TRUE,
y=data$y, X=cbind(1, data$x), method = "L-BFGS-B")
linear.MLE$par
## [1] -0.1303868 2.7286616 1.3446534
Звичайні найменші квадрати - це максимальна ймовірність для лінійної моделі, тому є сенс, який lmби дав нам однакові відповіді. (Зверніть увагу, що використовується для визначення стандартних помилок).σ2
summary(lm(y ~ x, data))
##
## Call:
## lm(formula = y ~ x, data = data)
##
## Residuals:
## Min 1Q Median 3Q Max
## -3.3616 -0.9898 0.1345 0.9967 3.8364
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) -0.13038 0.21298 -0.612 0.541
## x 2.72866 0.03621 75.363 <2e-16 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 1.351 on 198 degrees of freedom
## Multiple R-squared: 0.9663, Adjusted R-squared: 0.9661
## F-statistic: 5680 on 1 and 198 DF, p-value: < 2.2e-16
