Перерахуйте ймовірність журналу з простої моделі R lm

Я просто намагаюся перерахувати за допомогою dnorm () імовірність журналу, яку забезпечує функція logLik з lm-моделі (в R).

Він працює (майже ідеально) для великої кількості даних (наприклад, n = 1000):

> n <- 1000
> x <- 1:n
> set.seed(1)
> y <- 10 + 2*x + rnorm(n, 0, 2)
> mod <- glm(y ~ x, family = gaussian)
> logLik(mod)
'log Lik.' -2145.562 (df=3)
> sigma <- sqrt(summary(mod)$dispersion)
> sum(log(dnorm(x = y, mean = predict(mod), sd = sigma)))
[1] -2145.563
> sum(log(dnorm(x = resid(mod), mean = 0, sd = sigma)))
[1] -2145.563

але для невеликих наборів даних є чіткі відмінності:

> n <- 5
> x <- 1:n
> set.seed(1)
> y <- 10 + 2*x + rnorm(n, 0, 2)
> 
> mod <- glm(y ~ x, family = gaussian)
> logLik(mod)
'log Lik.' -8.915768 (df=3)
> sigma <- sqrt(summary(mod)$dispersion)
> sum(log(dnorm(x = y, mean = predict(mod), sd = sigma)))
[1] -9.192832
> sum(log(dnorm(x = resid(mod), mean = 0, sd = sigma)))
[1] -9.192832

Через невеликий ефект набору даних я подумав, що це може бути пов'язано з різницею в оцінках залишкової дисперсії між lm та glm, але використання lm забезпечує такий же результат, як і glm:

> modlm <- lm(y ~ x)
> logLik(modlm)
'log Lik.' -8.915768 (df=3)
> 
> sigma <- summary(modlm)$sigma
> sum(log(dnorm(x = y, mean = predict(modlm), sd = sigma)))
[1] -9.192832
> sum(log(dnorm(x = resid(modlm), mean = 0, sd = sigma)))
[1] -9.192832

Де я помиляюся?

logLik()Функція забезпечує оцінку логарифмічного правдоподібності шляхом підстановки оцінки ML параметрів для значень невідомих параметрів. Тепер максимальна оцінка ймовірності параметрів регресії ( в ) збігається з оцінками найменших квадратів, але оцінка ML є , тоді як ви використовуєте , тобто квадратний корінь неупередженого оцінка .$\beta_j$$X{\boldsymbol \beta}$$\sigma$$\sqrt{\frac{\sum \hat\epsilon_i^2}{n}}$$\hat\sigma = \sqrt{\frac{\sum \hat\epsilon_i^2}{n-2}}$$\sigma^2$

>  n <- 5
>  x <- 1:n
>  set.seed(1)
>  y <- 10 + 2*x + rnorm(n, 0, 2)
>  modlm <- lm(y ~ x)
>  sigma <- summary(modlm)$sigma
> 
>  # value of the likelihood with the "classical" sigma hat
>  sum(log(dnorm(x = y, mean = predict(modlm), sd = sigma)))
[1] -9.192832
> 
>  # value of the likelihood with the ML sigma hat
>  sigma.ML <- sigma*sqrt((n-dim(model.matrix(modlm))[2])/n) 
>  sum(log(dnorm(x = y, mean = predict(modlm), sd = sigma.ML)))
[1] -8.915768
>  logLik(modlm)
'log Lik.' -8.915768 (df=3)