Обчисліть ймовірність журналу "вручну" для узагальненої нелінійної регресії найменших квадратів (nlme)

Я намагаюся обчислити ймовірність журналу для узагальненої нелінійної регресії найменших квадратів для функції оптимізована функціонують у пакеті R , використовуючи дисперсійну коваріаційну матрицю, породжену відстанями на філогенетичному дереві, припускаючи броунівський рух ( від пакета). Наступний відтворюваний код R підходить для моделі gnls з використанням даних x, y та випадкового дерева з 9 таксонами:$f(x)=\frac{\beta_1}{(1+\frac x\beta_2)^{\beta_3}}$gnlsnlmecorBrownian(phy=tree)ape

require(ape)
require(nlme)
require(expm)
tree <- rtree(9)
x <- c(0,14.51,32.9,44.41,86.18,136.28,178.21,262.3,521.94)
y <- c(100,93.69,82.09,62.24,32.71,48.4,35.98,15.73,9.71)
data <- data.frame(x,y,row.names=tree$tip.label)
model <- y~beta1/((1+(x/beta2))^beta3)
f=function(beta,x) beta[1]/((1+(x/beta[2]))^beta[3])
start <- c(beta1=103.651004,beta2=119.55067,beta3=1.370105)
correlation <- corBrownian(phy=tree)
fit <- gnls(model=model,data=data,start=start,correlation=correlation)
logLik(fit) 

Я хотів би обчислити ймовірність журналу "вручну" (в R, але без використання logLikфункції) на основі розрахункових параметрів, отриманих з, gnlsщоб вона відповідала результатам з logLik(fit). ПРИМІТКА: я не намагаюся оцінити параметри; Я просто хочу обчислити вірогідність журналу параметрів, оцінених gnlsфункцією (хоча якщо хтось має відтворюваний приклад того, як оцінити параметри без цього gnls, мені було б дуже цікаво бачити це!).

Я не дуже впевнений, як це зробити в Р. Лінійна позначення алгебри, описана в моделях змішаних ефектів в S і S-Plus (Пінхеро та Бейтс), дуже сильно переживає мою голову, і жодна моя спроба не відповідає logLik(fit). Ось деталі, описані Пінхеро та Бейтсом:

Імовірність журналу для узагальненої нелінійної моделі найменших квадратів де обчислюється так:$y_i=f_i(\phi_i,v_i)+\epsilon_i$$\phi_i=A_i\beta$

$l(\beta,\sigma^2,\delta|y)=-\frac 12 \Bigl\{ N\log(2\pi\sigma^2)+\sum\limits_{i=1}^M{\Bigl[\frac{||y_i^*-f_i^*(\beta)||^2}{\sigma^2}+\log|\Lambda_i|\Bigl]\Bigl\}}$

де - кількість спостережень, а .$N$$f_i^*(\beta)=f_i^*(\phi_i,v_i)$

$\Lambda_i$ позитивно-визначений, та$y_i^*=\Lambda_i^{-T/2}y_i$$f_i^*(\phi_i,v_i)=\Lambda_i^{-T/2}f_i(\phi_i,v_i)$

Для фіксованих та оцінювач ML є$\beta$$\lambda$$\sigma^2$

$\hat\sigma(\beta,\lambda)=\sum\limits_{i=1}^M||y_i^*-f_i^*(\beta)||^2 / N$

і ймовірність профільованого журналу є

$l(\beta,\lambda|y)=-\frac12\Bigl\{N[\log(2\pi/N)+1]+\log\Bigl(\sum\limits_{i=1}^M||y_i^*-f_i^*(\beta)||^2\Bigl)+\sum\limits_{i=1}^M\log|\Lambda_i|\Bigl\}$

який використовується з алгоритмом Гаусса-Зейделя для пошуку оцінок ML і . Використовується менш упереджена оцінка :$\beta$$\lambda$$\sigma^2$

$\sigma^2=\sum\limits_{i=1}^M\Bigl|\Bigl|\hat\Lambda_i^{-T/2}[y_i-f_i(\hat\beta)]\Bigl|\Bigl|^2/(N-p)$

де позначає довжину .$p$$\beta$

Я склав список конкретних питань, з якими я стикаюся:

1. Що таке ? Це матриця відстані, вироблена в , або її потрібно якось перетворити або параметризувати , або щось інше цілком?$\Lambda_i$big_lambda <- vcv.phylo(tree)ape$\lambda$
2. Would В , або рівняння для менш упереджено оцінки (останнього рівняння на цій посаді)?$\sigma^2$fit$sigma^2
3. Чи потрібно використовувати для обчислення ймовірності журналу, чи це просто проміжний крок для оцінки параметрів? Також, як використовується ? Це одне значення чи вектор, чи він помножується на всі або просто недіагональні елементи тощо?$\lambda$$\lambda$$\Lambda_i$
4. Що таке? Це було б у пакеті ? Якщо так, я плутаюсь щодо того, як обчислити суму , тому що повертає єдине значення, а не a вектор.$||y-f(\beta)||$norm(y-f(fit$coefficients,x),"F")Matrix$\sum\limits_{i=1}^M||y_i^*-f_i^*(\beta)||^2$norm()
5. Як можна обчислити? Є чи це , де знаходиться , або це з пакету ? Якщо це так , то як можна приймати суму матриці (або мається на увазі, що це просто діагональні елементи)?$\log|\Lambda_i|$log(diag(abs(big_lambda)))big_lambda$\Lambda_i$logm(abs(big_lambda))expmlogm()
6. Для підтвердження, чи обчислюється так :?$\Lambda_i^{-T/2}$t(solve(sqrtm(big_lambda)))
7. Як обчислюються і ? Чи це одне з наступного:$y_i^*$$f_i^*(\beta)$

y_star <- t(solve(sqrtm(big_lambda))) %*% y

і

f_star <- t(solve(sqrtm(big_lambda))) %*% f(fit$coefficients,x)

чи це було б

y_star <- t(solve(sqrtm(big_lambda))) * y

і

f_star <- t(solve(sqrtm(big_lambda))) * f(fit$coefficients,x) ?

Якщо всі ці питання відповідають, в теорії, я думаю , що журнал правдоподібність має бути обчислюваним , щоб відповідати висновку logLik(fit). Будь-яка допомога з будь-якого з цих питань буде дуже вдячна. Якщо щось потребує уточнення, будь ласка, повідомте мене про це. Дякую!

ОНОВЛЕННЯ : Я експериментував з різними можливостями для обчислення ймовірності журналу, і ось найкраще, що я придумав поки що. logLik_calcпослідовно від 1 до 3 вимкнено від значення, що повертається logLik(fit). Або я близький до фактичного рішення, або це суто збіг обставин. Будь-які думки?

  C <- vcv.phylo(tree) # variance-covariance matrix
  tC <- t(solve(sqrtm(C))) # C^(-T/2)
  log_C <- log(diag(abs(C))) # log|C|
  N <- length(y)
  y_star <- tC%*%y 
  f_star <- tC%*%f(fit$coefficients,x)
  dif <- y_star-f_star  
  sigma_squared <-  sum(abs(y_star-f_star)^2)/N
  # using fit$sigma^2 also produces a slightly different answer than logLik(fit)
  logLik_calc <- -((N*log(2*pi*(sigma_squared)))+
       sum(((abs(dif)^2)/(sigma_squared))+log_C))/2

Почнемо з більш простого випадку, коли для залишків немає кореляційної структури:

fit <- gnls(model=model,data=data,start=start)
logLik(fit)

Вірогідність журналу потім легко обчислити вручну за допомогою:

N <- fit$dims$N
p <- fit$dims$p
sigma <- fit$sigma * sqrt((N-p)/N)
sum(dnorm(y, mean=fitted(fit), sd=sigma, log=TRUE))

Оскільки залишки незалежні, ми можемо просто використовувати dnorm(..., log=TRUE)для отримання окремих імовірностей журналу (а потім підсумовувати їх). Як варіант, ми могли б використовувати:

sum(dnorm(resid(fit), mean=0, sd=sigma, log=TRUE))

Зауважте, що fit$sigmaце не "менш упереджена оцінка " - тому нам потрібно спершу зробити виправлення вручну.$\sigma^2$

Тепер для більш складного випадку, коли залишки співвідносяться:

fit <- gnls(model=model,data=data,start=start,correlation=correlation)
logLik(fit)

Тут нам потрібно використовувати багатоваріантне нормальне розподіл. Я впевнений, що для цього є функція, але давайте просто зробимо це вручну:

N <- fit$dims$N
p <- fit$dims$p
yhat <- cbind(fitted(fit))
R <- vcv(tree, cor=TRUE)
sigma <- fit$sigma * sqrt((N-p)/N)
S <- diag(sigma, nrow=nrow(R)) %*% R %*% diag(sigma, nrow=nrow(R))
-1/2 * log(det(S)) - 1/2 * t(y - yhat) %*% solve(S) %*% (y - yhat) - N/2 * log(2*pi)