Genelleştirilmiş doğrusal olmayan en küçük kareler regresyonu (nlme) için günlük olasılığını “elle” hesaplayın

Ben tarafından optimize edilmiş işlevi için genelleştirilmiş doğrusal olmayan en küçük kareler regresyonu için günlük olasılığını hesaplamaya çalışıyorum R paketin fonksiyon , (Brown hareketi varsayarak aa filogenetik ağaç mesafe tarafından meydana varyans kovaryans matrisi kullanılarak gelen paket). Aşağıdaki yeniden üretilebilir R kodu, gnls modeline x, y verileri ve 9 taksonlu rastgele bir ağaç kullanarak uyar:$f(x)=\frac{\beta_1}{(1+\frac x\beta_2)^{\beta_3}}$gnlsnlmecorBrownian(phy=tree)ape

require(ape)
require(nlme)
require(expm)
tree <- rtree(9)
x <- c(0,14.51,32.9,44.41,86.18,136.28,178.21,262.3,521.94)
y <- c(100,93.69,82.09,62.24,32.71,48.4,35.98,15.73,9.71)
data <- data.frame(x,y,row.names=tree$tip.label)
model <- y~beta1/((1+(x/beta2))^beta3)
f=function(beta,x) beta[1]/((1+(x/beta[2]))^beta[3])
start <- c(beta1=103.651004,beta2=119.55067,beta3=1.370105)
correlation <- corBrownian(phy=tree)
fit <- gnls(model=model,data=data,start=start,correlation=correlation)
logLik(fit) 

Ben logLikelde edilen tahmini parametrelere dayanarak log-olasılık "el ile" (R, ancak fonksiyon kullanmadan ) hesaplamak istiyorum, gnlsböylece çıktıyla eşleşir logLik(fit). NOT: Parametreleri tahmin etmeye çalışmıyorum; Sadece gnlsfonksiyon tarafından tahmin edilen parametrelerin log-olasılığını hesaplamak istiyorum (birisinin parametreleri olmadan nasıl tahmin edilebileceğinin tekrarlanabilir bir örneği olsa da gnls, onu görmekle çok ilgilenirim!).

Bunu R'de nasıl yapacağımdan tam olarak emin değilim. S ve S-Plus'ta (Pinheiro ve Bates) Karışık Etkiler Modellerinde açıklanan doğrusal cebir gösterimi kafamın çok üstünde ve girişimlerimin hiçbiri eşleşmedi logLik(fit). İşte Pinheiro ve Bates tarafından açıklanan detaylar:

Genelleştirilmiş doğrusal olmayan en küçük kareler modelinin log olasılığı, ; burada aşağıdaki gibi hesaplanır:ϕ i = A i$y_i=f_i(\phi_i,v_i)+\epsilon_i$$\phi_i=A_i\beta$

$l(\beta,\sigma^2,\delta|y)=-\frac 12 \Bigl\{ N\log(2\pi\sigma^2)+\sum\limits_{i=1}^M{\Bigl[\frac{||y_i^*-f_i^*(\beta)||^2}{\sigma^2}+\log|\Lambda_i|\Bigl]\Bigl\}}$

burada , gözlem sayısıdır ve .f ∗ i ( β ) = f ∗ i ( ϕ i , v i$N$$f_i^*(\beta)=f_i^*(\phi_i,v_i)$

y ∗ i = Λ - T / 2 i y i f ∗ i ( ϕ i , v i ) = Λ - T / 2 i f i ( ϕ i , v i$\Lambda_i$ pozitif tanımlı, ve$y_i^*=\Lambda_i^{-T/2}y_i$$f_i^*(\phi_i,v_i)=\Lambda_i^{-T/2}f_i(\phi_i,v_i)$

Sabit için ve , ML tahmin olduğuλ σ $\beta$$\lambda$$\sigma^2$

$\hat\sigma(\beta,\lambda)=\sum\limits_{i=1}^M||y_i^*-f_i^*(\beta)||^2 / N$

ve profilli günlük olasılığı

$l(\beta,\lambda|y)=-\frac12\Bigl\{N[\log(2\pi/N)+1]+\log\Bigl(\sum\limits_{i=1}^M||y_i^*-f_i^*(\beta)||^2\Bigl)+\sum\limits_{i=1}^M\log|\Lambda_i|\Bigl\}$

ve ML tahminlerini bulmak için bir Gauss-Seidel algoritması ile kullanılır . daha az önyargılı bir tahmini kullanılır:λ σ $\beta$$\lambda$$\sigma^2$

$\sigma^2=\sum\limits_{i=1}^M\Bigl|\Bigl|\hat\Lambda_i^{-T/2}[y_i-f_i(\hat\beta)]\Bigl|\Bigl|^2/(N-p)$

burada uzunluğunu temsil eder .$p$$\beta$

Karşılaştığım belirli soruların bir listesini derledim:

1. Nedir ? O ürettiği mesafe matrisidir içinde , ya da bu şekilde tarafından oyuna veya parametreli edilmesi gerekir veya tamamen başka bir şey?$\Lambda_i$big_lambda <- vcv.phylo(tree)ape$\lambda$
2. Misiniz be , az ya da çok yanlı tahmin (bu yayındaki son denklemi) için denklem?$\sigma^2$fit$sigma^2
3. Günlük olasılığını hesaplamak için kullanmak gerekli mi yoksa bu sadece parametre tahmini için bir ara adım mı? Ayrıca nasıl kullanılır? Tek bir değer mi, vektör mü ve tüm ya da sadece diyagonal olmayan elemanlar vb. çarpıldı mı?λ Λ $\lambda$$\lambda$$\Lambda_i$
4. Nedir? O olurdu pakette ? Öyleyse, toplamının nasıl hesaplanacağı konusunda kafam karıştı , çünkü tek bir değer döndürüyor, vektör.M Σ i = 1 | | y ∗ i - f ∗ i ( β ) | | $||y-f(\beta)||$norm(y-f(fit$coefficients,x),"F")Matrix$\sum\limits_{i=1}^M||y_i^*-f_i^*(\beta)||^2$norm()
5. nasıl hesaplanır ? Öyle mi nerede olduğunu , yoksa değil mi paketinden ? Eğer öyleyse, bir matrisin toplamını nasıl alır (ya da sadece diyagonal elemanlar olduğu ima edilir)?Λ $\log|\Lambda_i|$log(diag(abs(big_lambda)))big_lambda$\Lambda_i$logm(abs(big_lambda))expmlogm()
6. Sadece onaylayın vardır böyle hesaplanan: ?$\Lambda_i^{-T/2}$t(solve(sqrtm(big_lambda)))
7. Nasılsın ve hesaplanır? Aşağıdakilerden herhangi biri mi: f ∗ i ( β $y_i^*$$f_i^*(\beta)$

y_star <- t(solve(sqrtm(big_lambda))) %*% y

ve

f_star <- t(solve(sqrtm(big_lambda))) %*% f(fit$coefficients,x)

ya da olur mu

y_star <- t(solve(sqrtm(big_lambda))) * y

ve

f_star <- t(solve(sqrtm(big_lambda))) * f(fit$coefficients,x) ?

Tüm bu sorular cevaplanırsa, teorik olarak, log-olasılığının çıktıdan eşleşecek şekilde hesaplanabilir olması gerektiğini düşünüyorum logLik(fit). Bu sorulardan herhangi biri için herhangi bir yardım çok takdir edilecektir. Bir şeyin açıklığa ihtiyacı varsa, lütfen bana bildirin. Teşekkürler!

GÜNCELLEME : Günlük olasılığının hesaplanması için çeşitli olasılıkları deniyorum ve işte şimdiye kadar bulduğum en iyi şey. logLik_calcsürekli olarak döndürülen değerden yaklaşık 1 ila 3 arasındadır logLik(fit). Ya gerçek çözüme yakınım ya da bu tamamen tesadüf. Düşüncesi olan var mı?

  C <- vcv.phylo(tree) # variance-covariance matrix
  tC <- t(solve(sqrtm(C))) # C^(-T/2)
  log_C <- log(diag(abs(C))) # log|C|
  N <- length(y)
  y_star <- tC%*%y 
  f_star <- tC%*%f(fit$coefficients,x)
  dif <- y_star-f_star  
  sigma_squared <-  sum(abs(y_star-f_star)^2)/N
  # using fit$sigma^2 also produces a slightly different answer than logLik(fit)
  logLik_calc <- -((N*log(2*pi*(sigma_squared)))+
       sum(((abs(dif)^2)/(sigma_squared))+log_C))/2

Artıklar için korelasyon yapısının olmadığı daha basit durumla başlayalım:

fit <- gnls(model=model,data=data,start=start)
logLik(fit)

Günlük olasılığı daha sonra elle kolayca hesaplanabilir:

N <- fit$dims$N
p <- fit$dims$p
sigma <- fit$sigma * sqrt((N-p)/N)
sum(dnorm(y, mean=fitted(fit), sd=sigma, log=TRUE))

Kalanlar bağımsız olduğu için, sadece dnorm(..., log=TRUE)bireysel günlük olabilirlik koşullarını almak için kullanabiliriz (ve sonra bunları özetleyebiliriz). Alternatif olarak şunları kullanabiliriz:

sum(dnorm(resid(fit), mean=0, sd=sigma, log=TRUE))

Not fit$sigmadeğil "daha az önyargılı tahmindir elle ilk düzeltme yapmak gerekir böylece -".$\sigma^2$

Artık artıkların ilişkili olduğu daha karmaşık dava için:

fit <- gnls(model=model,data=data,start=start,correlation=correlation)
logLik(fit)

Burada, çok değişkenli normal dağılımı kullanmamız gerekir. Bir yerde bunun için bir fonksiyon olduğundan eminim, ama bunu sadece elle yapalım:

N <- fit$dims$N
p <- fit$dims$p
yhat <- cbind(fitted(fit))
R <- vcv(tree, cor=TRUE)
sigma <- fit$sigma * sqrt((N-p)/N)
S <- diag(sigma, nrow=nrow(R)) %*% R %*% diag(sigma, nrow=nrow(R))
-1/2 * log(det(S)) - 1/2 * t(y - yhat) %*% solve(S) %*% (y - yhat) - N/2 * log(2*pi)