Çok değişkenli normal yoğunluklu türev nasıl alınır?

Çok değişkenli normal yoğunluğum olduğunu varsayalım. Ikinci (kısmi) türev wrt almak istiyorum . Bir matrisin türevinin nasıl alınacağından emin değil. $N(\mu, \Sigma)$ $\mu$

Wiki, türev elemanını matris içindeki öğeye göre aldığını söylüyor.

Laplace yaklaşımı ile çalışıyorum Mod .

\log P_{N} (θ) = \log P_{N} - \frac{1}{2} {(θ - \hat{θ})}^{T} Σ^{- 1} (θ - \hat{θ}) .

$\log{P}_{N}(\theta)=\log {P}_{N}-\frac{1}{2}{(\theta-\hat{\theta})}^{T}{\Sigma}^{-1}(\theta-\hat{\theta}) \>.$

\hat{θ} = μ

$\hat\theta=\mu$

Bana bu nasıl oldu?

Σ^{- 1} = - \frac{\partial^{2}}{\partial θ^{2}} \log p (\hat{θ} | y),

${\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\hat{\theta }|y),$

Yaptıklarım:

\log P (θ | y) = - \frac{k}{2} \log 2 π - \frac{1}{2} \log | Σ | - \frac{1}{2} {(θ - \hat{θ})}^{T} Σ^{- 1} (θ - \hat{θ})

$\log P(\theta|y) = -\frac{k}{2} \log 2 \pi - \frac{1}{2} \log \left| \Sigma \right| - \frac{1}{2} {(\theta-\hat \theta)}^{T}{\Sigma}^{-1}(\theta-\hat\theta)$

Bu nedenle, türev wt'yi theta'ya alıyorum , ilk önce, bir transpozisyon var, ikincisi bir matris. Bu yüzden sıkışıp kaldım. $\theta$

Not: Profesörüm bununla karşılaşırsa, derse atıfta bulunuyorum.

self-study normal-distribution matrix

— user1061210
kaynak

Sorununuzun bir parçası, günlük olabilirlik ifadenizin bir hata yapmış olması olabilir - olması gereken yerde . Ayrıca, herhangi bir şekilde ?

| Σ |

$|\Sigma|$

\log (| Σ |)

$\log(|\Sigma|)$

Σ^{- 1} = - \frac{\partial^{2}}{\partial θ^{2}} \log p (θ | y)

${\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\theta|y)$

— Makro

Evet haklısınız, üzgünüm. Kısmi türev önünde neden olumsuz işaret var?

— user1061210

Negatif işaretini açıklığa kavuşturuyordum, çünkü negatif ikinci türev, genellikle ilgi çekici olan gözlemlenen balıkçı bilgileridir. Ayrıca, kendi buluyorum:

\frac{\partial^{2}}{\partial θ^{2}} \log p (θ | y) = - Σ^{- 1}

$\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\theta|y) = -\Sigma^{-1}$

— Makro

Peki, kesikli / sürekli fonksiyon için genel prosedür nedir? Günlükleri alın, Taylor genişleme formuna yazın, iki kez wrt ayırt edin . Fisher bilgisi genellikle diğer yoğunlukların çoğunda doğru değildir, değil mi?

θ

$\theta$

— user1061210

@ kullanıcı Belirttiğim gibi, logaritmanın ikinci türevi pozitif olmayan öz değerlere sahip olmalıdır . Evet, varyanslar ve negatif ikinci kısmi türevler arasında, maksimum olabilirlik tahmini teorisi, Fisher bilgisi, vb., Ortaya koyduğu gibi, bağlantılar vardır - Makro, bu yorumlarda daha önce bahsetti.

— whuber

Yanıtlar:

Matrix Yemek Kitabının 2. bölümünde , çok değişkenli Gauss olasılığını ayırt etmeye yardımcı olacak kurallar da dahil olmak üzere olasılık ve istatistik yaparken karşılaşılabilecek sorunlara yardımcı olacak birçok yararlı kimlik veren matris matematiği işlerinin güzel bir derlemesi bulunmaktadır.

Ortalama vektör ve covariance matrix ile normal değişken olan rastgele bir vektörünüz varsa , bu gradyanı bulmak için matris yemek denklemi (86) kullanın. ye göre log olasılığı ${\boldsymbol y}$ ${\boldsymbol \mu}$ ${\boldsymbol \Sigma}$ ${\bf L}$ ${\boldsymbol \mu}$

\begin{aligned} \frac{\partial L}{\partial μ} & = - \frac{1}{2} (\frac{\partial {(y - μ)}^{'} Σ^{- 1} (y - μ)}{\partial μ}) \\ = - \frac{1}{2} (- 2 Σ^{- 1} (y - μ)) \\ = Σ^{- 1} (y - μ) \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \mu}} &= -\frac{1}{2} \left( \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) }{\partial {\boldsymbol \mu}} \right) \nonumber \\ &= -\frac{1}{2} \left( -2 {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) \right) \nonumber \\ &= {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \end{align}$

Bunu tekrar ayırt etmek ve cevabını bulmak için size bırakacağım . $-{\boldsymbol \Sigma}^{-1}$

"Ekstra kredi" olarak, ye göre degradenin uygun olduğunu bulmak için (57) ve (61) denklemlerini kullanın. ${\boldsymbol \Sigma}$

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{1}{2} (\frac{\partial \log (| Σ |)}{\partial Σ} + \frac{\partial {(y - μ)}^{'} Σ^{- 1} (y - μ)}{\partial Σ}) \\ = - \frac{1}{2} (Σ^{- 1} - Σ^{- 1} (y - μ) {(y - μ)}^{'} Σ^{- 1}) \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( \frac{ \partial \log(|{\boldsymbol \Sigma}|)}{\partial{\boldsymbol \Sigma}} + \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu}\right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y}- {\boldsymbol \mu}\right) }{\partial {\boldsymbol \Sigma}} \right)\\ &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) \end{align}$

Çok fazla adım atmıştım, ancak bu türevlemeyi yalnızca matris yemek kitabında bulunan kimlikleri kullanarak yaptım, bu yüzden boşlukları doldurmak için size bırakacağım.

Bu puan denklemlerini maksimum olasılık tahmini için kullandım, bu yüzden doğru olduklarını biliyorum :)

— Makro
kaynak

Büyük referans - kendim önerecektim. Matris cebirini bilmeyen biri için iyi bir pedagojik referans değil. Asıl zorluk, aslında çalışmaktan kaynaklanıyor . Gerçek bir acı.

Σ

$\Sigma$

— Olasılık

Matris analizinde bir başka iyi kaynak ise Magnus & Neudecker, amazon.com/…

— StasK

Denklemin referans numarası değiştirildi (belki yeni bir sürümden dolayı). Yeni referans denklemi 86'dır.

— goelakash

Burada temel dışı olabilirim ama bu formülün doğru olduğunu sanmıyorum. Bunu gerçek örneklerle kullanıyorum ve sonlu farklılıklarına bakıyorum. formülü , diyagonal girişler için doğru değerleri veriyor gibi görünüyor. Bununla birlikte, diyagonal olmayan girişler olması gerekenin yarısıdır.

\frac{\partial L}{\partial Σ}

$\frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}}$

— jjet

daki tekrarlanan öğelere özen gösterdiğinizden emin olmanız gerekir , aksi takdirde türevler yanlış olur. Örneğin, (141) Matrix Yemek Kitabı , simetrik bir için aşağıdaki türevleri verir. $\mathbf{\Sigma}$ $\mathbf{\Sigma}$

\begin{aligned} \frac{\partial \log | Σ |}{\partial Σ} & = 2 Σ^{- 1} - (Σ^{- 1} \circ I) \end{aligned}

$\begin{align} \frac{\partial \log|\mathbf{\Sigma}|}{\partial \mathbf{\Sigma}}&=2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) \end{align}$

Ve (14), kovaryans matrisi fonksiyonlarının Farklılaşma verir

\begin{aligned} \frac{\partial trace (Σ^{- 1} x x^{⊤})}{\partial Σ} & = - 2 Σ^{- 1} x x^{⊤} Σ^{- 1} + (Σ^{- 1} x x^{⊤} Σ^{- 1} \circ I) \end{aligned}

$\begin{align} \frac{\partial \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)}{\partial \mathbf{\Sigma}}&=-2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I) \end{align}$

burada Hadmard ürünü anlamına gelir, ve kolaylık sağlamak için tanımlanmış . $\circ$ $\mathbf{x}:=\mathbf{y}-\mathbf{\mu}$

Özellikle, bunun ın simetrikliğinin empoze edilmemesiyle aynı olmadığını unutmayın. Sonuç olarak buna sahibiz. $\mathbf{\Sigma}$

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{\partial}{\partial Σ} \frac{1}{2} (D \log | 2 π | + \log | Σ | + x^{⊤} Σ^{- 1} x)) \\ = - \frac{\partial}{\partial Σ} \frac{1}{2} (\log | Σ | + trace (Σ^{- 1} x x^{⊤})) \\ = - \frac{1}{2} (2 Σ^{- 1} - (Σ^{- 1} \circ I) - 2 Σ^{- 1} x x^{⊤} Σ^{- 1} + (Σ^{- 1} x x^{⊤} Σ^{- 1} \circ I)) \end{aligned}

$\begin{align} \frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}&=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left(D\log|2\pi|+ \log|\mathbf{\Sigma}| + \mathbf{x}^{\top}\mathbf{\Sigma}^{-1}\mathbf{x})\right)\\ &=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left( \log|\mathbf{\Sigma}| + \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)\right)\\ &=-\frac{1}{2}\left( 2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) -2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I)\right) \end{align}$

burada boyutunu belirtmektedir , ve ve türev0 $D$ $\mathbf{x}$ $\mathbf{y}$ $\mathbf{\mu}$ $D\log|2\pi|$

Bu olmasını sağlar elemanı tekabül etmek . $i,j^{th}$ $\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}$ $\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}_{ij}}$

— Lawrence Middleton
kaynak

@ Macro'nun cevabını hesaplamalı olarak doğrulamaya çalıştım ama kovaryans çözümünde küçük bir hata gibi görünen şeyleri buldum. O elde edilen Ancak doğru çözümün aslında olduğu anlaşılıyor. Aşağıdaki R betiği, öğelerinin her bir öğesi için sonlu farkın hesaplandığı basit bir örnek sunar . O göstermektedir

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{1}{2} (Σ^{- 1} - Σ^{- 1} (y - μ) {(y - μ)}^{'} Σ^{- 1}) = A \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) ={\bf A} \end{align}$

B = 2 A - diag (A)

${\bf B}=2{\bf A} - \text{diag}({\bf A})$

Σ

${\boldsymbol \Sigma}$

A

${\bf A}$ Her giriş için doğru, sadece çapraz elemanlar için doğru cevap sağlar .

B

${\bf B}$

library(mvtnorm)

set.seed(1)

# Generate some parameters
p <- 4
mu <- rnorm(p)
Sigma <- rWishart(1, p, diag(p))[, , 1]

# Generate an observation from the distribution as a reference point
x <- rmvnorm(1, mu, Sigma)[1, ]

# Calculate the density at x
f <- dmvnorm(x, mu, Sigma)

# Choose a sufficiently small step-size
h <- .00001

# Calculate the density at x at each shifted Sigma_ij
f.shift <- matrix(NA, p, p)
for(i in 1:p) {
  for(j in 1:p) {
    zero.one.mat <- matrix(0, p, p)
    zero.one.mat[i, j] <- 1
    zero.one.mat[j, i] <- 1

    Sigma.shift <- Sigma + h * zero.one.mat
    f.shift[i, j] <- dmvnorm(x, mu, Sigma.shift)
  }
}

# Caluclate the finite difference at each shifted Sigma_ij
fin.diff <- (f.shift - f) / h

# Calculate the solution proposed by @Macro and the true solution
A <- -1/2 * (solve(Sigma) - solve(Sigma) %*% (x - mu) %*% t(x - mu) %*% solve(Sigma))
B <- 2 * A - diag(diag(A))

# Verify that the true solution is approximately equal to the finite difference
fin.diff
A * f
B * f

— jjet
kaynak

Yorumun için teşekkür ederim. Gösterimi diğerlerinden farklı olarak yorumladığınıza inanıyorum, çünkü eşzamanlı olarak köşegen unsurlarını eşleştiren çiftleri değiştiriyorsunuz , böylece değişimin etkisi iki katına çıkıyor. Sonuç olarak, bir işlem olan çoklu bir yönlü türevinin. Orada bir şekilde sürece Macro'nun solüsyonu ile küçük bir sorun gibi görünmüyor devrik alınması gerektiğini - ama bu simetrik matrisler için başvuruda hiçbir şeyi değiştirmeyecek.

Σ

$\Sigma$

— whuber