Çok değişkenli normal dağılımdan örneklerin çizilmesi için Cholesky ve özdöpozisyon

Bir örnek çizmek istiyorum . Wikipedia bir Cholesky veya Eigendecomposition kullanmanızı önerir , yani veya $\mathbf{x} \sim N\left(\mathbf{0}, \mathbf{\Sigma} \right)$$\mathbf{\Sigma} = \mathbf{D}_1\mathbf{D}_1^T$$\mathbf{\Sigma} = \mathbf{Q}\mathbf{\Lambda}\mathbf{Q}^T$

Ve böylece örnek şu şekilde çizilebilir: veya burada $\mathbf{x} = \mathbf{D}_1 \mathbf{v}$v∼N(0,I$\mathbf{x} = \mathbf{Q}\sqrt{\mathbf{\Lambda}} \mathbf{v}$$\mathbf{v} \sim N\left(\mathbf{0}, \mathbf{I} \right)$

Wikipedia, her ikisinin de örnek üretmek için eşit derecede iyi olduğunu öne sürer, ancak Cholesky yönteminin daha hızlı hesaplama süresi vardır. Bu doğru mu? Özellikle sayısal olarak monte edilmiş bir carlo yöntemi kullanılırken, diyagonaller boyunca varyanslar birkaç büyüklük sırasına göre değişebilir mi? Bu sorunla ilgili resmi bir analiz var mı?

Problem Straka ve arkadaşları tarafından algoritmanın bir parçası olarak çok değişkenli bir Normal dağılımdan (deterministik) numuneler çeken Vurulmamış Kalman Filtresi için incelenmiştir . Biraz şansla, sonuçlar monte-carlo problemine uygulanabilir.

Cholesky Ayrışması (CD) ve Özün Ayrıştırılması (ED) - ve bu nedenle asıl Matris Karekök (MSR), pozitif yarı-belirli bir matrisin (PSD) parçalanabileceği tüm yollardır.

Göz önünde SVD PSD matrisin . P PSD olduğu için bu aslında P = U S U T olan ED ile aynıdır . Dahası, diyagonal matrisi kare kökü ile bölebiliriz: P = U $P = USV^T$$P = USU^T$, bunu belirterek$P = U\sqrt{S}\sqrt{S}^TU^T$.$\sqrt{S} = \sqrt{S}^T$

Şimdi keyfi bir dikey matris ekleyebiliriz :$O$

.$P = U\sqrt{S}OO^T\sqrt{S}^TU^T = (U\sqrt{S}O)(U\sqrt{S}O)^T$

seçimi , özellikle kovaryans matrisinin güçlü köşegen olmayan elemanları olduğunda, tahmin performansını etkiler.$O$

Makalede üç seçeneği incelenmiştir :$O$

• ED'ye karşılık gelen O = I ;$O = I$
• denQR ayrışmaarasında U $O = Q$CD'ye tekabül; ve$U\sqrt{S} = QR$
• simetrik bir matrise (yani MSR) yol açan U $O = U^T$

Çok sayıda analizden sonra (alıntılar) makalede aşağıdaki sonuçların çıkarıldığı:

• İlişkilendirilmemiş elementlere sahip dönüştürülecek rastgele bir değişken için, düşünülen üç MD de aynı sigma noktalarını sağlar ve bu nedenle [Vurulmamış Dönüşüm] yaklaşımının kalitesi üzerinde neredeyse hiçbir fark yaratmazlar. Böyle bir durumda CD düşük maliyetleri nedeniyle tercih edilebilir.

• Rastgele değişken ilişkili elemanlar içeriyorsa, farklı [ayrışma] kullanımı, dönüştürülmüş rastgele değişkenin ortalama veya kovaryans matrisinin [Unscented Transform] yaklaşımının kalitesini önemli ölçüde etkileyebilir. Yukarıdaki iki vaka [ED] 'nin tercih edilmesi gerektiğini göstermiştir.

• Dönüştürülecek değişkenin elemanları, karşılık gelen kovaryans matrisinin neredeyse tekil olması için güçlü bir korelasyon sergiliyorsa, MD'yi hesaplayan algoritmanın sayısal kararlılığı olan başka bir konu dikkate alınmalıdır. SVD neredeyse tekil kovaryans matrisleri için ChD'den çok daha sayısal olarak kararlıdır.

Referans:

• Straka, O .; Dunik, J .; Simandl, M. & Havlik, J. "Kokusuz Kalman filtresindeki matris ayrışmalarının boyutları ve karşılaştırılması", Amerikan Kontrol Konferansı (ACC), 2013, 2013, 3075-3080.

İki yöntemin hesaplama süresini karşılaştırmak için R'yi kullanan basit bir örnek.

library(mvtnorm)
library(clusterGeneration)
set.seed(1234)
mean <- rnorm(1000, 0, 1)
sigma <- genPositiveDefMat(1000)
sigma <- sigma$Sigma

eigen.time <- system.time(
  rmvnorm(n=1000, mean=mean, sigma = sigma, method = "eigen")
  )

chol.time <- system.time(
  rmvnorm(n=1000, mean=mean, sigma = sigma, method = "chol")
  )

Çalışma süreleri

> eigen.time
   user  system elapsed 
   5.16    0.06    5.33 
> chol.time
   user  system elapsed 
   1.74    0.15    1.90

Örnek boyutunu 10000'e yükseltirken, çalışma süreleri

> eigen.time <- system.time(
+   rmvnorm(n=10000, mean=mean, sigma = sigma, method = "eigen")
+   )
> 
> chol.time <- system.time(
+   rmvnorm(n=10000, mean=mean, sigma = sigma, method = "chol")
+   )
> eigen.time
   user  system elapsed 
   15.74    0.28   16.19 
> chol.time
   user  system elapsed 
   11.61    0.19   11.89 

Bu yardımcı olur umarım.

İşte manuel ya da fakir adamlar, kendime kanıtlama gösterisi:

> set.seed(0)
> # The correlation matrix
> corr_matrix = matrix(cbind(1, .80, .2, .80, 1, .7, .2, .7, 1), nrow=3)
> nvar = 3 # Three columns of correlated data points
> nobs = 1e6 # One million observations for each column
> std_norm = matrix(rnorm(nvar * nobs),nrow=nobs, ncol=nvar) # N(0,1)   

$$\text{Corr}=\small \begin{bmatrix} 1 & .8 & .2\\ .8& 1 & .7 \\ .2&.7&1 \end{bmatrix}$$

$$\text{N}=\tiny \begin{bmatrix} & [,1] & [,2] & [,3] \\ [1,] & -1.0806338 & 0.6563913 & 0.8400443 \\ [2,] & -1.1434241 & -0.1729738 & -0.9884772 \\ \vdots & \vdots & \vdots & \vdots \\ \vdots & \vdots & \vdots & \vdots \\ [999999,] & 0.4861827 & 0.03563006 & -2.1176976 \\ [1000000,] & -0.4394551 & 1.69265517 & -1.9534729\\ \end{bmatrix}$$

1. SVD YÖNTEMİ:

$$\left[ \bf \underset{[3 \times 3]}{\color{blue}{\Large\,U}}\,\,\,\,\,\underset{\tiny \begin{bmatrix}\sqrt{d_1}&0&0\\0&\sqrt{d_2}&0\\0&0&\sqrt{d_3}\end{bmatrix}}{\Large\color{blue}{\Sigma^{0.5}}} \, \underset{[3\times 10^6]}{\Large\color{blue}{N^T}} \right]^T$$

> ptm <- proc.time()
> # Singular Value Decomposition method:
> svd = svd(corr_matrix)   
> rand_data_svd = t(svd$u %*% (diag(3) * sqrt(svd$d)) %*% t(std_norm))
> proc.time() - ptm
   user  system elapsed 
   0.29    0.05    0.34 
> 
> ptm <- proc.time()

2. CHOLESKY YÖNTEMİ:

$$\bf \left[ \underset{\begin{bmatrix}c_{11}&0&0\\c_{21}&c_{22}&0\\c_{31}&c_{32}&c_{33}\end{bmatrix}}{\Large\color{blue}{\text{Ch}}}\,\,\underset{[3\times 10^6]}{\Large\color{blue}{N^T}} \right]^T$$

> # Cholesky method:
> chole = t(chol(corr_matrix))
> rand_data_chole = t(chole %*% t(std_norm))
> proc.time() - ptm
   user  system elapsed 
   0.25    0.03    0.31 

---

@ Userr11852'ye, işlevi kullanarak SVD ve Cholesky arasındaki performans farkını hesaplamanın daha iyi bir yolu olduğunu belirttiğiniz için teşekkür ederiz microbenchmark. Onun önerisinde, sonuç şu:

microbenchmark(chol(corr_matrix), svd(corr_matrix))
Unit: microseconds
              expr     min     lq      mean  median      uq     max neval cld
 chol(corr_matrix)  24.104  25.05  28.74036  25.995  26.467  95.469   100  a 
  svd(corr_matrix) 108.701 110.12 116.27794 111.065 112.719 223.074   100   b