Grafik Laplacian (ters) Kovaryanslı Çok Değişkenli Gaussiandan Örnekleme

Biz tanıdığımız örneğin Koutis-Miller-Peng (Spielman ve Teng çalışmalarına dayanan), çok hızlı bir şekilde lineer sistemleri çözebilir $A x = b$ matrisler için $A$ negatif olmayan kenar ağırlıkları ile bir seyrek grafik için grafik Laplace matristir .

Şimdi (ilk soru), bu grafik Laplacian matrisleri birini $A$ sıfır-ortalama çok değişkenli normal dağılım $\mathcal{N}(\boldsymbol{0}, A)$ veya kovaryans veya (ikinci soru) ters kovaryans matrisi olarak kullanmayı düşünün $\mathcal{N}(\boldsymbol{0}, A^{-1})$ . Bu vakaların her biri için iki sorum var:

C. Bu dağıtımdan ne kadar verimli bir örnek alabiliriz? (Tipik olarak bir örnek çizmek için, Cholesky ayrışmasını hesaplar, $A = LL^T$ standart bir normal çizer $y \sim \mathcal{N}(\boldsymbol{0}, I)$ , sonra bir örneği olarak hesaplarız $x = L^{-1} y$ ).

B. belirleyicisini ne kadar verimli hesaplayabiliriz $A$ ?

Her ikisinin de bir Cholesky ayrışması verildiğinde kolayca çözülebileceğini unutmayın, ancak $L$ sadece yukarıda belirtilen tekniklerde kullanılmayan standart bir seyrek Cholesky algoritması kullanmaktan daha etkili bir şekilde nasıl çıkaracağımı göremiyorum. çalışır ve seyrek fakat yüksek treewidth grafikler için kübik karmaşıklığa sahiptir.

— dan_x
kaynak

Her iki durumda da "verimli" olarak değerlendirdiğiniz şey konusunda biraz daha spesifik olmanıza yardımcı olacağını düşünüyorum. "Etkili", "Cholesky ayrışmasına bağlı değil" ile aynı mıdır?

— Suresh Venkat

Önerin için teşekkürler. Tüm soruların cevabı “bir Cholesky ayrışması hesaplamanız gerekiyor ve matrisin seyrekliğinin ötesinde kaldırabilecek bir yapı yok” olabilir. Bunun doğru olup olmadığını bilmek isterdim (ama umarım bu değildir). Son paragrafta "verimli" ile ilgili olarak, evet, çoğunlukla standart seyrek Cholesky algoritmalarından daha verimli demek istiyorum. Her ne kadar bir Cholesky'yi başka yollarla yapılabildiği kadar hızlı hesaplamak için yukarıda belirtilen çalışmanın tekniklerini kullanmanın bir yolu olsaydı, bu da ilginç olurdu.

— dan_x

N (0, A)

$N(0,A)$

A = B^{T} B

$A = B^T B$

B

$B$

R^{E}

$\mathbb{R}^E$

E

$E$

B

$B$

Burada iki ayrı sorun var.

$Ax=b$ $A^{1/2}b$
Determinant nasıl hesaplanır.

Kısa cevaplar şunlardır: 1) rasyonel matris işlev yaklaşımları kullanın ve 2) bilmiyorsunuz, ancak yine de gerek yok. Bu sorunların her ikisini de aşağıda ele alıyorum.

Matris karekök yaklaşımları

Buradaki fikir, skaler fonksiyonlar için rasyonel fonksiyon yaklaşımını matris fonksiyonlar için rasyonel fonksiyon yaklaşımına dönüştürmektir.

\sqrt{x} \approx r (x) := \frac{a_{1}}{x + b_{1}} + \frac{a_{2}}{x + b_{2}} + \dots + \frac{a_{N}}{x + b_{N}},

$\sqrt{x} \approx r(x) := \frac{a_1}{x+b_1} + \frac{a_2}{x+b_2} + \dots + \frac{a_N}{x+b_N},$

b_{i}

$b_i$

[m, M]

$[m,M]$

O (\log \frac{M}{m})

$O(\log \frac{M}{m})$

a_{i}

$a_i$

- b_{i}

$-b_i$

r (A) = a_{1} (A + b_{1} I)^{- 1} + a_{2} (A + b_{2} I)^{- 1} + \dots + a_{N} (A + b_{N} I)^{- 1} .

$r(A) = a_1(A + b_1 I)^{-1} + a_2(A + b_2 I)^{-1} + \dots + a_N(A + b_N I)^{-1}.$

$A$

\begin{aligned} | | A^{1 / 2} - r (A) | |_{2} & = | | U (Σ^{1 / 2} - r (Σ)) U^{*} | |_{2}, \\ = max_{i} | \sqrt{σ_{i}} - r (σ_{i}) | \end{aligned}

$\begin{align} ||A^{1/2} - r(A)||_2 &= ||U\left(\Sigma^{1/2} - r(\Sigma)\right)U^*||_2, \\ &= \max_i |\sqrt{\sigma_i} - r(\sigma_i)| \end{align}$

A = U Σ U^{*}

$A = U \Sigma U^*$

A

$A$

Durumu sayısını gösteren tarafından biz uygulayabilir gerçekleştirerek arzu edilen herhangi bir tolerans formunda pozitif kaydırılmış grafik Laplace çözümler $A$ $\kappa$ $A^{1/2}b$ $O(\log \kappa)$

(A + b I) x = b .

$(A + bI)x=b.$

Bu çözümler en sevdiğiniz grafik Laplacian çözücüsü ile yapılabilir - Çoklu ızgara tipi teknikleri tercih ederim, ancak alıntı yaptığınız kağıtta da iyi olmalı. Ekstra sadece yakınsamasına yardımcı olur. $bI$

Simetrik olmayan matrisler için geçerli bir bu tartışma mükemmel kağıt, hem de daha genel kompleks analiz teknikleri için bkz: İşlem , kontur integralleri ile, ve ilgili matris fonksiyonları $A^α$ $\log(A)$ Hale, Higham ve Trefethen tarafından, (2008 ).

Determinant "hesaplama"

Determinantın hesaplanması daha zordur. Bildiğim kadarıyla , QR algoritmasını kullanarak Schur ayrıştırma hesaplamak , sonra üst üçgen matrisinin köşegeninden özdeğerleri okumaktır . Bu süresini alır, burada grafikteki düğümlerin sayısıdır. $A = Q U Q^*$ $U$ $O(n^3)$ $n$

Bununla birlikte, determinantların hesaplanması doğal olarak koşulsuz bir sorundur, bu nedenle büyük bir matrisin hesaplama belirleyicilerine dayanan bir kağıt okuduysanız, yönteme çok şüphelisiniz.

Neyse ki, muhtemelen determinant'a ihtiyacınız yoktur. Örneğin,

Tek bir Gauss dağılımından örnek çizmek için normalleştirme sabiti tüm noktalarda aynıdır, bu yüzden asla hesaplamanıza gerek yoktur. $N(0,A^{-1})$
Laplacian matrisiniz , noktasında yerel Gauss yaklaşımının Gauss olmayan bir dağılıma ters kovaryansını temsil , determinant gerçekten noktadan noktaya değişir. Ancak, bildiğim her etkili örnekleme şemasında (Markov zinciri Monte Carlo, önem örneklemesi vb. Dahil) gerçekten ihtiyacınız olan belirleyici oran , burada geçerli noktadır ve önerilen bir sonraki örnektir. $A = A_x$ $x$ $det (A_{x_{0}}^{- 1} A_{x_{p}}),$ $\det(A_{x_0}^{-1}A_{x_p}),$ $x_0$ $x_p$

Biz görüntüleyebilir kimliğine düşük seviye güncelleme olarak burada etkin sayısal düşük seviyeli güncellemenin rütbe, , Gauss olmayan gerçek dağılımın yerel bir ölçüsüdür; tipik olarak bu, matrisin tam seviyesinden çok daha düşüktür. Gerçekten de, büyükse, gerçek dağılım yerel olarak Gauss olmayan bir şeydir ve yerel Gauss yaklaşımlarını kullanarak bu dağıtımı örneklemeye çalışma stratejisinin tamamını sorgulamak gerekir. $A_{x_0}^{-1}A_{x_p}$

A_{x_{0}}^{- 1} A_{x_{p}} = I + Q D Q^{*},

$A_{x_0}^{-1}A_{x_p} = I + Q D Q^*,$

r

$r$

r

$r$

Düşük seviye faktörleri ve ile bulunabilir randomize SVD matris uygulanarak veya Lanczos için farklı vektörler, her bir uygulama olan bir grafik gerektirir Laplacian çözümü. Bu nedenle, bu düşük dereceli faktörleri elde etmek için yapılan genel çalışma . $Q$ $D$

A_{x_{0}}^{- 1} A_{x_{p}} - I

$A_{x_0}^{-1}A_{x_p} -I$

O (r)

$O(r)$

O (r max (n, E))

$O(r \max(n,E))$

Bilmek , belirleyici oranı daha sonra $D = \text{diag}(d_1,d_2,\dots,d_r)$

det (A_{x_{0}}^{- 1} A_{x_{p}}) = det (I + Q D Q^{*}) = \exp (\sum_{i = 1}^{r} \log d_{i}) .

$\det(A_{x_0}^{-1}A_{x_p}) = \det(I + Q D Q^*) = \exp\left(\sum_{i=1}^r \log d_i\right).$

Bu düşük dereceli determinant rasyon hesaplama teknikleri, Sismik İnversiyon Uygulamasında Büyük Ölçekli İstatistiksel Ters Problemler için Stokastik Newton MCMC Metodunda bulunabilir , Martin ve ark. (2012). Bu makalede süreklilik problemlerine uygulanmaktadır, bu yüzden "grafik" 3D uzayda bir ızgaradır ve Laplacian grafiği gerçek Laplacian matrisidir. Ancak, tüm teknikler genel grafik Laplacians için geçerlidir. Muhtemelen bu tekniği şimdiye kadar genel grafiklere uygulayan başka makaleler var (uzantı önemsiz ve temelde yazdıklarım).

— Nick Alger
kaynak