Rasgele iz tekniği

Berkeley, Tech. California'daki M. Seeger'de “Cholesky ayrışması için düşük seviyeli güncellemeler” adlı şu rasgele izleme tekniğiyle tanıştım . Rep, 2007.

$$\operatorname{tr}(\mathbf{A}) = {E[\mathbf{x}^T \mathbf{A} \mathbf{x}]}$$

burada .$\mathbf{x} \sim N(\mathbf{0},\mathbf{I})$

Derin matematik bilgisi olmayan bir kişi olarak, bu eşitliğin nasıl sağlanabileceğini merak ediyorum. Ayrıca, , örneğin geometrik olarak nasıl yorumlanabilir? Bir vektörün iç çarpımının anlamını ve aralık değerini anlamak için nereye bakmalıyım? Ortalama neden özdeğerlerin toplamına eşittir? Teorik mülkiyetin yanı sıra, pratik önemi nedir?$\mathbf{x}^T \mathbf{A} \mathbf{x}$

Çalışıp çalışmadığını görmek için bir MATLAB kod snippet'i yazdım

#% tr(A) == E[x'Ax], x ~ N(0,I)

N = 100000;
n = 3;
x = randn([n N]); % samples
A = magic(n); % any n by n matrix A

y = zeros(1, N);
for i = 1:N
    y(i) = x(:,i)' * A * x(:,i);
end
mean(y)
trace(A)

İz, yaklaşık 14.9696 olan iz 15'tir.

Not Belirtilen sonuç, herhangi bir normallik varsayımına veya . pozitif tanımlanmış olmasına da bağlı değildir . Aslında, sadece koordinatlarının sıfır ortalaması, bir varyansı olduğunu ve ilişkisiz olduğunu (ancak mutlaka bağımsız olmadığı) varsayalım ; yani, tüm için , ve .$\newcommand{\x}{\mathbf{x}}\newcommand{\e}{\mathbb{E}}\newcommand{\tr}{\mathbf{tr}}\newcommand{\A}{\mathbf{A}}\x$$\A$$\x$$\e \x_i = 0$$\e \x_i^2 = 1$$\e \x_i \x_j = 0$$i \neq j$

Çıplak eller yaklaşımı

Let keyfi bir olmak matrisi. Tanıma göre . Ardından, bu yüzden işimiz bitti.$\A = (a_{ij})$$n \times n$$\tr(\A) = \sum_{i=1}^n a_{ii}$

$$\tr(\A) = \sum_{i=1}^n a_{ii} = \sum_{i=1}^n a_{ii} \e \x_i^2 = \sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j ,$$

Açıkça görülmüyorsa, sağ tarafın beklenti doğrusallığına göre

$$\sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j = \e\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} \x_i \x_j \Big) = \e(\x^T \A \x)$$

İz özellikleri ile kanıt

Bunu yazmak için kavramsal olarak biraz daha gelişmiş araçlara dayanan başka bir yol var. Bu beklenti ve iz operatör her ikisi de herhangi iki matrisler için, doğrusal ve bu olduğu mi ve , uygun boyutlarda, . Sonra olduğundan ve benzeri, $\A$$\newcommand{\B}{\mathbf{B}}\B$$\tr(\A\B) = \tr(\B\A)$$\x^T \A \x = \tr(\x^T \A \x)$

$$\e(\x^T \A \x) = \e( \tr(\x^T \A \x) ) = \e( \tr(\A \x \x^T) ) = \tr( \e( \A \x \x^T ) ) = \tr( \A \e \x \x^T ),$$ $$\e(\x^T \A \x) = \tr(\A \mathbf{I}) = \tr(\A) .$$

İkinci dereceden formlar, iç ürünler ve elipsoitler

Eğer pozitif tanımlı, daha sonra bir iç çarpım verildi ile tanımlanabilir ve , başlangıç ​​noktasında içinde bir elipsoid tanımlar .$\A$$\mathbf{R}^n$$\langle \x, \mathbf{y} \rangle_{\A} = \x^T \A \mathbf{y}$$\mathcal{E}_{\A} = \{\x: \x^T \A \x = 1\}$$\mathbf{R}^n$

Eğer simetriktir, pozitif tanımlı sonra ile Ortonormal ve çaprazlama eigen köşegen. Yana kimlik kovaryans matrisi vardır ve ortonormal olup, da bir kimlik kovaryans matrisi vardır. Dolayısıyla yazarken , . Beklenti operatörü doğrusal olduğundan, bu sadece . Her , 1 serbestlik derecesine sahip ki-karedir, bu nedenle beklenen değer 1'dir. Dolayısıyla beklenti özdeğerlerin toplamıdır.$A$$A = U^tDU$$U$$D$$x$$U$$Ux$$y = Ux$$E[x^TAx] = E[y^tDy]$$\sum_{i=0}^n \lambda_i E[y_i^2]$$y_i$

Geometrik olarak, simetrik pozitif belirli matrisler , denklemiyle verilen elipsoidlerle 1-1 karşılık gelir . Elipsoid eksenlerinin uzunlukları tarafından verilir, burada özdeğerlerdir.$A$$x^TAx = 1$$1/\sqrt\lambda_i$$\lambda_i$

Tüm burada kovaryans matrisidir, bu karesidir Mahalanobis mesafe .$A = C^{-1}$$C$

Sorunun "pratik önemi nedir" kısmını ele alalım. Biz hesaplamak matris vektör ürünleri yeteneğine sahip olduğu birçok durum vardır biz matriks saklı bir kopyası yoksa verimli dahi veya bir kopyasını kaydetmek için yeterli depolama yok mu . Örneğin, 100,000 x 100,000 boyutunda olabilir ve tamamen yoğundur - bu matrisi çift hassas kayan nokta formatında saklamak için 80 gigabayt RAM gerektirir. $Ax$$A$$A$$A$

Bunun gibi rasgele algoritmalar izini veya (ilgili bir algoritmayı kullanarak) tekil diyagonal girişlerini tahmin etmek için kullanılabilir . $A$$A$

Bu tekniğin büyük ölçekli jeofizik inversiyon problemlerine bazı uygulamaları

MacCarthy, B. Borchers ve RC Aster. Büyük jeofizik ters problemler için model çözünürlük matrisinin diyagonal ve genelleştirilmiş çapraz validasyonunun etkin stokastik tahmini. Jeofizik Araştırmaları Dergisi, 116, B10304, 2011. Makaleye bağlantı