En küçük kovaryans matrisini bulmak için uygun önlem

Okuduğum ders kitabında iki kovaryans matrisi karşılaştırmak için pozitif kesinlik (yarı pozitif kesinlik) kullanmaktadırlar. Fikir, eğer pd ise , küçüktür . Ama bu ilişkinin sezgisini almak için uğraşıyorum? $A-B$ $B$ $A$

Burada benzer bir iplik var:

/math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices

Matrisleri karşılaştırmak için kesinlik kullanma sezgisi nedir?

Cevaplar güzel olsa da sezgiye gerçekten değinmiyorlar.

İşte kafa karıştırıcı bulduğum bir örnek:

[\begin{matrix} 16 & 12 \\ 12 & 9 \end{matrix}] - [\begin{matrix} 1 & 2 \\ 2 & 4 \end{matrix}]

$\begin{equation} \begin{bmatrix} 16 & 12 \\ 12 & 9 \end{bmatrix} - \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \end{equation}$

şimdi farkın belirleyicisi -25 yani ilişki pd hatta psd değil ve bu yüzden ilk matris birinciden daha büyük değil mi?

Hangisinin en küçük olduğunu görmek için iki 3 * 3 kovaryans matrisini karşılaştırmak istiyorum? Öklid normu gibi bir şeyi bunları karşılaştırmak için kullanmak benim için daha sezgisel görünebilir mi? Ancak bu, yukarıdaki ilk matrisin ikinci matikten daha büyük olduğu anlamına gelir. Dahası sadece kovaryans matrislerini karşılaştırmak için kullanılan pd / psd ölçütünü gördüm.

Birisi pd / psd'nin neden öklit normu gibi başka bir ölçü kullanmaktan daha iyi olduğunu açıklayabilir mi?

Ben de bu soruyu matematik forumunda yayınladım (en iyisinin ne olduğundan emin değildim) umarım bu herhangi bir kurala aykırı değildir.

/math/628135/comparing-two-covariance-matrices

— Baz
kaynak

Sen okumak isteyebilirsiniz , bu pozitif (yarı) kesinlik arkasında sezgi tasavvur edilmektedir. Eğer 2 varyansları karşılaştırdığımızda ave beğer a-bpozitif ise o zaman değişkenliği çıkarmadan üzerine söyleyebilirim bdışına abırakılan bazı "gerçek" değişkenlik kalır a. Benzer şekilde, çok değişkenli varyanslar (= kovaryans matrisler) Ave B. Eğer A-Bbu araçlarının daha sonra pozitif tanımlı A-Bbaşka bir deyişle, kaldırma sırasında: vektörlerin yapılandırma Öklid alan "gerçek" bir Bmesafede A, ikinci hala geçerli bir değişkenliktir.

— ttnphns

Ne yapmak sen iki kovaryans matrislerinin "en küçük" demek?

— whuber

Merhaba whuber, kovaryans matrisleri rakip tahmin edicilerle ilgilidir, en küçük varyansı olan tahmin ediciyi seçmek istiyorum. (Bu bir şeyi aydınlatıyor mu?)

— Baz

Baz: Öyleyse neden tahmin edicilerin varyanslarını doğrudan karşılaştırmıyorsunuz?

— Glen_b

Merhaba orada yöntem ayarlanır, varyans (kovaryans içeren) dedikleri için ifade verilir. Ancak, sadece varyansları karşılaştırsam bile, bu hala matris değerlerini karşılaştırmaya benzer problemleri olacak vektör değerlerini karşılaştırmayı içerecektir?

— Baz

Yanıtlar:

Bahsettiğiniz matrislerin sıralaması Loewner sırası olarak bilinir ve pozitif belirli matrislerin çalışmasında çok kullanılan kısmi bir düzendir. Pozitif tanımlı (pozdef) matrislerin manifoldu üzerinde geometrinin kitap boyu tedavisi buradadır .

Önce sezgilerle ilgili sorunuzu ele almaya çalışacağım . A (simetrik) matrisi , tüm için ise pozdef'dir . Eğer kovaryans matrisi ile rastgele değişken (RV) olan daha sonra, bazı tek dim alt uzay üzerindeki çıkıntı (orantılı) ve . Bu uygulama İlk olarak, Q: COVAR matrisi ile bir rastgele değişken: ikinci bir kovaryans matrisidir projeleri her yöne kovaryans matrisi ile bir rv daha küçük varyans ile $A$ $c^T A c\ge 0$ $c \in \mathbb{R}^n$ $X$ $A$ $c^T X$ $\mathbb{Var}(c^T X) = c^T A c$ $A-B$ $B$ $A$ . Bu, bu siparişin sadece kısmi bir sipariş olabileceğini sezgisel olarak netleştirir, çılgınca farklı varyanslarla farklı yönlere yansıyacak birçok rv vardır. Bazı Öklid normuna ilişkin teklifinizin böyle bir doğal istatistiksel yorumu yoktur.

Her iki matris de belirleyici sıfır olduğu için "kafa karıştırıcı örneğiniz" kafa karıştırıcıdır. Yani her biri için, her zaman sıfıra yansıtma yaptıkları bir yön vardır (öz değeri sıfır olan özvektör) . Ancak bu yön iki matris için farklıdır, bu nedenle karşılaştırılamazlar.

Loewner sipariş şekilde tanımlanır , daha kesin daha olumlu ise, posdef olup. Bu kısmi bir düzendir, bazı pozdef matrisler için ne ne de posdef değildir. Bir örneği: bir yolu arasında bunu grafiksel olarak gösteren, iki elipsi olan ancak başlangıç noktasında ortalanmış, matrislerle standart bir şekilde ilişkilendirilmiş bir çizim çizmektedir (daha sonra her yöndeki radyal mesafe, bu yönde projeksiyon varyansı ile orantılıdır): $A \preceq B$ $B$ $A$ $B-A$ $B-A$ $A-B$

A = (\begin{matrix} 1 & 0.5 \\ 0.5 & 1 \end{matrix}), B = (\begin{matrix} 0.5 & 0 \\ 0 & 1.5 \end{matrix})

$A=\begin{pmatrix} 1 & 0.5 \\ 0.5 & 1 \end{pmatrix}, \quad B= \begin{pmatrix} 0.5 & 0\\ 0 & 1.5 \end{pmatrix}$

Bu durumda iki elips uyumludur, ancak farklı şekilde döndürülür (aslında açı 45 derecedir). Bu, ve matrislerinin aynı özdeğerlere sahip olmasına karşılık gelir , ancak özvektörler döndürülür. $A$ $B$

Bu cevap büyük ölçüde elipslerin özelliklerine bağlı olduğundan, aşağıdaki Koşullu Gauss dağılımlarının ardındaki sezgi nedir? elipsleri geometrik olarak açıklamak yardımcı olabilir.

Şimdi matrislerle ilişkili elipslerin nasıl tanımlandığını açıklayacağım. Bir posdef matrisi , kuadratik bir form tanımlar . Bu bir işlev olarak çizilebilir, grafik ikinci dereceden olacaktır. Eğer daha sonra grafik zaman grafiğinin üzerinde olacaktır . Grafikleri 1 yüksekliğinde yatay bir düzlemle kesersek, kesikler elipsleri (aslında elipsleri tanımlamanın bir yolu) tarif edecektir. Bu kesim elipsleri denklemleri ile verilir ve $A$ $Q_A(c) = c^T A c$ $A \preceq B$ $Q_B$ $Q_A$

Q_{A} (c) = 1, Q_{B} (c) = 1

$Q_A(c)=1, \quad Q_B(c)=1$

A ⪯ B

$A \preceq B$ B'nin elipsine karşılık gelir (şimdi iç mekanda) A elipsinde bulunur. Eğer bir düzen yoksa, sınırlama olmayacaktır. İnversiyon sırasının elipslerini çizebileceğimizi beğenmezsek, içerme düzeninin Loewner kısmi düzeninin tersi olduğunu gözlemliyoruz. Bunun nedeni eşdeğer olmasıdır . Ama burada tanımlanan elipslerle kalacağım.

A ⪯ B

$A \preceq B$

B^{- 1} ⪯ A^{- 1}

$B^{-1} \preceq A^{-1}$

Bir elips yarı tonlarla ve uzunluklarıyla açıklanabilir. Burada sadece matrisini tartışacağız , çünkü çizebileceğimiz onlar ... İki ana eksene ve uzunluklarına ihtiyacımız var. Bu, burada posdef matrisinin bir öz-bileşimi ile açıklandığı gibi bulunabilir . Daha sonra ana eksenleri özvektörler ile verilmiş olup, ve bunların uzunluğu özdeğerler hesaplanabilir göre Ayrıca temsil elipsin alanı olduğunu görüyoruz olduğu . $2\times 2$ $a,b$ $\lambda_1, \lambda_2$

a = \sqrt{1 / λ_{1}}, b = \sqrt{1 / λ_{2}} .

$a = \sqrt{1/\lambda_1}, \quad b=\sqrt{1/\lambda_2}.$

A

$A$

π a b = π \sqrt{1 / λ_{1}} \sqrt{1 / λ_{2}} = \frac{π}{\sqrt{det A}}

$\pi a b= \pi \sqrt{1/\lambda_1}\sqrt{1/\lambda_2} = \frac{\pi}{\sqrt{\det A}}$

Matrislerin sipariş edilebileceği son bir örnek vereceğim:

Bu durumda iki matris şunlardır:

A = (\begin{matrix} 2 / 3 & 1 / 5 \\ 1 / 5 & 3 / 4 \end{matrix}), B = (\begin{matrix} 1 & 1 / 7 \\ 1 / 7 & 1 \end{matrix})

$A =\begin{pmatrix}2/3 & 1/5 \\ 1/5 & 3/4\end{pmatrix}, \quad B=\begin{pmatrix} 1& 1/7 \\ 1/7& 1 \end{pmatrix}$

— kjetil b halvorsen
kaynak

@kjetil b halvorsen, kısmi bir düzen olarak pozitif yarı tanımlamanın arkasındaki geometrik sezginin güzel bir tartışmasını sunar. Aynı sezgiyi daha kaba bir şekilde ele alacağım. Varyans matrislerinizle ne tür hesaplamalar yapmak isteyebilirsiniz.

Diyelim ki iki rastgele değişkeniniz var ve . Eğer skaler ise, varyanslarını skaler olarak hesaplayabilir ve skaler gerçek sayıları ve kullanarak bunları açık bir şekilde karşılaştırabiliriz . Dolayısıyla ve ise, rastgele değişken daha küçük bir varyansı olduğunu söylüyoruz . $x$ $y$ $V(x)$ $V(y)$ $V(x)=5$ $V(y)=15$ $x$ $y$

Öte yandan, ve vektör değerli rastgele değişkenler ise (diyelim ki iki vektör olduklarını), varyanslarını nasıl karşılaştırdığımız çok açık değildir. Varyanslarını şöyle söyleyin: Bu iki rasgele vektörün sapmalarını nasıl karşılaştırırız? Yapabileceğimiz bir şey, sadece ilgili öğelerinin varyanslarını karşılaştırmaktır. Yani, varyansının sadece gerçek sayıları karşılaştırarak varyansından daha küçük olduğunu : ve $x$ $y$

\begin{aligned} V (x) = [\begin{array}{cc} 1 & 0.5 \\ 0.5 & 1 \end{array}] V (y) = [\begin{array}{cc} 8 & 3 \\ 3 & 6 \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.5 \\ 0.5 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 8 & 3 \\ 3 & 6 \end{array} \right] \end{align}$

x_{1}

$x_1$

y_{1}

$y_1$

V (x_{1}) = 1 < 8 = V (y_{1})

$V(x_1)=1<8=V(y_1)$

V (x_{2}) = 1 < 6 = V (y_{2})

$V(x_2)=1<6=V(y_2)$ . Böylece belki de varyansı söyleyebiliriz olan varyansı her elemanın varyans eğer ise karşılık gelen elemanın Varyans . Bu demek gibi olur çapraz elemanların her biri ise olan karşılık gelen çapraz eleman .

x

$x$

\leq

$\le$

y

$y$

x

$x$

\leq

$\le$

y

$y$

V (x) \leq V (y)

$V(x) \le V(y)$

V (x)

$V(x)$

\leq

$\le$

V (y)

$V(y)$

Bu tanım ilk bakışta mantıklı görünüyor. Ayrıca, düşündüğümüz varyans matrisleri diyagonal olduğu sürece (yani tüm kovaryanslar 0'dır), yarı-kesinlik kullanmakla aynıdır. Yani, varyanslar sonra , pozitif-yarı tanımlıdır (yani ), ve . Kovaryansları tanıtana kadar her şey iyi görünüyor. Bu örneği düşünün:

\begin{aligned} V (x) = [\begin{array}{cc} V (x_{1}) & 0 \\ 0 & V (x_{2}) \end{array}] V (y) = [\begin{array}{cc} V (y_{1}) & 0 \\ 0 & V (y_{2}) \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} V(x_1) & 0 \\ 0 & V(x_2) \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} V(y_1) & 0 \\ 0 & V(y_2) \end{array} \right] \end{align}$

V (y) - V (x)

$V(y)-V(x)$

V (x) \leq V (y)

$V(x) \le V(y)$

V (x_{1}) \leq V (y_{1})

$V(x_1) \le V(y_1)$

V (x_{2}) \leq V (y_{2})

$V(x_2) \le V(y_2)$

\begin{aligned} V (x) = [\begin{array}{cc} 1 & 0.1 \\ 0.1 & 1 \end{array}] V (y) = [\begin{array}{cc} 1 & 0 \\ 0 & 1 \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.1 \\ 0.1 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 1 & 0 \\ 0 & 1 \end{array} \right] \end{align}$ Şimdi, yalnızca köşegenleri dikkate alan bir karşılaştırma kullanarak diyebiliriz. ve gerçekten de, her bir öğe için . Bizi bu konuda rahatsız etmeye başlayabilecek şey, ve gibi vektörlerin unsurlarının ağırlıklı toplamını hesaplarsak , bile .

V (x) \leq V (y)

$V(x) \le V(y)$

V (x_{k}) \leq V (y_{k})

$V(x_k) \le V(y_k)$

3 x_{1} + 2 x_{2}

$3x_1 + 2x_2$

3 y_{1} + 2 y_{2}

$3y_1 + 2y_2$

V (3 x_{1} + 2 x_{2}) > V (3 y_{1} + 2 y_{2})

$V(3x_1 + 2x_2) \gt V(3y_1 + 2y_2)$

V (x) \leq V (y)

$V(x) \le V(y)$

Bu garip, değil mi? Zaman ve skalerler, o zaman garanti eder herhangi bir sabit, rastgele olmayan için , . $x$ $y$ $V(x) \le V(y)$ $a$ $V(ax) \le V(ay)$

Herhangi bir nedenle, böyle rastgele değişkenlerin elemanlarının doğrusal kombinasyonlarıyla ilgilenirsek, varyans matrisleri için tanımımızı güçlendirmek isteyebiliriz . Belki söylemek istiyorum ise ve bu doğrudur ancak eğer , sayılar sabit Ne olursa olsun ve biz almak. Biz seçerseniz beri Bildirimi, bu köşegeni salt tanımı daha güçlü bir tanımıdır diyor biz almak ve eğer diyor . $\le$ $V(x) \le V(y)$ $V(a_1x_1 + a_2x_2) \le V(a_1y_1 + a_2y_2)$ $a_1$ $a_2$ $a_1=1,a_2=0$ $V(x_1) \le V(y_1)$ $a_1=0,a_2=1$ $V(x_2) \le V(y_2)$

Her olası sabit vektör için ve sadece diyen bu ikinci tanım, varyansı karşılaştırmanın olağan yöntemidir. pozitif yarı-kesinlik temelli matrisler: Varyans matrisleri için tanımının tam olarak olduğunu garanti etmek için seçildiğini görmek için son ifadeye ve pozitif yarı-tanımın tanımına bakın , ancak ve ancak herhangi bir seçim için örneğin, yarı pozitiftir -definite. $V(x) \le V(y)$ $V(a'x) \le V(a'y)$ $a$

\begin{aligned} V (a^{'} y) - V (a^{'} x) = a^{'} V (x) a - a^{'} V (y) a = a^{'} (V (x) - V (y)) a \end{aligned}

$\begin{align} V(a'y) - V(a'x) = a'V(x)a - a'V(y)a = a'\left(V(x) - V(y) \right)a \end{align}$

\leq

$\le$

V (x) \leq V (y)

$V(x) \le V(y)$

V (a^{'} x) \leq V (a^{'} y)

$V(a'x) \le V(a'y)$

a

$a$

(V (y) - V (x))

$\left( V(y)-V(x) \right)$

Yani, sorunuzun yanıtının insanlar varyans matrisi demek ki bir varyans matrisi daha küçüktür ise pozitif yarı tanımlı olduğu çünkü onlar yatan rasgele vektörlerin elemanlarının doğrusal kombinasyonları sapmalar karşılaştırarak ilgilenen edilir. Hangi tanımı seçtiğiniz hesaplamakla ilgilendiğinizi ve bu tanımın bu hesaplamalarda size nasıl yardımcı olduğunu izler. $V$ $W$ $W-V$

— fatura
kaynak