3x3 korelasyon matrisinin tamamlanması: verilen üç katsayının iki katsayısı

20

Bir röportajda bana bu soru soruldu.

Diyelim ki formda bir korelasyon matrisi var

[\begin{matrix} 1 & 0.6 & 0.8 \\ 0.6 & 1 & γ \\ 0.8 & γ & 1 \end{matrix}]

$\begin{bmatrix}1&0.6&0.8\\0.6&1&\gamma\\0.8&\gamma&1\end{bmatrix}$

Bu korelasyon matrisi göz önüne alındığında gama değerini bulmam istendi.
Özdeğerlerle bir şeyler yapabileceğimi düşündüm, çünkü bunların hepsi 0'dan büyük veya 0'a eşit olmalıdır (Matrix pozitif semidefinite olmalıdır) - ama bu yaklaşımın cevabı vereceğini düşünmüyorum. Bir numara eksik.

Lütfen bunun için bir ipucu verebilir misiniz?

pearson-r correlation-matrix

— acemi
kaynak

Yorumlar uzun tartışmalar için değildir; bu sohbet sohbete taşındı .

— whuber

1

Bu siteyi aramak, doğrudan alakalı formülleri içeren (birkaç) iş parçacığından birine yol açtı: stats.stackexchange.com/questions/5747 . Felix s'nin cevabında bazı yararlı noktalar da var .

— whuber

21

Zaten biliyoruz arasına bağlanır korelasyon matrisi yarı kesin pozitif olması ve dolayısıyla ana minör negatif olmaması gerekir $\gamma$ $[-1,1]$

Böylece,

\begin{aligned} 1 (1 - γ^{2}) - 0.6 (0.6 - 0.8 γ) + 0.8 (0.6 γ - 0.8) & \geq 0 \\ - γ^{2} + 0.96 γ \geq 0 \\ ⟹ γ (γ - 0.96) \leq 0 and - 1 \leq γ \leq 1 \\ ⟹ 0 \leq γ \leq 0.96 \end{aligned}

$\begin{align*} 1(1-\gamma^2)-0.6(0.6-0.8\gamma)+0.8(0.6\gamma-0.8) &\geq 0\\ -\gamma^2+0.96\gamma \geq 0\\ \implies \gamma(\gamma-0.96) \leq 0 \text{ and } -1 \leq \gamma \leq 1 \\ \implies 0 \leq \gamma \leq 0.96 \end{align*}$

— rightskewed
kaynak

4

@novice Sylvester'ın Kriteri hakkında okumak isteyebilirsiniz

— rightskewed

Mükemmel cevap. Aşağıdakileri ekleyeceğim: Gama elde etmenin popüler yolu, yukarıdaki denklemleri çözerken mümkün olan en küçük nükleer normun (aka ky-fan normu) korelasyon matrisine yol açacak gama bulmaya çalışmaktır. Daha fazla bilgi için "matris tamamlama", "sıkıştırıcı algılama" konusuna bakın veya bit.ly/2iwY1nW konusundaki bu rapora göz atın .

— Mustafa S Eisa

1

Bunun bir kanıtı olması için, diğer yönde bir sonuca ihtiyacınız vardır: eğer önemsiz olmayan tüm küçükler

ve matrisin belirleyici

, matris pozitif semidefinite olur.

> 0

$>0$

\geq 0

$\geq 0$

— Federico Poloni

10

İşte daha basit (ve belki de daha sezgisel) bir çözüm:

Kovaryansı, soyut bir vektör uzayı üzerinde bir iç ürün olarak düşünün . Daha sonra, korelasyon matrisi girişlerdir vektörler için , , , köşebendin $\cos\langle\mathbf{v}_i,\mathbf{v}_j\rangle$ $\mathbf{v}_1$ $\mathbf{v}_2$ $\mathbf{v}_3$ belirtmektediraçısıarasındaki ve . $\langle\mathbf{v}_i,\mathbf{v}_j\rangle$ $\mathbf{v}_i$ $\mathbf{v}_j$

O görselleştirmek zor değil tarafından sınırlanan . Bunu kosinüsüne bağlanmış ( ) bu şekilde bir . Temel trigonometri daha sonra $\langle\mathbf{v}_2,\mathbf{v}_3\rangle$ $|\langle\mathbf{v}_1,\mathbf{v}_2\rangle\pm\langle\mathbf{v}_1,\mathbf{v}_3\rangle|$ $\gamma$ $\cos\left[\langle\mathbf{v}_1,\mathbf{v}_2\rangle\pm\langle\mathbf{v}_1,\mathbf{v}_3\rangle\right]$ . $\gamma\in[0.6\times 0.8 - 0.6\times 0.8, 0.6\times 0.8 + 0.6\times 0.8] = [0, 0.96]$

Düzenleme: Not bu son satırında gerçekten $0.6\times 0.8 \mp 0.6\times 0.8$ - 0.6 veikinci görünümüsayesinde tesadüf ile gerçekleşir $\cos\langle\mathbf{v}_1,\mathbf{v}_2\rangle\cos\langle\mathbf{v}_1,\mathbf{v}_3\rangle\mp \sin\langle\mathbf{v}_1,\mathbf{v}_3\rangle\sin\langle\mathbf{v}_1,\mathbf{v}_2\rangle$ $0.6^2+0.8^2=1$ .

— yangle
kaynak

1

+1, Meşru bir geometrik akıl yürütme (bunu söyleyerek, hesaplamalarınızı yine de kontrol etmedim). Bu tam olarak soruya yorumlarda önerdiğim şey (ne yazık ki, tüm yorumlar moderatör tarafından sohbet etmek için taşındı, yukarıdaki bağlantıya bakın).

— ttnphns

Bana öyle geliyor ki, tüm korelasyonların negatif olmaması gerektiğini kanıtladınız, çünkü hesaplamanız her zaman alt sınır için sıfır verecektir. Eğer durum böyle değilse, hesaplamanızın genel olarak nasıl çalıştığını açıklayabilir misiniz? Anlamıyorum belki ya - - Gerçekten güvenmediğiniz üç veya daha fazla boyutta her zaman bir bulabilirsiniz, çünkü bağlı

olan ikisi için

ve sonra sınırınız

her zaman sıfır demektir! (cc @ttnphns)

v_{1}

$v_1$

v_{1} \cdot v_{2} = v_{1} \cdot v_{3} = 0

$v_1\cdot v_2=v_1\cdot v_3=0$

v_{2} \cdot v_{3}

$v_2\cdot v_3$

— whuber

@whuber: Karışıklık için üzgünüm. Hesaplama gelmez değil her zaman alt limit için sıfır ver. Cevabımı değiştirdim.

— yangle

Son endişeme nasıl yanıt veriyorsunuz? Görünüşe göre sınırlarınız yanlış.

— whuber

@whuber: Sizin durumunuzda, ⟨v1, v2⟩ = ⟨v1, v3⟩ = π / 2, dolayısıyla sınır | | 1v1, v2⟩ ± ⟨v1, v3⟩ | [0, π] beklendiği gibi. Bağlı cos⟨v1, v2⟩cos⟨v1, v3⟩∓sin⟨v1, v3⟩sin⟨v1, v2⟩ on γ da [-1, 1] olarak çalışır.

— yangle

4

İşte cevabın ilk yorumunda ne demek istediğimi ve @yangle hakkında konuştuğumu algıladığım şey (hesaplamalarını takip etmeme / kontrol etmeme rağmen).

"Matris pozitif semidefinite olmalıdır" değişken vektörlerin Öklid uzayında bir demet olduğunu ima eder . Vektör üç uzunlukları 1. 3 birim vektörleri XYZ düşünün unutmayın olacak şekilde sabitlenir, çünkü bağıntı matrisinin durumda kovaryans matrisinin daha kolay olan açısının kosinüsü . Böylece, ve . sınırları ne olabilir $r$ $\cos \alpha=r_{xy}=0.6$ $\cos \beta=r_{yz}=0.8$ $\cos \gamma=r_{xz}$ ? Bu korelasyon Z tarafından Y'yi çevreleyen herhangi bir değeri alabilir ( açısını onunla tutmak ): $r_{yz}=0.8$

Döndükçe, iki pozisyon nihai wrt X olarak dikkat çekicidir, her ikisi de Z XY düzlemine düştüğü zamandır. Biri X ve Y arasında, diğeri Y'nin karşı tarafındadır. Bunlar mavi ve kırmızı vektörlerle gösterilir. Her iki konumda da tam olarak XYZ (korelasyon matrisi) konfigürasyonu tekildir. Ve bunlar minimum ve maksimum açıdır (bu nedenle korelasyon) Z, wrt X'e ulaşabilir.

Bir düzlemdeki açıların toplamını veya farkını hesaplamak için trigonometrik formülü seçerek, var:

sınırlar olarak. $\cos \gamma = r_{xy} r_{yz} \mp \sqrt{(1-r_{xy}^2)(1-r_{yz}^2)} = [0,0.96]$

Bu geometrik görünüm sadece @rightskewed'in cebirsel terimlerle (küçükler vb.) İfade ettiği şeye bir başka (ve 3D durumda spesifik ve daha basit) bir görünümdür.

— ttnphns
kaynak

X, Y, Z rasgele değişkenler ise, bunları 3B uzayda vektörlerle nasıl eşlersiniz (Sadece 1B uzayda vektörler olabilir). Ayrıca RV'ler Nx1 ise, o zaman N boyutlu uzayda vektörler olacak mı?

— acemi

@novice Evet, başlangıçta Nd uzayında 3 vektördür, ancak yalnızca 3 boyut gereksizdir. Lütfen cevaptaki 2. bağlantıyı takip edin ve açıklandığı konu alanına ilişkin daha fazla referansı okuyun .

— ttnphns

4

Ana reşit olmayanlarla oynamak, 3 x 3 veya belki 4 x 4 problemlerde iyi olabilir, ancak daha yüksek boyutlarda gaz ve sayısal kararlılık biter.

Bunun gibi tek bir "serbest" parametre problemi için, matris psd'yi yapan tüm değerlerin kümesinin tek bir aralık olacağını görmek kolaydır. Bu nedenle, bu tür minimum ve maksimum değerleri bulmak yeterlidir. Bu, bir çift doğrusal SemiDefinite Programlama (SDP) probleminin sayısal olarak çözülmesi ile kolayca gerçekleştirilebilir:

minimize mat matris tabi psd olduğunu.
maksimize γ matris tabi psd olduğunu.

Örneğin, bu problemler MATLAB altında YALMIP kullanılarak formüle edilebilir ve sayısal olarak çözülebilir.

gama = sdpvar; A = [1,6 .8; .6 1 gama; .8 gama 1]; optimize et (A> = 0, gama)
optimize et (A> = 0, -gamma)

Hızlı, kolay ve güvenilir.

BTW, soruyu soran smarty pantolon görüşmecisi, iyi geliştirilmiş ve pratik problemleri güvenilir bir şekilde çözmek için sofistike ve kullanımı kolay sayısal optimize edicilere sahip SemiDefinite Programlamanın bu sorunu çözmek için kullanılabileceğini bilmiyorsa ve çok daha fazlası zor varyantlar, ona bunun artık 1870 olmadığını söyleyin ve modern hesaplama gelişmelerinden yararlanmanın zamanı geldi.

— Mark L. Stone
kaynak

4

Aşağıdaki dışbükey setini ele alalım

{(x, y, z) \in R^{3} : [\begin{matrix} 1 & x & y \\ x & 1 & z \\ y & z & 1 \end{matrix}] ⪰ O_{3}}

$\Bigg\{ (x,y,z) \in \mathbb R^3 : \begin{bmatrix} 1 & x & y\\ x & 1 & z\\ y & z & 1\end{bmatrix} \succeq \mathrm O_3 \Bigg\}$

$3$

Bu eliptopun tanımlanan düzlemlerle kesişimi $x=0.6$ ve tarafından $y=0.8$ , uç noktaları sarı renkli bir çizgi segmenti elde ediyoruz

Elipsin sınırı, tarafından tanımlanan kübik bir yüzeydir.

det [\begin{matrix} 1 & x & y \\ x & 1 & z \\ y & z & 1 \end{matrix}] = 1 + 2 x y z - x^{2} - y^{2} - z^{2} = 0

$\det \begin{bmatrix} 1 & x & y\\ x & 1 & z\\ y & z & 1\end{bmatrix} = 1 + 2 x y z - x^2 - y^2 - z^2 = 0$

Eğer $x=0.6$ ve $y=0.8$ , daha sonra yukarıdaki kübik denklem ikinci dereceden denkleme kaynar

0.96 z - z^{2} = z (0.96 - z) = 0

$0.96 z - z^2 = z (0.96 - z) = 0$

Dolayısıyla, eliptopun iki düzlemle kesişimi,

{(0.6, 0.8, t) | 0 \leq t \leq 0.96}

$\{ (0.6, 0.8, t) \mid 0 \leq t \leq 0.96 \}$

— Rodrigo de Azevedo
kaynak

1

Her pozitif yarı tanımlanmış matris bir korelasyon / kovaryans matrisidir (ve tersi de geçerlidir).

Bunu görmek için, pozitif yarı tanımlı bir matrisle başlayın $A$ ve öz-ayrışmalarını alır (spektral teoremde var olur, çünkü $A$ simetrik) $A=UDU^T$ where $U$ is a matrix of orthonormal eigenvectors and $D$ is a diagonal matrix with eigen values on the diagonal. Then, let $B= U D^{1/2} U^T$ where $D^{1/2}$ is a diagonal matrix with the square root of eignevalues on the diagonal.

Then, take a vector with i.i.d. mean zero and variance 1 entries, $\mathbf{x}$ and note that $B \mathbf{x}$ also has mean zero, and covariance (and correlation) matrix $A$ .

Now, to see every correlation/covariance matrix is positive semi-definite is simple: Let $R=E[\mathbf{x}\mathbf{x}^T]$ be a correlation matrix. Then, $R = R^T$ is easy to see, and $\mathbf{a}^T R \mathbf{a} = E[(\mathbf{a}^T \mathbf{x})^2] \geq 0$ so the Rayleigh quotient is non-negative for any non-zero $\mathbf{a}$ so $R$ is positive semi-definite.

Now, noting that a symmetric matrix is positive semi-definite if and only if its eigenvalues are non-negative, we see that your original approach would work: calculate the characteristic polynomial, look at its roots to see if they are non-negative. Note that testing for positive definiteness is easy with Sylvester's Criterion (as mentioned in another answer's comment; a matrix is positive definite if and only if the principal minors all have positive determinant); there are extensions for semidefinite (all minors have non-negative determinant), but you have to check $2^n$ minors in this case, versus just $n$ for positive definite.

— Batman
kaynak