Bir matrisin pozitif tanımlaması nasıl yapılır?

Aşağıdaki faktör analizi modeli için bir EM algoritması uygulamak çalışıyorum;

W_{j} = μ + B a_{j} + e_{j} for j = 1, \dots, n

$W_j = \mu+B a_j+e_j \quad\text{for}\quad j=1,\ldots,n$

burada p-boyutlu rastgele vektör, gizli değişkenlerin q-boyutlu bir vektörü ve parametrelerin bir pxq matrisidir. $W_j$ $a_j$ $B$

Model için kullanılan diğer varsayımların bir sonucu olarak, burada nin , = diag ( , hata terimlerinin varyans kovaryans matrisi olduğunu , ..., ). $W_j\sim N(\mu, BB'+D)$ $D$ $e_j$ $D$ $\sigma_1^2$ $\sigma_2^2$ $\sigma_p^2$

EM algoritmasının çalışması için, ve matrislerinin tahminini içeren kubbe yinelemeleri yapıyorum ve bu yinelemeler sırasında , ve yeni tahminlerini kullanarak her yinelemede nin tersini hesaplıyorum . Ne yazık ki, tekrarlamalar sırasında, pozitif tanımını kaybeder (ancak bir varyans-kovaryans matrisi olduğu için olmamalıdır) ve bu durum algoritmanın yakınsamasını bozar. Sorularım: $B$ $D$ $BB'+D$ $B$ $D$ $BB'+D$

Bu durum EM'nin her adımında olasılığın artması gerektiğinden algoritmamla ilgili bir sorun olduğunu gösteriyor mu?
Bir matrisi pozitif tanımlamak için pratik yollar nelerdir?

Düzenleme: Ben ters bir matris inversiyon lemma kullanarak ters hesaplıyorum:

(B B^{'} + D)^{- 1} = D^{- 1} - D^{- 1} B (I_{q} + B^{'} D^{- 1} B)^{- 1} B^{'} D^{- 1}

$(BB'+D)^{-1}=D^{-1}-D^{-1}B (I_q+B'D^{-1}B)^{-1} B'D^{-1}$

burada sağ taraf sadece matrisinin tersini içerir . $q\times q$

factor-analysis expectation-maximization

— Andy Amos
kaynak

nin pozitif kesinliğini nasıl "kaybettiğini" daha iyi anlamaya yardımcı olabilir . Bu, veya (veya her ikisinin) pozitif olmayan bir tanım haline geldiği anlamına gelir . Yani ne zaman yapmak zordur doğrudan hesaplanır ve hatta zor zaman onun diyagonal üzerinde kareli bir köşegen matris olarak hesaplanır!

B B^{'} + D

$BB'+D$

B B^{'}

$BB'$

D

$D$

B B^{'}

$BB'$

B

$B$

D

$D$

— whuber

@whuber Tipik olarak FA de , bu nedenle hiç bir zaman pozitif tanımlanmamıştır. Fakat (teorik olarak) , ' ' lerin sıfırdan büyük olduğu varsayılarak, olmalıdır .

q < p

$q<p$

B B^{'}

$BB'$

B B^{'} + D

$BB' + D$

σ_{j}^{2}

$\sigma^2_j$

— JMS

Bu, bu soru ile ilgili: stats.stackexchange.com/questions/6364/…

— Gilead

@JMS Teşekkürler. Yorumumun hala geçerli olduğunu düşünüyorum: belirsiz olabilir, ancak yine de negatif özdeğerleri olmamalıdır. de en küçüğü , tersine çevirme algoritmasındaki sayısal hata ile karşılaştırılabilir olduğunda ortaya çıkar . Bu durumda, bir çözüm SVD'yi ye uygulamak ve gerçekten küçük (veya negatif) özdeğerleri sıfırlamak, daha sonra yeniden hesaplamak ve eklemektir .

B B^{'}

$BB'$

σ_{i}^{2}

$\sigma_i^2$

B B^{'}

$BB'$

B B^{'}

$BB'$

D

$D$

— whuber

de küçük elementler olmalı ; , aksi takdirde

D

$D$

I_{q} + B^{'} D^{- 1} B

$I_q + B'D^{-1}B$

q < p

$q<p$

— JMS

Tamam, FA yaptığınız için tam sütun sıralamasında ve olduğunu varsayıyorum . Yine de birkaç ayrıntıya ihtiyacımız var. Bu sayısal bir sorun olabilir; verilerinizle ilgili bir sorun da olabilir. $B$ $q$ $q<p$

Tersi nasıl hesaplıyorsunuz? Tersine açıkça ihtiyacınız var mı, yoksa hesaplamayı doğrusal bir sisteme çözüm olarak yeniden ifade edebilir misiniz? (yani elde etmek için x için çözün , bu genellikle daha hızlı ve daha kararlıdır) $A^{-1}b$ $Ax=b$

ne oluyor ? Tahminler gerçekten küçük / 0 / negatif mi? Bir anlamda kritik bağlantı budur, çünkü elbette sıralamada yetersizdir ve eklemeden önce tek bir kovaryans matrisi tanımlar , böylece ters çeviremezsiniz. Pozitif diyagonal matris ekleme teknik olarak tam rütbe yapar ama eğer hala korkunç hasta şartına olabilir küçüktür. $D$ $BB'$ $D$ $D$ $BB'+D$ $D$

Çoğu zaman kendine özgü varyansların tahmini ( , nin köşegen elemanları ) sıfıra yakın hatta negatiftir; bunlara Heywood davaları denir. Bkz. Örneğin http://www.technion.ac.il/docs/sas/stat/chap26/sect21.htm (herhangi bir FA metni bunu da tartışmalıdır, bu çok eski ve iyi bilinen bir sorundur). Bu, model yanlış tanımlaması, aykırı değerler, kötü şans, güneş patlamaları nedeniyle olabilir ... MLE özellikle bu soruna eğilimlidir, bu nedenle EM algoritmanız MLE'ye bakmak için tasarlanmıştır. $\sigma^2_i$ $D$

EM algoritmanız bu tür tahminlerle bir moda yaklaşıyorsa, nin pozitif kesinliğini kaybetmesi mümkündür . Çeşitli çözümler var; Şahsen ben Bayesci bir yaklaşımı tercih ederim ama o zaman bile önceliklerinize dikkat etmelisiniz (uygun olmayan öncelikler veya 0'a yakın çok fazla kütleye sahip uygun öncelikler temelde aynı nedenden dolayı aynı soruna sahip olabilir) $BB'+D$

— JMS
kaynak

İkincisi, algoritmaların ana bölümünde, bir matrisi asla tersine çevirmek istemeyeceksiniz. Yine de standart tahminleri almak için en sonunda yapmanız gerekebilir. Bu blog yayınına bakın johndcook.com/blog/2010/01/19/dont-invert-that-matrix

— Samsdram

Yineleme sayısı arttıkça D matrisinin değerleri küçülür. Belki de belirttiğiniz gibi sorun budur.

— Andy Amos

@Andy Amos: Üzerine para yatırırdım. @Whuber noktaları gibi dışarı neredeyse imkansız

sen doğrudan bilgisayar eğer negatif özdeğerlere olurdu, ve (rank eksik olmaktan) sıfırlar ekleyerek halledilir edilmelidir

olumlu diyagonal beri - Bunlardan bazıları sürece elemanlar gerçekten küçük.

oldukça büyük ve

olduğu bir modelden bazı veriler oluşturmayı deneyin . Daha fazla veri daha iyi olur, böylece tahminler doğru ve kararlı olmalıdır. Bu en azından uygulamanızda bir sorun olup olmadığını söyleyecektir.

B B^{'}

$BB'$

D

$D$

σ_{i}^{2}

$\sigma_i^2$

\sum_{q} B_{i q}^{2} \approx σ_{i}^{2}

$\sum_q B_{iq}^2 \approx \sigma_i^2$

— JMS