Maksimum değişkenliği kullanarak çok değişkenli normal model takarken kovaryans matrisinin özellikleri nasıl sağlanır?

22

Diyelim ki aşağıdaki modelim var

y_{i} = f (x_{i}, θ) + ε_{i}

$y_i=f(x_i,\theta)+\varepsilon_i$

buradaki , , açıklayıcı değişkenlerin bir vektörüdür, , doğrusal olmayan fonksiyonunun ve nın parametreleridir , burada doğal olarak matrisi. $y_i\in \mathbb{R}^K$ $x_i$ $\theta$ $f$ $\varepsilon_i\sim N(0,\Sigma)$ $\Sigma$ $K\times K$

Amaç ve tahmin etmek her zamanki gibidir . Belirgin seçim maksimum olabilirlik yöntemidir. Bu model için log olabilirliği (bir örneğimiz olduğunu varsayarsak ) $\theta$ $\Sigma$ $(y_i,x_i),i=1,...,n$

l (θ, Σ) = - \frac{n}{2} \log (2 π) - \frac{n}{2} \log det Σ - \sum_{i = 1}^{n} (y_{i} - f (x_{i}, θ))^{'} Σ^{- 1} (y - f (x_{i}, θ)))

$l(\theta,\Sigma)=-\frac{n}{2}\log(2\pi)-\frac{n}{2} \log\det\Sigma-\sum_{i=1}^n(y_i-f(x_i,\theta))'\Sigma^{-1}(y-f(x_i,\theta)))$

Şimdi bu basit gibi görünüyor, log olasılığı olabilir, veri koyulur ve doğrusal olmayan optimizasyon için bazı algoritmalar kullanılır. Sorun, $\Sigma$ kesin olarak kesin olmasını sağlamaktır . Örneğin optimR'de (ya da diğer herhangi bir doğrusal olmayan optimizasyon algoritmasında) kullanmak, $\Sigma$ pozitif olarak kesin olduğunu garanti etmez .

Öyleyse soru $\Sigma$ pozitif olarak kesin kalmasını nasıl sağlayacağınız ? İki olası çözüm görüyorum:

Reparametrise $\Sigma$ olarak üst üçgen veya simetrik bir matristir. O zaman her zaman pozitif-kesin olacaktır ve kısıtlanamaz. $RR'$ $R$ $\Sigma$ $R$
Profil olasılığını kullanın. $\hat\theta(\Sigma)$ ve için formülleri türetin $\hat{\Sigma}(\theta)$ . Bazı ile başlayın $\theta_0$ ve yineleyin $\hat{\Sigma}_j=\hat\Sigma(\hat\theta_{j-1})$ , $\hat{\theta}_j=\hat\theta(\hat\Sigma_{j-1})$ yakınsamaya kadar.

Başka bir yolu var mı ve peki ya bu 2 yaklaşım, işe yarayacak mı, standart mı? Bu oldukça standart bir problem gibi görünüyor, ancak hızlı arama bana herhangi bir işaret vermedi. Bayesçi tahmininin de mümkün olacağını biliyorum, fakat şu an için bunun içinde yer almak istemem.

maximum-likelihood optimization covariance

— mpiktas
kaynak

Kalman algoritmasında da aynı sorunu yaşıyorum, ancak problem çok daha karmaşık ve Hamilton hilesini kullanmak kadar kolay değil. Acaba daha basit bir şeyin basitçe kullanıp kullanmayacağını merak ediyorum . Bu şekilde kodu bir hata vermemeye zorluyorum ve çözümü değiştirmedim. Bu aynı zamanda, bu terimi olasılığın son kısmıyla aynı işarete sahip olmaya zorlama yararına da sahiptir. Herhangi bir fikir?

\log (det Σ + 1)

$\log (\det \Sigma+1)$

— econ_pipo

6

Kovaryans matrisi oluşturulmasında, otomatik simetri sayısında dikkat çekici olduğunu varsayarsak, sizin log-olabilirlik olacak çünkü pozitif kesin değildir terimin model değil mi? Sayısal bir hatayı önlemek için, eğer ı ön hesaplama olur pozitif değilse ve daha sonra logaritmik değeri aksi devam -Inf eşit olun. Belirleyiciyi yine de hesaplamanız gerekir, bu nedenle bu size fazladan bir hesaplamaya mal olmaz. $-\infty$ $\Sigma$ $\log {\rm det} \ \Sigma$ ${\rm det} \ \Sigma < 0$ ${\rm det} \ \Sigma$

— Makro
kaynak

5

Sonuç olarak, gerekli özellikleri sağlamak için maksimum olasılık profilini kullanabilirsiniz. Sen Verilen için kanıtlayabilirim , maksimize edilir $\hat\theta$ $l(\hat\theta,\Sigma)$

\hat{Σ} = \frac{1}{n} \sum_{i = 1}^{n} {\hat{ε}}_{i} {\hat{ε}}_{i}^{'},

$\hat\Sigma=\frac{1}{n}\sum_{i=1}^n\hat{\varepsilon}_i\hat{\varepsilon}_i',$

nerede

{\hat{ε}}_{i} = y_{i} - f (x_{i}, \hat{θ})

$\hat{\varepsilon}_i=y_i-f(x_i,\hat\theta)$

O zaman bunu göstermek mümkün

\sum_{i = 1}^{n} (y_{i} - f (x_{i}, \hat{θ}))^{'} {\hat{Σ}}^{- 1} (y - f (x_{i}, \hat{θ}))) = c o n s t,

$\sum_{i=1}^n(y_i-f(x_i,\hat\theta))'\hat\Sigma^{-1}(y-f(x_i,\hat\theta)))=const,$

bu yüzden sadece maksimize etmemiz gerekiyor

l_{R} (θ, Σ) = - \frac{n}{2} \log det \hat{Σ} .

$l_R(\theta,\Sigma)=-\frac{n}{2} \log\det\hat\Sigma.$

Doğal olarak bu durumda gerekli tüm özellikleri yerine getirecektir. İspatlar lineer olduğu durum için aynıdır ve JD Series sayfa 295'teki Zaman Serisi Analizi'nde bulunabilir , bu yüzden onları ihmal ettim. $\Sigma$ $f$

— mpiktas
kaynak

3

Kovaryans matrisi için alternatif bir parametrelendirme, özdeğerleri ve "Givens" açılarında . $\lambda_1,...,\lambda_p$ $p(p-1)/2$ $\theta_ij$

Yani yazabiliriz

Σ = G^{T} Λ G

$\Sigma = G^T \Lambda G$

burada , ortonormal ve $G$

Λ = d i a g (λ_{1}, . . ., λ_{p})

$\Lambda = diag(\lambda_1, ..., \lambda_p)$

ile . $\lambda_1 \geq ... \geq \lambda_p \geq 0$

Bu arada, , açıları, , yani ve . [1] $G$ $p(p-1)/2$ $\theta_{ij}$ $i = 1,2,...,p-1$ $j = i, ..., p-1$

(eklenecek detaylar)

[1]: Hoffman, Raffenetti, Ruedenberg. "Euler Açılarının N ‐ Boyutlu Ortogonal Matrislere Genelleştirilmesi". J. Math. Phys. 13, 528 (1972)

— charles.y.zheng
kaynak

matrisi aslında ortogonaldir, çünkü simetrik bir matristir. Bu benim yaklaşım - Temelde vektörünü ve model işlevini döndürmekle tutar böylece hataların bağımsız olması için daha sonra döndürülen bileşenlerin her birine (sanırım) OLS uygulanır.

G

$G$

Σ

$\Sigma$

y_{i}

$y_i$

f (x_{i}, θ)

$f(x_i,\theta)$

— Olasılık

2

Charles.y.zheng çözümünü uygun bir bağlamda, modele isteyebilirsiniz , bir köşegen matristir ve için bir sıra güncellemenin Choleskey çarpanlara olan . Sadece o diyagonal tutmak için gereken tutmak için pozitifliği pozitif kesin. Olduğuna göre, diyagonal tahmin etmelidir ve unsurlarını yerine tahmin . $\Sigma = \Lambda + C C^{\top}$ $\Lambda$ $C$ $\Lambda$ $\Lambda$ $\Sigma$ $\Lambda$ $C$ $\Sigma$

— shabbychef
kaynak

Bu ayarlardaki diyagonal öğelerin altında, diyagonal pozitif olduğu sürece istediğim herhangi bir şey olabilir mi? Matrisleri bu şekilde numpy olarak simüle ederken hepsi pozitif olarak kesin değildir.

— sztal

Λ

$\Lambda$ köşegen bir matristir.

— shabbychef