Tam sütun sıralamasının altında

Bu soru, doğrusal modelin belirli bir versiyonunda kısıtlı maksimum olabilirlik (REML) tahmini ile ilgilidir:

Y = X (α) β + ϵ, ϵ \sim N_{n} (0, Σ (α)),

$Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)),$

burada $X(\alpha)$ bir ( $n \times p$ ) ile parametrize matris $\alpha \in \mathbb R^k$ , olduğu gibi $\Sigma(\alpha)$ . $\beta$ rahatsız edici parametrelerin bilinmeyen bir vektörüdür; ilgi tahmin etmektir $\alpha$ ve sahibiz $k\leq p\ll n$ . Modeli maksimum olasılıkla tahmin etmek sorun değil, ama REML kullanmak istiyorum. Örneğin LaMotte , olasılığının $A'Y$ olduğu, burada $A$ herhangi bir yarı-ortogonal matris olduğu iyi bilinmektedir . $A'X=0$ yazılabilir

L_{REML} (α ∣ Y) \propto | X^{'} X |^{1 / 2} | Σ |^{- 1 / 2} | X^{'} Σ^{- 1} X |^{- 1 / 2} \exp {- \frac{1}{2} r^{'} Σ^{- 1} r}, r = (I - X (X^{'} Σ^{- 1} X)^{+} X^{'} Σ^{- 1}) Y,

$L_{\text{REML}}(\alpha\mid Y) \propto\vert X'X\vert^{1/2} \vert \Sigma\vert^{-1/2}\vert X'\Sigma^{-1}X\vert^{-1/2}\exp\left\{-\frac{1}{2} r'\Sigma^{-1}r \right\}, \\ r = (I - X(X'\Sigma^{-1}X)^+X'\Sigma^{-1})Y,$

zaman $X$ tam sütun sıralamasıdır .

Benim sorunum, bazı mükemmel makul ve bilimsel olarak ilginç olan $\alpha$ matrisinin $X(\alpha)$ tam sütun sıralamasında olmamasıdır. Ben markaların yukarıda kısıtlı olasılığının gördük tüm türevleri geçerli değildir belirleyici eşitlik sistemlerin kullandığınızda $\vert X'X\vert=0$ , yani tam sütun sırasını varsayarlar $X$ . Bu, yukarıdaki kısıtlı olasılığın sadece parametre alanının bazı bölümlerindeki ayarım için doğru olduğu ve dolayısıyla optimize etmek istediğim şey olmadığı anlamına gelir.

Soru: tam sütun sıralaması olduğu varsayımı olmaksızın, istatistiksel literatürde veya başka bir yerde türetilmiş daha genel sınırlı olasılıklar var mı? Eğer öyleyse, neye benziyorlar? $X$

Bazı gözlemler:

Üstel parçanın türetilmesi herhangi bir için sorun değildir ve yukarıdaki gibi Moore-Penrose tersine yazılabilir $X(\alpha)$
sütunları için (herhangi) ortonormal bir temeldir $A$ $C(X)^\bot$
Bilinen için olasılığı her için kolayca yazılabilir , ancak elbette temel vektörlerin, yani sütunların sayısı, sütun sırasına bağlıdır. $A$ $A'Y$ $\alpha$ $A$ $X$

Bu soruya ilgilenen herkes kesin ölçülebilirliği inanıyorsa yardımcı olacağını, bana bildirin ve ben onları yazacağım. Bu noktada, çoğunlukla doğru boyutlarda bir genel için bir REML ile ilgileniyorum . $X,\Sigma$ $X$

Modelin daha ayrıntılı bir açıklaması burada. Let bir olmak boyutlu birinci dereceden Vektör Otoregresyon [var (1)] burada . İşlemin, zamanında sabit bir değerinde başlatıldığını varsayın . $y_t = \mu + Ay_{t - 1} + v_t, t = 1, \dots, T$ $r$ $v_t \overset{iid}{\sim}N(0, \Omega)$ $y_0$ $t = 0$

tanımlayın . Model , aşağıdaki tanımlar ve gösterimler kullanılarak doğrusal model biçiminde yazılabilir: $Y = [y_1', \dots, y_T']'$ $Y = X\beta + \varepsilon$

\begin{aligned} X & = [1_{T} \otimes I_{r}, C^{- 1} B] \\ β & = [μ^{'}, y_{0}^{'} - μ^{'}]^{'} \\ v a r (ε)^{- 1} & = C^{'} (I_{T} \otimes Ω^{- 1}) C \\ C & = [\begin{matrix} I_{r} & 0 & 0 & \dots \\ - A & I_{r} & 0 & \dots \\ 0 & - A & I_{r} & \dots \\ ⋮ & ⋮ & ⋮ & ⋱ \end{matrix}] \\ B & = e_{1, T} \otimes A, \end{aligned}

$\begin{align} X &= [1_T \otimes I_r, C^{-1}B] \\ \beta &= [\mu', y_0' - \mu']' \\ \mathrm{var}(\varepsilon)^{-1} &= C'(I_T \otimes \Omega^{-1})C \\ C &= \begin{bmatrix} I_r & 0 & 0 & \cdots \\ -A & I_r & 0 & \cdots \\ 0 & -A & I_r & \cdots \\ \vdots & \vdots & \vdots & \ddots \end{bmatrix} \\ B &= e_{1, T} \otimes A, \end{align}$

burada bir belirtmektedir olanlar ve boyutsal vektör ilk standart baz vektörü . $1_T$ $T-$ $e_{1,T}$ $\mathbb R^T$

yı belirtin . tam sıralama değilse , tam sütun sırası değildir. Bu, örneğin, bileşenlerinden birinin geçmişe bağlı olmadığı durumları içerir . $\alpha = \mathrm{vec}(A)$ $A$ $X(\alpha)$ $y_t$

RARS kullanarak VAR'ları tahmin etme fikri, örneğin, öngörücü regresyon literatüründe iyi bilinmektedir (bakınız, örneğin, Phillips ve Chen ve buradaki referanslar.)

matrisinin olağan anlamda bir tasarım matrisi olmadığını, sadece modelden düştüğünü ve hakkında önceden bilgi sahibi olmadıkça , anlayabildiğim kadarıyla, yeniden parametrelendirmenin bir yolu olmadığını açıklığa kavuşturmak faydalı olabilir. tam rütbe olarak. $X$ $A$

Math.stackexchange üzerinde , matematik sorusuna verilen bir cevabın bu soruyu cevaplayabilecek bir olasılık elde etmede yardımcı olabileceği anlamında biriyle ilgili bir soru yayınladım .

— Ekvall
kaynak

Belki soruyu ele almanın bir yolu, model matrisi tam sütun sıralaması olmadığında doğrusal karışık modellerde ne olacağını sormaktır.

— Greenparker

@Greenparker ödülü için teşekkürler. Ve evet, doğrusal bir karma model için sınırlı bir olasılık yazılabilirse, tam sütun sıralamasından daha az sabit efekt tasarım matrisi ile bu yardımcı olacaktır.

— ekvall

Üstel parçanın türetilmesi herhangi bir X (α) X (α) için sorun değildir ve yukarıdaki gibi ters-Moore-Penrose açısından yazılabilir

Bu gözlemin doğru olduğundan şüpheliyim. Genelleştirilmiş ters, aslında tahmin edicilerinize [Rao & Mitra] ek doğrusal kısıtlama koydu, bu nedenle "Moore-Penrose tersi üstel kısım için işe yarayacak" tahmin etmek yerine ortak olasılığı bir bütün olarak düşünmeliyiz. Bu resmi olarak doğru görünüyor, ancak muhtemelen karışık modeli doğru anlayamıyorsunuz.

1 (1) Karışık efekt modelleri nasıl doğru ? $\blacksquare$

G-invers (OR özel bir refleksif g-invers [Rao & Mitra]) tersi olan RM-(Kısıtlı) formülüne mekanik olarak takmaya çalışmadan önce karışık efekt modelini farklı bir şekilde düşünmelisiniz. Maksimum Olabilirlik Tahmincisi, aşağıda aynı.).

X = (\begin{array}{cc} f i x e d e f f e c t \\ r a n d o m e f f e c t \end{array})

$\boldsymbol{X}=\left(\begin{array}{cc} fixed\quad effect\\ & random\quad effect \end{array}\right)$

Karışık etkiyi düşünmenin yaygın bir yolu, tasarım matrisindeki rasgele etki bölümünün, tahmin yerine daha fazla tahmin umursadığımız başka bir "stokastik öngörücü" adı taşıyan ölçüm hatasıyla ortaya çıkmasıdır. Bu aynı zamanda istatistiklerin belirlenmesinde stokastik matris çalışmasının tarihsel bir motivasyonudur.

Benim sorunum, bazı mükemmel makul ve bilimsel olarak ilginç olan αa matrisi X (α) X (α) tam sütun sıralamasında değil.

$X(\alpha)$ $X(\alpha)$ $\left(\begin{array}{ccc} \alpha & \alpha\\ \alpha & \alpha\\ & & random\quad effect \end{array}\right)$

$X_\epsilon(\alpha)=X(\alpha)+\epsilon\left(\begin{array}{cc} I & 0\\ 0 & 0 \end{array}\right)$ $X$ $\epsilon\rightarrow 0$ $lim_{\epsilon\rightarrow 0}|X_\epsilon|=|lim_{\epsilon\rightarrow 0}X_\epsilon|$ $X_\epsilon$ $I+X$

$\blacksquare$

Gördüğünüz gibi, modeldeki rastgele efekt kısmı ile başa çıkmak için, bunu bir tür "sıkıntı parametresi" olarak kabul etmeliyiz. Sorun şu ki: RMLE bir sıkıntı parametresini ortadan kaldırmanın en uygun yolu mu? GLM ve karma efektli modellerde bile, RMLE tek seçenek olmaktan uzaktır. [Basu], tahmin ortamındaki parametreleri ortadan kaldırmanın diğer birçok yoluna dikkat çekti. Bugün insanlar RMLE ve Bayesian modelleme arasında seçim yapma eğilimindedir, çünkü sırasıyla iki popüler bilgisayar tabanlı çözüme karşılık gelirler: sırasıyla EM ve MCMC.

Benim düşünceme göre, sabit etki bölümünde kusurlu rütbe durumunda bir önceliğin sunulması kesinlikle daha uygundur. Veya modelinizi tam rütbeli bir hale getirmek için yeniden parametrelendirebilirsiniz.

$\hat{\beta}=(X\Sigma^{-1} X')^{-1}\Sigma^{-1}y$ $\Sigma$ $X(\alpha)$

$\blacksquare$

Sorun, matrisin sabit efekt kısmının tam sırada olmaması durumunda RMLE'yi nasıl çalıştıracağınız değil; sorun, bu durumda, tam dereceli olmayan bir durumun olumlu olasılığı varsa modelinizin kendisinin sorunlu olabilmesidir.

Karşılaştığım ilgili bir durum, mekansal durumda insanların hesaplama etkisi nedeniyle sabit etki bölümünün derecesini azaltmak isteyebileceğidir [Wikle].

Böyle bir durumda "bilimsel olarak ilginç" bir durum görmedim. Daha fazla bilmek ve tartışmak istiyorum, teşekkürler.

$\blacksquare$

[Rao & Mitra] Rao, Calyampudi Radhakrishna ve Sujit Kumar Mitra. Matrislerin genelleştirilmiş tersi ve uygulamaları. Vol. 7. New York: Wiley, 1971.

[Basu] Basu, Debabrata. "Rahatsızlık parametrelerinin ortadan kaldırılması hakkında." Amerikan İstatistik Kurumu Dergisi 72.358 (1977): 355-366.

[Horn & Johnson] Horn, Roger A. ve Charles R. Johnson. Matris analizi. Cambridge Üniversitesi Yayınları, 2012.

[Wikle] Wikle, Christopher K. "Mekansal süreçler için düşük seviyeli temsiller." Mekansal İstatistik El Kitabı (2010): 107-118.

— Henry.L
kaynak

X

$X$

α

$\alpha$

@ Student001 Evet, karışık model yerine bir GLM gibi daha fazla hissettiğim için herhangi bir açıklama yapmaktan çekinmeyin. Yapabilirsem tekrar cevap vermeye çalışacağım :)

— Henry.L

@ Student001 Yapabiliyorsanız, tüm modeli yazın ve sanırım uzamsal ortamda AR (1) gibi bir durum üzerinde çalışmak istiyorum.

— Henry.L

X (α)

$X(\alpha)$

@ MarkL.Stone Satırları dikkatlice okursanız, düzensizliği zaten bir çözüm olarak sağladım, bu da sayısal tekillik için standart bir çözümdür. Ve OP açıklamayı güncelleyeceğini söyledi, bu yüzden doğru şekilde formüle edilmiş sorun hakkında bazı vicdanlara ulaşacağımızı tahmin ediyorum.

— Henry.L