AIC (veya BIC) kullanarak PCA modeli seçimi

12

Bir PCA'da çıkarılacak uygun sayıda faktörü seçmek için Akaike Bilgi Ölçütünü (AIC) kullanmak istiyorum. Tek sorun, parametre sayısını nasıl belirleyeceğimi bilmiyorum.

Bir matrisi düşünün , burada değişken sayısını ve gözlem sayısını temsil eder , öyle ki . Kovaryans matrisi simetrik olduğundan, maksimum olasılık tahmini AIC'deki parametre sayısını eşit olarak ayarlayabilir . $T\times N$ $X$ $N$ $T$ $X\sim \mathcal N\left(0,\Sigma\right)$ $\Sigma$ $\frac{N\left(N+1\right)}{2}$

Alternatif olarak, bir , ilk özvektörlerini ve özdeğerlerini çıkarabilir, ve ve burada ortalama kalan varyanstır. Benim hesabıma göre, varsa faktörleri, o zaman olur parametrelere , parametreler ve parametre . $f$ $\Sigma$ $\beta_{f}$ $\Lambda_{f}$

Σ = β_{f} Λ_{f} β_{f}^{'} + I σ_{r}^{2}

$\Sigma=\beta_{f}\Lambda_{f}\beta_{f}'+I\sigma_{r}^{2}$

σ_{r}^{2}

$\sigma_{r}^{2}$

f

$f$

f

$f$

Λ_{f}

$\Lambda_{f}$

N f

$Nf$

β_{f}

$\beta_{f}$

1

$1$

σ_{r}^{2}

$\sigma_{r}^{2}$

Bu yaklaşım doğru mu? Faktör sayısı yükseldikçe maksimum olabilirlik yaklaşımından daha fazla parametreye yol açacak gibi görünüyor . $N$

pca model-selection

— John
kaynak

1

N f

$N f$ parametreleri overcounts: fazlalık nedeniyle özvektörler karşılıklı dikey olmasından yoktur.

— whuber

10

İlk özvektörde serbest parametre vardır. Ortogonallik koşulu, ikinci özvektörü, yalnızca parametrelerine ihtiyaç duyan birincisine dik hiperuzay ile sınırlar . Her ardışık özvektör, öncekinden daha az bir parametreye ihtiyaç duyar. Sınırında özvektörler sen atma (şimdi sıfır olduğu için), veren = parametreleri toto, ilk parametre anlaşarak Miktar.

N

$N$

N - 1

$N-1$

N

$N$

σ_{r}^{2}

$\sigma_r^2$

N + (N - 1) + \dots + 1

$N+(N-1)+\cdots+1$

N (N + 1) / 2

$N(N+1)/2$

— whuber

1

A.Donda @ durum belirsizdir: Diyelim ki de göstermiştir varsayalım çokluğu her özdeğerinin ve bu çokluklar olduklarını hiç toplanmasıyla PCA bir ortogonal dönüşüm bulduğu izin vermek, biz olurdu parametrelerini belirlemek için. Fakat her bir stabilizatörleri boyutlarında dik gruplardırHer biri parametrelerini ortadan parametrelerini rotasyon için . özdeğerler kalan parametreleri tedarik ediyoruz.

n_{1}, n_{2}, \dots, n_{s},

$n_1, n_2, \ldots, n_s,$

N .

$N.$

N (N - 1) / 2

$N(N-1)/2$

n_{i} .

$n_i.$

n_{i} (n_{i} - 1) / 2

$n_i(n_i-1)/2$

N (N - 1) / 2 - \sum_{i = 1}^{s} n_{i} (n_{i} - 1) / 2

$N(N-1)/2 - \sum_{i=1}^s n_i(n_i-1)/2$

s

$s$

— whuber

1

(Bu sayımın soruya uygulanmasının şüpheli olduğunu eklemeliyim: PCA , daha yüksek çokluğun bazı özdeğerlerini bulsa bile , tüm parametrelerini kullanır . Ve neredeyse tüm gerçek veri kümelerinde, o daha çokluğu büyüktür elde asla zaten).

N (N - 1) / 2

$N(N-1)/2$

1

$1$

— whuber

1

@whuber, teşekkürler! Sorum, özdeğerler üzerindeki bir kısıtlama altında bir kovaryans matrisi tahmin ettiğim bir durumdan motive oluyor.

— A. Donda

5

Minka'nın ( PCA için otomatik boyutsallık seçimi , 2000) ve Tipping & Bishop'un ( Olasılıksal Temel Bileşen Analizi ) olasılıklı bir PCA görüşü ile ilgili çalışmaları size ilgilendiğiniz çerçeveyi sağlayabilir. Minka'nın çalışması, log- olabilirlik burada , bir Laplace yaklaşımı kullanarak veri kümenizin gizli boyutudur ; açıkça belirtildiği gibi: " Laplace yönteminin basitleştirilmesi BIC yaklaşımıdır. " $\mathrm{log}\: p(D|k)$ $k$ $D$

Bu açıkça, AIC tarafından kullanılan bilgi teorisi kriterlerine (KL-diverjans) dayanmayan probleminizin Bayes bakış açısını gerektirir.

Orijinal "parametrelerin 'sayısı" sorusu ile ilgili olarak ben de @ whuber'ın yorumunun doğru sezgiyi taşıdığını düşünüyorum.

— usεr11852
kaynak

AICc ile AICc arasında değişen boyutlardaki rastgele matrislerde oynuyordum. AICc daha iyi çalışıyor gibi görünüyordu. Bu referanslar iyi görünüyor, ama henüz sindirim şansım olmadı.

— John

6

PCA'da "uygun" sayıda bileşenin seçilmesi Horn'un Paralel Analizi (PA) ile zarif bir şekilde yapılabilir. Makaleler bu kriterin dirsek kriteri veya Kaiser kuralı gibi temel kurallardan daha iyi performans gösterdiğini göstermektedir. R paketi "paran" sadece birkaç fare tıklaması gerektiren bir PA uygulamasına sahiptir.

Tabii ki, kaç bileşen tuttuğunuz veri azaltma hedeflerine bağlıdır. Sadece "anlamlı" olan varyansı korumak isterseniz, PA optimal bir azalma sağlayacaktır. Bununla birlikte, orijinal verilerin bilgi kaybını en aza indirmek isterseniz,% 95 açıklanan varyansı kapsayacak kadar bileşen tutmalısınız. Bu açık bir şekilde PA'dan çok daha fazla bileşen tutacaktır, ancak yüksek boyutlu veri kümeleri için boyutsallık azalması hala önemli olacaktır.

"Model seçimi" problemi olarak PCA hakkında son bir not. Peter'ın cevabına tam olarak katılmıyorum. PCA'yı, Seyrek PCA, Seyrek Olasılıksal PCA veya ScotLASS gibi regresyon tipi bir sorun olarak yeniden formüle eden bir dizi makale bulunmaktadır. Bu "model tabanlı" PCA çözümlerinde, yüklemeler uygun ceza terimleriyle 0'a ayarlanabilen parametrelerdir. Muhtemelen, bu bağlamda, söz konusu model için AIC veya BIC tipi istatistiklerin hesaplanması da mümkün olacaktır.

Bu yaklaşım teorik olarak, örneğin, iki PC'nin sınırsız olduğu (tüm yüklemelerin sıfırdan farklı olduğu) bir modeli içerebilir, PC1'in sınırsız olduğu ve PC2'nin tüm yüklerinin 0'a ayarlandığı bir model olabilir. her şey hesaba katılırsa.

Kaynaklar (PA) :

Dinno, A. (2012). paran: Horn'un Temel Bileşenleri / Faktörleri Testi. R paket sürümü 1.5.1. http://CRAN.R-project.org/package=paran
Horn JL 1965. Faktör analizindeki faktör sayısı için bir gerekçe ve bir test. Psikometrik . 30: 179-185
Hubbard, R. ve Allen SJ (1987). Temel bileşen ekstraksiyonu için alternatif yöntemlerin ampirik olarak karşılaştırılması. İşletme Araştırmaları Dergisi, 15 , 173-190.
Zwick, WR ve Velicer, WF 1986. Tutulacak Bileşen Sayısını Belirlemeye Yönelik Beş Kuralın Karşılaştırılması. Psikolojik Bülten. 99 : 432–442

— Ben M.
kaynak

Siteye hoş geldiniz, @BenM. Cevabınızdan, etrafınızda olmanın iyi olacağını düşünüyorum (iddialarınızı değerlendirmek için temel bilgilerin ötesinde PCA hakkında yeterince bilgim olmamasına rağmen). Bir soru, bu pozisyonların iyi oluşturulduğunu not edin, ilgilenen okuyucunun daha fazla ayrıntı bulabileceği birkaç temsili yayın listeleyebilir misiniz?

— gung - Monica'yı eski durumuna getirin

-1

AIC model seçimi için tasarlanmıştır. Bu gerçekten bir model seçim sorunu değildir ve belki de farklı bir yaklaşım benimsemeniz daha iyi olur. Alternatif olarak, açıklanan belirli bir toplam varyans yüzdesini (örneğin,% 75 gibi) belirtmek ve bu oran% 75'e ulaştığında durmak olabilir.

— Michael R. Chernick
kaynak

1

Faktör sayısına göre farklı modeller arasında seçim yapıyorum (1 faktörlü model, 2 modelli vb.). Varyans yüzdesi ile ilgili problem, özellikle gözlem sayısı değişken sayısından az olduğunda, ek özvektörleri tahmin etme maliyetini göz ardı etmesidir. AIC olasılıkla PCA yaklaşımına iyi uyum sağlar.

— John

3

Michael, bunun neden bir model seçim sorunu olmadığını açıklayabilir misiniz ? Görünüşe göre John bunu açıkça bir formüle etti.

— whuber

@whuber İstatistiksel model nedir? Bana öyle geliyor ki, bir Y değişkenindeki varyansın% x'ini temsil etmek için kullanılan ana bileşen sayısının belirlenmesi bir model seçmiyor. Temel bileşenleri model parametreleri olarak da düşünmezdim.

— Michael R. Chernick

2

X_{i}

$X_i$

N (0, Σ)

$N(0,\Sigma)$

Σ

$\Sigma$

σ_{i}^{2}

$\sigma_i^2$

ρ

$\rho$

| ρ | = 1

$|\rho|=1$

θ

$\theta$

λ_{1} \geq λ_{2}

$\lambda_1\ge\lambda_2$

λ_{2} = 0

$\lambda_2=0$ . Her iki perspektif de mükemmel korelasyon (eşdoğrusallık) için test eder; sadece farklı parametreler kullanırlar. Bir model olarak ilk izin verirseniz, gereken ikinci tanır.

— whuber

-3

AIC burada uygun değil. Değişken sayıda parametreye sahip modeller arasında seçim yapmıyorsunuz - ana bileşen bir parametre değil.

Bir faktör analizinden veya temel bileşen analizinden (scree testi, özdeğer> 1, vb.) Faktörlerin veya bileşenlerin sayısına karar vermek için bir dizi yöntem vardır. Ancak gerçek test önemlidir: Hangi sayıda faktör mantıklıdır ? Faktörlere bakın, ağırlıkları düşünün, verilerinize en uygun olanı bulun.

İstatistiklerdeki diğer şeyler gibi, bu da otomatikleştirilebilecek bir şey değildir.

— Peter Flom - Monica'yı eski durumuna döndürün
kaynak

4

Σ

$\Sigma$

Σ

$\Sigma$

1

@whuber Kovaryans matrisinin parametresi belki de bir model parametresi değildir. Bu konuda Peter ile yan yana geldim.

— Michael R.Chernick

3

Peter, "model parametresi" ile "parametre" arasında tam olarak hangi ayrımı yapıyorsun? Böyle bir şeyin farkında değilim ve bu yüzden bu konuda öğrenmeyi takdir ediyorum. Amacınız çok değişkenli kovaryansların cimri bir tanımını bulmaksa, "model" parametreleri oluşturmuyorlar mı?

— whuber

3

n

$n$

m ≪ n

$m\ll n$

1

Bilgi için teşekkürler. Zaman serileri hakkında çok az şey bildiğim bir istatistik alanı.

— Peter Flom - Monica'yı eski durumuna döndürün