PCA'daki düşük varyans bileşenleri, gerçekten sadece gürültü mi? Bunu test etmenin bir yolu var mı?

Bir PCA bileşeninin korunup korunmayacağına karar vermeye çalışıyorum. Örneğin burada veya burada tarif edilen ve karşılaştırılan özdeğer büyüklüğüne dayanan bir milyarlarca kriter vardır .

Ancak benim başvurumda, küçük (est) öz değerin büyük (st) öz değere kıyasla küçük olacağını ve büyüklüğe dayalı kriterlerin hepsinin küçük (est) olanı reddedeceğini biliyorum. İstediğim bu değil. Ne ilgilendiğim: küçük özdeğer gerçek karşılık gelen bileşeni dikkate alır bilinen herhangi bir yöntem var, anlamda: gerçekten tüm ders kitaplarında ima gibi "sadece" gürültü veya potansiyel "bir şey" var mı faiz kaldı mı? Gerçekten gürültü ise, özdeğer büyüklüğünden bağımsız olarak çıkarın.

PCA'da bulamadığım bileşenler için bir tür yerleşik rastgelelik veya dağıtım testi var mı? Yoksa bunun aptalca bir fikir olması için bir neden biliyor mu?

Güncelleme

İki kullanım durumunda bileşenlerin histogramları (yeşil) ve normal yaklaşımları (mavi): bir kez muhtemelen gerçekten gürültü, bir kez muhtemelen "sadece" gürültü değil (evet, değerler küçüktür, ancak muhtemelen rastgele değildir). Her iki durumda da en büyük tekil değer ~ 160'tır, en küçük, yani bu tekil değer 0,0xx'dir - kesme yöntemlerinden herhangi biri için çok küçüktür.

Aradığım şey bunu resmileştirmenin bir yolu ...

Küçük bir ana bileşenin (PC) rasgeleliğini test etmenin bir yolu, onu gürültü yerine bir sinyal gibi işlemektir: yani, onunla ilgilenen başka bir değişkeni tahmin etmeye çalışın. Bu esasen ana bileşenler regresyonudur (PCR) .

$R^2$$MSE$

• PC'nin toplam 9, 1, 3, 4, 6, 7 ve 8'ini kullanan bir kimyasal mühendislik modeli ^{( Smith ve Campbell, 1980 )}
• 10 üzerinden 8, 2 ve 10 numaralı bilgisayarları (önem sırasına göre) kullanan bir muson modeli ^{( Kung & Sharif, 1980 )}
• PC'lerin ^6'sından 4 ve ^5'ini kullanan ekonomik bir model ^{(Hill, Fomby ve Johnson, 1977)}

Yukarıda listelenen örneklerde yer alan PC'ler, özdeğerlerinin sıralanan boyutlarına göre numaralandırılmıştır. Jolliffe (1982) , son bileşenin en çok katkıda bulunduğu bir bulut modelini tanımlamaktadır. Sonuç olarak:

Yukarıdaki örnekler, son birkaç temel bileşenin temel bileşen regresyonunda önemli olabilmesi için belirsiz veya tuhaf verilerin bulunmasının gerekli olmadığını göstermiştir. Daha ziyade, bu tür örneklerin pratikte oldukça yaygın olabileceği görülmektedir. Hill ve diğ. (1977), yalnızca fikir büyüklüğüne dayalı olarak seçim fikrini sonsuza dek gömmesi gereken temel bileşenleri seçmek için stratejiler hakkında kapsamlı ve faydalı bir tartışma sunar. Ne yazık ki bu gerçekleşmemiş gibi görünüyor ve fikir belki de 20 yıl öncesine göre daha yaygın.

$SS$

$(p-1)$$\text{Y}$

$\text{X}$

Bu cevabı, PCR'deki PC seçimi hakkındaki kendi yanılgılarımı bazı çok yararlı yorumlarla düzelten @Scortchi'ye borçluyum : " Jolliffe (2010) PC'leri seçmenin diğer yollarını gözden geçiriyor ." Bu referans daha fazla fikir aramak için iyi bir yer olabilir.

Referanslar

<sup>- Gunst, RF ve Mason, RL (1977). Regresyonda önyargılı tahmin: ortalama kare hatası kullanılarak yapılan bir değerlendirme. Amerikan İstatistik Derneği Dergisi, 72 (359), 616-628.
- Hadi, AS ve Ling, RF (1998). Temel bileşenler regresyonunun kullanımı hakkında bazı uyarıcı notlar. Amerikan İstatistikçi, 52 (1), 15–19. Http://www.uvm.edu/~rsingle/stat380/F04/possible/Hadi+Ling-AmStat-1998_PCRegression.pdf adresinden erişildi .
- Hawkins, DM (1973). Temel bileşen analizi ile alternatif regresyonların araştırılması. Uygulamalı İstatistik, 22 (3), 275-286.
- Hill, RC, Fomby, TB ve Johnson, SR (1977). Temel bileşen regresyonu için bileşen seçim normları.İstatistikte İletişim - Teori ve Yöntemler, 6 (4), 309-334.
- Hotelling, H. (1957). Daha yeni çok değişkenli istatistiksel yöntemlerin faktör analizi ile ilişkisi. İngiliz İstatistik Psikolojisi Dergisi, 10 (2), 69-79.
- Jackson, E. (1991). Birincil bileşenler için bir kullanım kılavuzu . New York: Wiley.
- Jolliffe, IT (1982). Regresyonda ana bileşenlerin kullanımı hakkında not. Uygulamalı İstatistik, 31 (3), 300-303. Http://automatica.dei.unipd.it/public/Schenato/PSC/2010_2011/gruppo4-Building_termo_identification/IdentificazioneTermodinamica20072008/Biblio/Articoli/PCR%20vecchio%2082.pdf adresinden erişildi .
- Jolliffe, BT (2010).Temel bileşenler analizi (2. baskı). Springer. - Mason, RL ve Gunst, RF (1985). Regresyonda temel bileşenlerin seçilmesi. İstatistik ve Olasılık Mektupları, 3 (6), 299-301.
- Kung, EC ve Sharif, TA (1980). Önceden üst hava koşulları ile Hint yaz musonunun başlangıcında regresyon tahmini. Uygulamalı Meteoroloji Dergisi, 19 (4), 370-380. Http://iri.columbia.edu/~ousmane/print/Onset/ErnestSharif80_JAS.pdf adresinden erişildi .
- Lott, WF (1973). En küçük kareler regresyonunda en uygun temel bileşen kısıtlamaları kümesi. İstatistikte İletişim - Teori ve Yöntemler, 2 (5), 449-464. - Massy, ​​WF (1965). Açımlayıcı istatistiksel araştırmalarda temel bileşenler regresyonu. Amerikan İstatistik Derneği Dergisi, 60 (309), 234-256. Alınan

adresinden .
- Smith, G. ve Campbell, F. (1980). Bazı sırt regresyon yöntemlerinin eleştirisi. Amerikan İstatistik Derneği Dergisi, 75 (369), 74–81. Https://cowles.econ.yale.edu/P/cp/p04b/p0496.pdf adresinden erişildi .</sup>

@Nick Stauner'in cevabına ek olarak, altuzay kümelenmesi ile uğraşırken PCA genellikle kötü bir çözümdür.

PCA kullanılırken, çoğunlukla verinin en fazla 'gerildiği' yönleri temsil eden, en yüksek özdeğerlere sahip özvektörlerle ilgilenilir. Verileriniz küçük alt alanlardan oluşuyorsa, PCA genel veri varyansına fazla katkıda bulunmadığı için bunları önemsenmeyecektir.

Bu nedenle, küçük özvektörler her zaman saf gürültü değildir.