PCA sonuçlarında örüntü olmadığını nasıl anlarım?

19 değişkenli 1000'den fazla örnek veri setim var. Amacım diğer 18 değişkene (ikili ve sürekli) dayalı bir ikili değişken tahmin etmektir. Tahmin değişkenlerinin 6'sının ikili yanıtla ilişkili olduğundan eminim, ancak veri kümesini daha fazla analiz etmek ve eksik olabileceğim diğer ilişkilendirmeleri veya yapıları aramak istiyorum. Bunu yapmak için PCA ve kümelemeyi kullanmaya karar verdim.

PCA'yı normalleştirilmiş veriler üzerinde çalıştırırken, varyansın% 85'ini korumak için 11 bileşenin saklanması gerektiği ortaya çıkıyor. Çift grafikleri çizerek şunu elde ederim:

Bundan sonra ne olacağından emin değilim ... PCA'da önemli bir örüntü görmüyorum ve bunun ne anlama geldiğini ve bazı değişkenlerin ikili olduğu gerçeğinden kaynaklanıp kaynaklanmadığını merak ediyorum. 6 kümeyle bir kümeleme algoritması çalıştırarak, bazı lekeler göze çarpıyor gibi görünse de (sarı olanlar) tam olarak bir gelişme olmayan aşağıdaki sonucu elde ediyorum.

Muhtemelen anlayabileceğiniz gibi, PCA konusunda uzman değilim, ancak bazı öğreticiler ve yüksek boyutlu alandaki yapılara bir göz atmanın nasıl güçlü olabileceğini gördüm. Ünlü MNIST rakamları (veya IRIS) veri seti ile harika çalışıyor. Sorum şu: PCA'dan daha anlamlı olmak için şimdi ne yapmalıyım? Kümeleme yararlı bir şey almıyor gibi görünüyor, PCA'da desen olmadığını nasıl anlayabilirim veya PCA verilerindeki desenleri bulmak için ne denemeliyim?

Varyans grafiğinin PCA'nın burada anlamsız olduğunu söylediğini açıkladınız. 11/18% 61'dir, bu nedenle varyansın% 85'ini açıklamak için değişkenlerinizin% 61'ine ihtiyacınız vardır. Bence PCA için durum böyle değil. PCA'yı 18'in 3-5 faktörü varyansın% 95'ini açıkladığında kullanıyorum.

GÜNCELLEME: PC sayısı ile açıklanan toplam varyans yüzdesi grafiğine bakın. Bu faiz oranı terimi yapı modelleme alanından gelmektedir. 3 bileşenin toplam varyansın% 99'undan fazlasını nasıl açıkladığını görebilirsiniz. Bu, PCA reklamcılığı için yapılmış bir örnek gibi görünebilir :) Ancak, bu gerçek bir şeydir. Faiz oranı tenörleri o kadar ilişkilidir ki, bu yüzden PCA bu uygulamada çok doğaldır. Birkaç düzinelerce tenor ile uğraşmak yerine, sadece 3 bileşenle uğraşıyorsunuz.

Eğer varsa $N>1000$ örnekler ve sadece $p=19$öngörücüler bir modelde tüm öngörücülerin kullanılması oldukça makul olacaktır. Bu durumda bir PCA adımı gereksiz olabilir.

Değişkenlerin sadece bir alt kümesinin gerçekten açıklayıcı olduğundan eminseniz, seyrek bir regresyon modeli, örneğin Elastik Ağ kullanmak bunu belirlemenize yardımcı olabilir.

Ayrıca, PCA sonuçlarının karışık tip girişler (ikili ve gerçek, farklı ölçekler vb., CV sorularına bakınız ) kullanılarak yorumlanması o kadar basit değildir ve bunu yapmak için açık bir neden olmadıkça bundan kaçınmak isteyebilirsiniz.

Sorunuzu olabildiğince kısa bir şekilde yorumlayacağım. Anlamını değiştirirse bana haber ver.

Tahmin değişkenlerinin 6'sının ikili yanıtla ilişkili olduğundan eminim [ama] pca'da anlamlı bir model görmüyorum

Ben de çift parsellerinizdeki tutarlılık dışında herhangi bir “önemli model” görmüyorum. Hepsi kabaca dairesel lekeler. Ne görmeyi beklediğini merak ediyorum. Açıkça ayrı nokta bazı parselleri kümeler? Doğrusalya çok yakın birkaç parsel?

PCA sonuçlarınız - blob benzeri çift grafikler ve ilk 11 ana bileşende yakalanan varyansın sadece% 85'i - yaklaşık 6 değişkenin ikili yanıt tahmini için yeterli olmasını engellemez.

Şu durumları hayal edin:

1. PCA sonuçlarınızın varyansın% 99'unun 6 ana bileşen tarafından yakalandığını gösterdiğini varsayalım.

   Bu, önsezinizi yaklaşık 6 tahmin değişkeni destekliyor gibi görünebilir - belki de bu 6 boyutlu alanda noktaları çok iyi sınıflandıran bir düzlem veya başka bir yüzey tanımlayabilir ve bu yüzeyi ikili bir tahminci olarak kullanabilirsiniz. Bu da beni 2 numaraya getiriyor ...

2. En iyi 6 ana bileşeninizde bunun gibi görünen çift grafikler olduğunu varsayalım

   

   Ama rastgele bir ikili yanıtı renk kodlayalım

   

   6 değişkendeki varyansın neredeyse tamamını (% 99) yakalamayı başarmış olsanız bile, ikili yanıtınızı tahmin etmek için uzamsal ayrımı olduğu garanti edilmez.

Aslında birkaç sayısal eşik değerine ihtiyacınız olabilir (bu 6 boyutlu uzayda yüzeyler olarak çizilebilir) ve bir noktanın ikili sınıflandırma üyeliğiniz, o noktanın bu eşiklerin her biriyle ilişkisinden yapılan karmaşık bir koşullu ifadeye bağlı olabilir. Ancak bu sadece bir ikili sınıfın nasıl tahmin edilebileceğinin bir örneğidir. Temsil, eğitim ve tahmin için bir ton veri yapısı ve yöntemi vardır. Bu bir iltifat. Alıntılamak,

Genellikle bir makine öğrenme problemini çözmenin en zor kısmı iş için doğru tahmin ediciyi bulmak olabilir.