En önemli ana bileşenler, bağımlı değişken üzerindeki tahmin gücünü nasıl koruyabilir (hatta daha iyi tahminlere yol açabilir)?

Diyelim ki bir regresyon . Neden üst seçerek ilkesi bileşenleri , model üzerindeki öngörü gücünü korumak mu ?$Y \sim X$$k$$X$$Y$

Ben boyutluluk-azaltma / görüş özellikli seçme noktasında, eğer gelen anlıyoruz kovaryans matrisinin öz vektörleri olduğundan üst ile özdeğerler, ardından üst olan ana bileşenler maksimum varyans ile. Böylece, özelliklerin sayısını azaltabilir ve tahmin ettiğim gibi tahmin gücünün çoğunu koruyabiliriz.$v_1, v_2, ... v_k$$X$$k$$Xv_1, Xv_2 ... Xv_k$$k$$k$

Peki, neden üst bileşenleri üzerindeki öngörülen gücünü koruyor ?$k$$Y$

Genel bir OLS , özelliği maksimum varyansa , üzerindeki en iyi tahmin gücüne sahip olduğunu önermek için hiçbir neden yoktur .$Y \sim Z$$Z_i$$Z_i$$Y$

Yorumları gördükten sonra güncelleme: Sanırım boyutsallığın azaltılması için PCA kullanmanın tonlarca örneğini gördüm. Bunun, geride bıraktığımız boyutların en tahmine dayalı güce sahip olduğu anlamına geldiğini farz ediyorum. Aksi taktirde boyutsallık azaltma noktası nedir?

Gerçekten de, en önemli ana bileşenlerin (PC'ler) düşük değişkenli olanlardan daha fazla tahmin edici güce sahip olmalarının garantisi yoktur.

Durumun olmadığı yerde gerçek dünyadan örnekler bulunabilir ve örneğin en küçük PC'nin ile hiçbir ilişkisi olmadığı yapay bir örnek oluşturmak kolaydır .$y$

Bu konu forumumuzda çokça tartışıldı ve net bir kanonik ipliğin (talihsiz) bir yokluğunda, sadece birlikte suni örnekler olarak çeşitli gerçek yaşam sağlayan birkaç bağlantı verebilirim:

• PCA'daki düşük değişkenlikli bileşenler gerçekten sadece ses mi? Bunu test etmek için herhangi bir yolu var mı?
• Varyansı düşük olan PC'lerin "kullanışlı" olduğu PCA örnekleri
• Daha eski bir PC olmadığında, daha sonraki bir ana bileşen bir regresyonda nasıl önemli bir belirleyici olabilir?
• Regresyon için değişkenleri seçmek için ana bileşenler analizi nasıl kullanılır?

Ve aynı konu, ancak sınıflandırma bağlamında:

• PCA'nın bir sınıflandırıcının sonuçlarını kötüleştirmesine ne sebep olabilir?
• İlk ana bileşen sınıfları ayırmaz, ancak diğer PC'ler yapar; bu nasıl mümkün olabilir?

Ancak uygulamada, üst PC'ler genellikle do genellikle tüm PC'leri kullanarak daha iyi tahmin gücünü verebilmesidir sadece üst PC'leri kullanarak, dahası daha öngörü düşük varyans olanlardan daha güç ve var.

$p$$n$$p \approx n$$p>n$

$y$$X$

Hakkında bazı tartışmalar için @cbeleites daha sonra cevap (1) Bkz neden bu varsayım genellikle garanti edilir (ve ayrıca bu yeni iplik: ? Boyut indirgeme sınıflandırma için hemen hemen her zaman yararlı mı bazı başka yorumlar için).

Hastie ve diğ. içinde İstatistiksel Öğrenme Elements (bölüm 3.4.1) mahya gerileme bağlamında bu konuda açıklama:

$\mathbf X$

Ayrıntılar için aşağıdaki konulardaki cevaplarıma bakınız:

• Regresyon amacıyla belirleyicilerin boyutsallığının azaltılmasının avantajı nedir?
• Sırt regresyonu ile PCA regresyonu arasındaki ilişki
• PCA ve LDA'yı birleştirmek mantıklı mı?

Alt çizgi

Yüksek boyutlu problemler için, PCA ile ön işleme (boyutsallığın azaltılması ve sadece üst PC'lerin tutulması anlamına gelir) bir düzenlileştirme yöntemi olarak görülebilir ve genellikle herhangi bir sonraki analizin sonuçlarını, bir regresyon veya sınıflandırma yöntemi olarak geliştirir. Ancak bunun işe yarayacağının garantisi yoktur ve çoğu zaman daha iyi düzenleme yaklaşımları vardır.

Zaten matematiksel özelliklere odaklanan cevaplara ek olarak, deneysel bir bakış açısıyla yorum yapmak istiyorum.

Özet: veri oluşturma süreçleri genellikle verileri temel bileşen (PCR) veya kısmi en küçük kareler (PLS) regresyonu için uygun kılacak şekilde optimize edilir.

Ben analitik kimyacıyım. Bir şeyi ölçmek (regresyon veya sınıflandırma) için bir deney / yöntem tasarlarken, eldeki göreve göre gürültü / gürültü oranına iyi bir sinyal taşıyan veriler elde etmek için uygulama ve mevcut araçlar hakkındaki bilgimi kullanırım. Bu, ürettiğim verilerin ilgilenilen özelliğe sahip büyük kovaryansa sahip olacak şekilde tasarlandığı anlamına geliyor.
Bu, ilginç varyansın büyük olduğu ve daha sonraki bilgisayarların yalnızca (küçük) gürültüyü taşıyacağı bir varyans yapısına yol açar.

Daha sağlam veya daha kesin sonuçlar elde etmek için eldeki görev hakkında gereksiz bilgiler veren yöntemleri de tercih ederim. PCA yedekli ölçüm kanallarını bir PC'de toplar, bu da daha sonra çok değişkenlik gösterir ve bu nedenle ilk bilgisayarlardan biridir.

İlgilenilen mülk ile ilişkili olmayan büyük varyansa neden olacak bilinen karmakarışıklıklar varsa, verilerin önişlemesi sırasında genellikle bunları mümkün olduğunca düzeltmeye çalışacağım: çoğu durumda bu karmakarışıklıklar bilinen bir konudur. fiziksel veya kimyasal nitelikte olup, bu bilgi karıştırıcıları düzeltmek için uygun yollar önerir. Örneğin, mikroskop altında Raman spektrumunu ölçtüm. Yoğunluğu, lazer ışığının yoğunluğuna ve ayrıca mikroskobu ne kadar iyi odaklayabileceğime bağlıdır. Her ikisi de, örneğin sabit olduğu bilinen bir sinyale normalleştirilerek düzeltilebilecek değişikliklere yol açar.
Bu nedenle, çözüme katkıda bulunmayan büyük varyans katkıda bulunanlar, veriler PCA'ya girmeden önce ortadan kaldırılmış ve ilk PC'lerde çoğunlukla anlamlı farklar bırakmıştır.

Son fakat en az değil, burada bir miktar kendi kendine yeten kehanet var: Açıkçası, varyans taşıyan bilginin büyük olduğu varsayımının anlamlı olduğu varsayımına göre veriler PCR ile yapıldı. Örneğin, nasıl düzelteceğimi bilmediğim önemli kargaşaların olabileceğini düşünürsem, derhal tahmin görevine yardımcı olmayan büyük katkıları görmezden gelmekte olan PLS'ye giderdim.

PCA bazen ortak değişkenlerin neden olduğu sorunları düzeltmek için kullanılır, böylece X uzayındaki değişimin çoğu K ana bileşenleri tarafından yakalanır.

Fakat bu matematik problemi elbette, hem X, hem de Y uzayındaki varyasyonların çoğunu, açıklanamayan varyasyonun mümkün olduğu kadar küçük olacağı şekilde yakalamakla aynı değildir.

Kısmi en küçük kareler, ikinci anlamda bunu yapmaya çalışır:

http://en.wikipedia.org/wiki/Partial_least_squares_regression

Diğerlerinin de belirttiği gibi, en iyi özvektörler ile öngörü gücü arasında doğrudan bir bağlantı yoktur. Üstü seçerek ve onları temel olarak kullanarak, bazı üst enerjileri (veya bu eksen boyunca değişen) koruyorsunuz.

En fazla varyansı açıklayan eksenin tahmin için gerçekten yararlı olduğu söylenebilir, ancak genel olarak durum böyle değil.

Bir basit açıklama sunmama izin verin.

PCA, bazı özellikleri sezgisel olarak kaldırmakla ilgilidir. Bu aşırı takılma şansını azaltır.