Daniel Wilks (2011) neden temel bileşen gerilemesinin “önyargılı olacağını” söylüyor?

In Atmosferik Bilimlerde İstatistiksel Yöntemler öngörüleri arasında çok güçlü intercorrelations (3. Baskı, sayfa 559-560) varsa, Daniel Wilks notları çoklu lineer regresyon problemlerine yol açabilir:

Çoklu doğrusal regresyonda ortaya çıkabilecek bir patoloji, güçlü karşılıklı korelasyonlara sahip bir dizi öngörücü değişkenin, kararsız bir regresyon ilişkisinin hesaplanmasına neden olabilmesidir.

(...)

Daha sonra temel bileşen regresyonunu tanıttı:

Bu sorunun çözümüne yönelik bir yaklaşım, ilk olarak yordayıcıları, aralarındaki bağıntıların sıfır olduğu temel bileşenlerine dönüştürmektir.

Çok uzak çok iyi. Ama sonra, açıklamadığı (ya da en azından anlamam için yeterli detayda olmadığı) bazı açıklamalar yapıyor:

Tüm ana bileşenler bir ana bileşen regresyonunda tutulursa, tam öngörücü kümesine uyan geleneksel en küçük kareler üzerinde hiçbir şey kazanılmaz.

(..) ve:

Asıl bileşen regresyonunu orijinal öngörücüler açısından yeniden ifade etmek mümkündür, ancak sonuç genel olarak sadece bir veya birkaç ana bileşen öngörücüsü kullanılmış olsa bile tüm orijinal öngörücü değişkenleri içerecektir. Bu yeniden yapılandırılmış regresyon, genellikle varyans çok daha küçük olmasına rağmen, genel olarak daha küçük bir MSE ile sonuçlanacak şekilde önyargılı olacaktır.

Bu iki noktayı anlamıyorum.

Tabii ki, tüm temel bileşenler korunursa, öngörücüleri orijinal alanlarında kullandığımızla aynı bilgileri kullanırız. Bununla birlikte, karşılıklı korelasyon problemi ana bileşen alanında çalışılarak giderilir. Hâlâ fazla takılabiliriz, ama tek sorun bu mu? Neden hiçbir şey kazanılmıyor?

İkincisi, ana bileşenleri kessek bile (belki gürültü azaltma ve / veya aşırı takmayı önlemek için), bu neden ve nasıl yeniden yapılandırılmış bir yeniden gerilemeye yol açar? Ne şekilde önyargılı?

Kitap kaynağı: Daniel S. Wilks, Atmosfer Bilimlerinde İstatistiksel Yöntemler, Üçüncü Baskı, 2011. Uluslararası Jeofizik Serisi Cilt 100, Akademik Yayın.

regression pca bias

— gerrit
kaynak

(+1) İkinci alıntıda, "önyargılı olacak" mantıksal olarak izlenmez: "önyargılı olma olasılığı" gibi daha hafif bir ifade daha iyi olur. Bunun arkasındaki mantığın "PCR parametre parametreleri arasında doğrusal ilişkiler uyguladığı, bu tahminler OLS tahminlerinden farklı olma eğiliminde olacağından ve OLS tahminleri tarafsız olduğu için bu, PCR tahminlerinin önyargılı olacağı anlamına geldiğinden" bir çizgi olabileceğinden şüpheleniyorum. Sezgisel olarak iyi bir buluşsal yöntemdir, ancak tam olarak doğru değildir.

— whuber

(a) veri noktalarının seçilen sayıda PC'den daha düşük veya eşit boyutlu bir manifoldu işgal etmediği ve (b) veri noktalarının tam olarak korelasyona girmediği takdirde "PCR'nin taraflı olacağı" söylenebilir mi? veya nasıl?

— Soren Havelund Welling

Tüm bilgisayarlar kullanıldığında ne olur?

Tüm PC'ler kullanılırsa, sonuçta ortaya çıkan regresyon katsayıları OLS regresyonu ile elde edilenlerle aynı olacaktır ve bu nedenle bu prosedüre "ana bileşen regresyonu" denmemelidir. Standart bir regresyon, sadece dolambaçlı bir şekilde yapılır.

$Z$ $Z$ $X$ $X_i$

Böylece hiçbir şey kazanılmaz.

Yalnızca birkaç bilgisayar kullanıldığında ne olur?

$\hat \beta_\mathrm{PCR}$ $\hat \beta_\mathrm{OLS}$ $\hat \beta$

Bu önyargı-varyans değiş tokuşunun bir örneğidir . Bkz. Büzülme neden çalışır? bazı genel tartışmalar için.

$y$ $y$ $y$

Yüksek varyanslı PC'leri kullanmak neden iyi bir fikirdir?

Bu sorunun bir parçası değildi, ancak daha fazla okuma için aşağıdaki konuya ilgi duyabilirsiniz: Üst ana bileşenler bağımlı bir değişken üzerindeki tahmin gücünü nasıl koruyabilir (hatta daha iyi tahminlere yol açabilir)?

— amo diyor Reinstate Monica
kaynak

Son paragrafınızdaki yorumlar, koşullu dağılımını karıştırıyor gibi görünüyor

Y

$Y$ (regresörlerde) değerleri ile

Y

$Y$ veri kümesinde.

— whuber

@whuber, Gerçekten. Bu paragrafı yeniden yazdım, umarım şimdi daha mantıklıdır. Teşekkürler.

— amip: Reinstate Monica

Hmm, doğru. Yanlılık aslında bazı noktaların diğerlerinden daha eşit olduğu anlamına gelir, bu da gürültünün ve aykırı değerlerin etkisini azaltmak istiyorsak tam olarak istediğimiz şeydir (PCA'nın en iyi araç olup olmadığından henüz emin değilim).

— gerrit

@gerrit Yanlılık ağırlıklandırmaya benzermiş gibi yazıyorsunuz, ama bunlar ayrı şeyler. Bu bağlamdaki sapma, katsayı tahminlerinin beklenen değerleri ile gerçek değerleri arasındaki herhangi bir farkı ifade eder.

— whuber

Model yanıtların rastgele değişkenler olduğunu varsayar. Bu, tahmini katsayıları - herhangi bir prosedürü kullanarak - rastgele değişkenler yapar. Beklenen değerleri herhangi bir rastgele değişken için tanımlanmıştır. Tanım olarak, yanlılık , beklenen değer ile gerçek değer arasındaki farktır. OLS katsayısı tahminlerinin sıfır sapması vardır. Başka bir prosedürün sapması hala sıfır olabilir. Teklifin mantığı, OLS gibi doğrusal olan, ancak katsayılar arasındaki ilişkileri dayatan bir prosedürün mutlaka önyargılı olmasıdır. Bu sonuç birçok durumda geçerlidir, ancak hepsi için geçerli değildir.

— whuber