Kısmi en küçük kareler, azalan sıralama regresyonu ve temel bileşen regresyonu arasındaki bağlantı nedir?

Düşük kademeli regresyon ve temel bileşen regresyonu sadece kısmi en küçük karelerin özel durumları mıdır?

Bu öğretici (Sayfa 6, "Hedeflerin Karşılaştırılması"), X veya Y yansıtmadan kısmi en küçük kareler yaptığımızda (yani, "kısmi değil"), buna karşılık olarak azalan sıralama regresyonu veya temel bileşen regresyonu haline geldiğini belirtir.

Bu SAS dokümantasyon bölümünde , "Azaltılmış Sıralama Regresyonu" ve "Yöntemler Arasındaki İlişkiler" bölümlerinde de benzer bir açıklama yapılmıştır .

Daha temel bir takip sorusu , altta yatan benzer olasılık modellerine sahip olup olmadıklarıdır.

— Minkov
kaynak

Bu gerçekten önemli bir problem.

— Steve

@Steve. Teşekkürler. Daha ayrıntılı bir tanıtım için yukarıdaki yorumlarıma bakın.

— Minkov

Bunlar üç farklı yöntemdir ve hiçbiri bir diğerinin özel durumu olarak görülemez.

Biçimsel olarak, eğer ve ortalanır belirleyicisi ( ) ve cevap ( ) veri setleri ve eksenlerin birinci çifti için bir nokta ise için ve için daha sonra, bu yöntemler aşağıdaki miktarları en üst düzeye çıkarın: $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$ $\mathbf w \in \mathbb R^p$ $\mathbf X$ $\mathbf v \in \mathbb R^q$ $\mathbf Y$

\begin{aligned} P C A : & Var (X w) \\ R R R : & {Corr}^{2} (X w, Y v) \cdot Var (Y v) \\ P L S : & Var (X w) \cdot {Corr}^{2} (X w, Y v) \cdot Var (Y v) = {Cov}^{2} (X w, Y v) \\ C C A : & {Corr}^{2} (X w, Y v) \end{aligned}

$\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}) \\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}) \\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv})\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}) \end{align}$

(Bu listeye kanonik korelasyon analizi (CCA) ekledim.)

Bu karışıklığın SAS'ta olabileceğinden şüpheleniyorum çünkü SAS'ta her üç yöntem de PROC PLSfarklı parametrelerle aynı fonksiyon üzerinden uygulanıyor gibi görünüyor . Bu nedenle, her üç yöntemin de PLS'nin özel durumları olduğu anlaşılabilir, çünkü SAS işlevi bu şekilde adlandırılır. Ancak bu sadece talihsiz bir adlandırmadır. Gerçekte, PLS, RRR ve PCR, SAS'da bir nedenden ötürü adlandırılan bir işlevde uygulanan üç farklı yöntemdir PLS.

Bağlandığınız her iki öğretici de bu konuda çok açık. Çalışmadığını her üç yöntemin tanıtımı öğretici devletler hedeflerinin Sayfa 6 ve değil PLS demek Sorunuza iddia ne RRR veya PCR, aksine "olur". Benzer şekilde, SAS dokümantasyonunda formül ve sezgi veren üç yöntemin farklı olduğu açıklanmaktadır:

[P] rincipal bileşenler regresyonu olabildiğince fazla prediktör varyasyonunu açıklayan faktörleri seçer, düşük kademeli regresyon mümkün olduğunca çok tepki varyasyonunu açıklayan faktörleri seçer ve kısmi en küçük kareler iki hedefi dengeler, hem yanıtı hem de prediktör varyasyonunu açıklayan faktörleri arar .

SAS belgelerinde, üç yöntemin farklı çözümler verdiği güzel bir oyuncak örneğini gösteren bir rakam bile var. Bu oyuncak örnekte iki belirleyiciler vardır ve ve bir yanıt değişkeni . Yön en çok ile ilişkilidir maksimal varyans yönüne ortogonal olması umulur . Bu nedenle PC1, birinci RRR eksenine diktir ve PLS ekseni aradaki bir yerdedir. $x_1$ $x_2$ $y$ $X$ $y$ $X$

Biri, sırt azaltılmış dereceli regresyon veya RRRR elde ederek RRR kayıp fonksiyonuna bir sırt cezası ekleyebilir. Bu, regresyon eksenini, PLS'nin yaptığı gibi biraz PC1 yönüne doğru çekecektir. Bununla birlikte, RRRR'nin maliyet fonksiyonu bir PLS formunda yazılamaz, bu yüzden farklı kalırlar.

$y$

— amo diyor Reinstate Monica
kaynak

Sonunda tablo çok yararlı. Bu tabloya dayanarak, bisiklet ve tek tekerlekli bisikletlerin özel bir üç tekerlekli bisiklet vakası olduğunu düşünüyorsanız, PCA, RRR ve CCA'nın PLS'nin "özel durumları" olduğu düşünülebilir. Ben böyle düşünmeye meyilli değilim.

— EdM

@EdM, bence tüm bu yöntemlerin gerçekten bir adı olmayan bazı birleştirici yöntemlerin özel durumları olduğunu söyleyebiliriz (ama bir tane icat edebilir!). Ancak "PLS" adı zaten belirlenmiş bir anlama sahiptir ve bu anlam bu diğer tekniklerin hiçbirini içermez.

— amip diyor Reinstate Monica

Ve teşekkürler! Şimdi masayı cevabın başına taşımaya karar verdim :)

— amo diyor Reinstate Monica

X

$X$

Y

$Y$

V a r (X w)^{α} \cdot C o r r (X w, Y v)^{β} \cdot V a r (Y v)^{γ}

$\mathrm{Var}(Xw)^\alpha\cdot \mathrm{Corr}(Xw,Yv)^\beta\cdot \mathrm{Var}(Yv)^\gamma$

— amip diyor Reinstate Monica

@Moskowitz: Genel olarak, insanlar A yönteminin B yönteminin "özel durumu" olduğu hakkında konuştuğunda, B'nin daha genel ve A'nın bazı spesifik parametrelerle B'ye eşdeğer olduğu anlamına gelir. Onlar do değil bir veri kümesi üzerinde bazı özel şartlar altında B ile aynı sonuçları verir anlamına gelir. Bu yüzden sorunuza cevabım.

— amip diyor Reinstate Monica