Kısmi en küçük kareler (PLS) regresyonunun model varsayımları

PLS regresyonu (tekli ) varsayımları hakkında bilgi bulmaya çalışıyorum . Özellikle PLS'nin OLS regresyonu ile ilgili varsayımlarının karşılaştırılması ile ilgileniyorum. $y$

PLS konusunda çok sayıda literatür okudum / inceledim; Wold (Svante ve Herman), Abdi ve daha birçok makalenin makaleleri, ancak tatmin edici bir kaynak bulamadılar.

Wold ve diğ. (2001) PLS-regresyon: kemometrinin temel bir aracı PLS varsayımlarından bahsetmektedir, ancak sadece

1. X'lerin bağımsız olması gerekmez,
2. sistem, temeldeki birkaç gizli değişkenin bir fonksiyonudur,
3. sistem analitik süreç boyunca homojenlik göstermelidir ve
4. cinsinden ölçüm hatası kabul edilebilir. $X$

Gözlenen verilerin veya model artıklarının herhangi bir gereksiniminden söz edilmemektedir. Herkes bunlara hitap eden bir kaynak biliyor mu? Altta yatan matematiğin PCA'ya ( ve arasındaki kovaryansı en üst düzeye çıkarmak amacıyla) benzer olduğunu düşünmek , un çok değişkenli normalliği bir varsayım mıdır? Model artıklarının varyans homojenliği göstermesi gerekiyor mu?$y$$X$$(y, X)$

Ayrıca gözlemlerin bağımsız olması gerekmediğini bir yerde okuduğuma inanıyorum; tekrarlanan ölçüm çalışmaları açısından bunun anlamı nedir?

Standart OLS regresyonunun bazı varsayımlara sahip olduğunu söylediğimizde, OLS tahmincisinin örneğin en iyi doğrusal nötr tahminci olduğu gibi bazı istenen özellikleri türetmek için bu varsayımlara ihtiyaç duyulduğunu kastediyoruz - bakınız Gauss-Markov teoremi ve mükemmel bir cevap. by @mpiktas in Doğrusal regresyon için olağan varsayımların tam listesi nedir? Hiçbir varsayımlar basitçe geri kalışının amacıyla ihtiyaç vardır üzerinde . Varsayımlar sadece iyimserlik ifadeleri bağlamında ortaya çıkar.$y$$X$

Daha genel olarak, "varsayımlar" sadece teorik bir sonucun (teorem) sahip olabileceği bir şeydir.

Benzer şekilde PLS regresyonu için. Regress için PLS regresyon kullanmak her zaman mümkündür üzerinde . Peki PLS regresyonunun varsayımları nelerdir diye sorduğunuzda, düşündüğünüz iyimserlik ifadeleri nelerdir? Aslında, hiçbirinin farkında değilim. PLS regresyonu, bir büzülme düzenlemesinin bir biçimidir, bazı bağlam ve genel bakış için Kısmi en küçük kareler regresyonunun arkasındaki Teori'deki cevabım bölümüne bakın . Düzenli tahminciler önyargılıdır, dolayısıyla hiçbir varsayım örneğin tarafsızlığı kanıtlamaz.$y$$X$

Dahası, PLS regresyonunun gerçek sonucu, bir düzenleme parametresi olarak işlev gören modele kaç PLS bileşeninin dahil edildiğine bağlıdır. Varsayımlar hakkında konuşmak, yalnızca bu parametreyi seçme prosedürü tamamen belirtilmişse (ve genellikle belirtilmezse) mantıklıdır. Bu yüzden PLS için hiç bir iyimserlik sonucu olduğunu düşünmüyorum, bu da PLS regresyonunun varsayımları olmadığı anlamına geliyor . Aynı şeyin temel bileşen gerilemesi veya sırt gerilemesi gibi diğer cezalandırılmış regresyon yöntemleri için de geçerli olduğunu düşünüyorum.

Güncelleme: Bu argümanı sırt regresyonu varsayımları nelerdir ve bunları nasıl test edebilirim?

Tabii ki, yine de söz konusu olabilir başparmak kuralları PLS regresyon olduğunda söylemek olasıdır değilken yararlı olduğu ve. Lütfen bazı tartışmalar için yukarıdaki bağlantıma bakınız; PLSR'nin deneyimli uygulayıcıları (ben onlardan biri değilim) kesinlikle bundan daha fazlasını söyleyebilirdi.

Görünüşe göre, PLS değişkenlerinizin ortak dağılımı hakkında "sert" varsayımlar yapmaz. Bu, uygun test istatistiklerini seçmek için dikkatli olmanız gerektiği anlamına gelir (değişken dağılımlara bu bağımlılık eksikliğinin PLS'yi parametrik olmayan bir teknik olarak sınıflandırdığını varsayıyorum). Uygun istatistikler için bulduğum öneriler 1) bağımlı gizli değişkenler için r-kare kullanılması ve 2) tahminlerin kararlılığını değerlendirmek için yeniden örnekleme yöntemleridir.

OLS / MLS ve PLS arasındaki temel fark, birincisi, değişkenler arasındaki ilişkileri tahmin etmek için tipik olarak nüfus parametrelerinin maksimum olasılık tahminini kullanmasıdır; PLS ise gerçek popülasyon için değişken değerlerini, değişken grupları arasındaki ilişkileri tahmin etmek için tahmin eder (tahmin grupları / gizli değişkenli yanıt değişkenleri).

Ayrıca çoğaltılmış / tekrarlanan deneyleri, özellikle çok faktörlü olanları ele almakla ilgileniyorum, ancak PLS kullanarak buna nasıl yaklaşacağımdan emin değilim.

Kısmi En Küçük Kareler El Kitabı: Kavramlar, Yöntemler ve Uygulamalar (sayfa 659, bölüm 28.4)

Wold, H. 2006. Öngörücü Spesifikasyonu. İstatistik Bilimleri Ansiklopedisi. 9.

http://www.rug.nl/staff/tkdijkstra/latentvariablesandindices.pdf (sayfa 4 ve 5)

PLS'de normallik ve küçük örneklem büyüklüğünün etkisi ile ilgili bir simülasyon çalışması buldum; yazarlar şu sonuca varıyorlar: “Üç teknik de [PLS dahil] normallikten ılımlı ayrılmalara karşı eşit derecede sağlamdı ve aynı şekilde.”

Bununla birlikte, yeterlilik için: "Görünüşe göre, her üç teknik de küçük ila orta derecede çarpıklık veya basıklık (oldukça çarpıklık = 1.1 ve basıklık = 1.6). her üç teknik de n = 40 ve n = 90 için önemli ve istatistiksel olarak önemli bir güç kaybına maruz kalmaktadır (test ettiğimiz iki örnek boyutu) Örneğin n = 90 ve orta etki büyüklüğünde, regresyonun gücü normal verilerle% 76'dır aynı koşullar altında PLS'nin gücü% 75'ten% 48'e düşerken, LISREL% 79'dan% 50'ye düşüyor. "

(Şahsen, normalde iktidardaki oldukça dik düşüşlerle oldukça mütevazı kalkışları düşünürdüm.)

Atıf: Dale L. Goodhue, William Lewis ve Ron Thompson. PLS'nin Küçük Örnek Büyüklüğü veya Normal Olmayan Veriler için Avantajları Var mı? MIS Üç Aylık 2012; 36 (3): 891-1001.