Kısmi en küçük kareler yönteminde “kısmi” nedir?

Kısmi en küçük kareler regresyonunda (PLSR) veya kısmi en küçük kareler yapısal eşitlik modellemesinde (PLS-SEM) "kısmi" terimi ne anlama gelir?

Bu soruyu, büyük ölçüde tarihsel perspektife dayanarak , oldukça ilginç olan cevaplamak istiyorum . İcat Herman Wold, kısmi en küçük kareler (PLS) yaklaşımı, terim kullanarak başlamamış PLS (hatta terimini söz kısmi ) hemen. Sırasında başlangıç döneminde (1966-1969), o da, bu yaklaşımın ifade Niles - terim ve ilk kâğıt başlığının kısaltması, bu konu üzerinde doğrusal olmayan Tahmin Yinelemeli En Küçük Kareler Prosedürlerini 1966'da yayınlanan.

Gördüğümüz gibi, daha sonra kısmi olarak adlandırılacak olan prosedürler, ağırlıkları ve gizli değişkenleri (LV) tahmin etme prosedürünün yinelemeli niteliğine odaklanarak yinelemeli olarak ifade edilmiştir . "En küçük kareler" terimi , bir modelin diğer bilinmeyen parametrelerini tahmin etmek için normal en küçük kareler (OLS) regresyonunu kullanmaktan gelir (Wold, 1980). "Kısmi" teriminin kökleri NILES prosedürlerinde, "bir modelin parametrelerini alt kümelere ayırma fikrini uygular ve böylece parçalarda tahmin edilebilirler" gibi görünüyor (Sanchez, 2013, s. 216; vurgu mayını) .

PLS teriminin ilk kullanımı, PLS tarihinin gelecek dönemini - NIPALS modelleme dönemi - yayınlayan doğrusal olmayan yinelemeli kısmi en küçük kareler (NIPALS) tahmin prosedürleri belgesinde ortaya çıkmıştır . 1970'ler ve 1980'ler , Karl Joreskog'un SEM'e LISREL yaklaşımından etkilenen yumuşak modelleme dönemi haline geldi , Wold NIPALS yaklaşımını temel olarak modern PLS yaklaşımının çekirdeğini oluşturan yumuşak modele dönüştürdü (PLS terimi 1970'lerin sonunda ana akım haline geldi) ). 1990'larda, Sanchez'in (2013) "boşluk" dönemi olarak adlandırdığı PLS tarihinde bir sonraki dönem, kullanımının azalmasıyla büyük ölçüde dikkat çekiyor. Neyse ki, 2000'li yıllardan başlayarak ( konsolidasyon süresiPLS, SEM analizine, özellikle sosyal bilimlerde çok popüler bir yaklaşım olarak geri döndü.

GÜNCELLEME (ameba'nın yorumuna yanıt olarak):

• Belki de Sanchez'in ifadesi alıntı yaptığım ifadede ideal değil. "Parça olarak tahmin edilen" değişkenlerin gizli blokları için geçerli olduğunu düşünüyorum . Wold (1980) kavramı ayrıntılı olarak açıklamaktadır.
• NIPALS'ın aslında PCA için geliştirilmiş olması haklı. Karışıklık, hem doğrusal PLS hem de doğrusal olmayan PLS yaklaşımlarının varlığından kaynaklanmaktadır. Sanırım Rosipal (2011) farklılıkları çok iyi açıklıyor (en azından şimdiye kadar gördüğüm en iyi açıklama bu).

GÜNCELLEME 2 (daha fazla açıklama):

Amipa'nın cevabında dile getirilen endişelere yanıt olarak, bazı şeyleri açıklığa kavuşturmak istiyorum. Bana öyle geliyor ki NIPALS ve PLS arasında "kısmi" kelimesinin kullanımını ayırmamız gerekiyor. Bu, 1) NIPALS'de "kısmi" nin anlamı ve 2) PLS'de "kısmi" nin anlamı (Phil2014'ün orijinal sorusu) hakkında iki ayrı soru yaratır. Birincisi hakkında emin olmasam da, ikincisi hakkında daha fazla açıklama sunabilirim.

Wold, Sjöström ve Eriksson'a (2001) göre,

PLS'deki "kısmi" bunun kısmi bir gerileme olduğunu gösterir, çünkü ...

Başka bir deyişle, "kısmi" , PLS için NIPALS algoritması ile veri ayrışmasının tüm bileşenleri içermemesinden , dolayısıyla "kısmi" olmasından kaynaklanmaktadır . "Kısmi" verilerde algoritmayı kullanmak mümkünse, aynı nedenin genel olarak NIPALS için de geçerli olduğundan şüpheleniyorum. Bu NIPALS'de "P" yi açıklar.

NIPALS tanımında kelime "doğrusal olmayan" seçeneğini kullanarak açısından (ile karıştırmayın doğrusal olmayan PLS PLS yaklaşımın doğrusal olmayan varyantını temsil eder,!), Ben atıfta düşünüyorum değil için algoritma kendisi , bunlarla doğrusal olmayan modellerin , olabilen doğrusal regresyon tabanlı NIPALS kullanılarak analiz edilmiştir.

GÜNCELLEME 3 (Herman Wold'un açıklaması):

Herman Wold'un 1969 tarihli makalesi NIPALS hakkındaki en eski makale gibi görünse de, bu konuyla ilgili en eski makalelerden birini bulmayı başardım. Bu Wold'un (1974) bir makalesidir, burada PLS'nin "babası" NIPALS tanımında "kısmi" kelimesini kullanma gerekçesini sunar (s. 71):

3.1.4. NIPALS tahmini: Yinelemeli OLS. Modelin bir veya daha fazla değişkeni gizliyse, yordayıcı ilişkileri yalnızca bilinmeyen parametreleri değil, aynı zamanda bilinmeyen değişkenleri de içerir ve bunun sonucu olarak tahmin problemi doğrusal değildir. 3.1 (iii) 'te belirtildiği gibi, NIPALS bu sorunu tekrarlayan bir prosedürle çözer, örneğin s = 1, 2, ... adımlarla. Her adım s, modelin her bir tahmin ilişkisi için bir tane olmak üzere sonlu sayıda OLS regresyonunu içerir. Bu tür her regresyon, bilinmeyen parametrelerin ve gizli değişkenlerin bir alt kümesi için proxy tahminleri verir (bu nedenle ad kısmi en küçük kareler) ve bu proxy tahminleri, yeni proxy tahminlerini hesaplamak için prosedürün sonraki adımında kullanılır.

Referanslar

Rosipal, R. (2011). Doğrusal olmayan kısmi en küçük kareler: Genel bakış. Lodhi H. ve Yamanishi Y. (Eds.), Kemoinformatik ve İleri Makine Öğrenme Perspektiflerinde: Karmaşık Hesaplama Yöntemleri ve İşbirliği Teknikleri , s. 169-189. ACCM, IGI Global. Http://aiolos.um.savba.sk/~roman/Papers/npls_book11.pdf adresinden erişildi.

Sanchez, G. (2013). R. Berkeley, CA ile PLS yol modellemesi : Trowchez Editions. Http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdf adresinden erişildi.

Wold, H. (1974). Gizli değişkenlerle nedensel akışlar: NIPALS modellemesi ışığında yolların bölümleri. Avrupa Ekonomik İncelemesi, 5 , 67-86. Kuzey Hollanda Yayıncılık.

Wold, H. (1980). Teorik bilgi az olduğunda model yapımı ve değerlendirme: Kısmi en küçük kareler teorisi ve uygulamaları. J. Kmenta ve JB Ramsey (Eds.), Ekonometrik modellerin değerlendirilmesi , ss. 47-74. New York: Akademik Basın. Http://www.nber.org/chapters/c11693 adresinden erişildi.

Wold, S., Sjöström, M. ve Eriksson, L. (2001). PLS-regresyon: Temel bir kemometri aracı. Kemometri ve Akıllı Laboratuvar Sistemleri, 58 , 109-130. doi: 10.1016 / S0169-7439 (01) 00155-1 http://www.libpls.net/publication/PLS_basic_2001.pdf adresinden erişildi.

$X$$Y$

Bununla birlikte, tarihsel olarak, @Aleksandr'in güzel açıkladığı gibi (+1), PLS, NIPALS algoritmasını uygulamak için kullanan Wold tarafından tanıtıldı; NIPALS, "doğrusal olmayan yinelemeli kısmi en küçük kareler" anlamına gelir, bu yüzden açıkça PLS'deki P NIPALS'den yeni geldi.

$\newcommand{\X}{\mathbf X}\X$$\newcommand{\v}{\mathbf v}\v$$\newcommand{\p}{\mathbf p}\p$$\v$$\p$

1. $\v = \X^\top \p (\p^\top \p)^{-1}$
2. $\|\v\|$$1$
3. $\p = \X \v (\v^\top \v)^{-1}$

$\v$$\p$$\X$

(Neden "doğrusal olmayan" olarak adlandırdı yine de anlamıyorum.)

Bu terim oldukça yanıltıcıdır, çünkü eğer bu "kısmi" ise, her beklenti maksimizasyon algoritması da "kısmi" dir (aslında, NIPALS EM'nin ilkel bir formu olarak görülebilir, bkz. Roweis 1998 ). Bence PLS Makine Öğreniminde En Yanıltıcı Dönem yarışması için iyi bir aday. Ne yazık ki, Wold Jr.'ın çabalarına rağmen değişmesi olası değildir (bkz. Momo'nun yukarıdaki yorumu).