Çoklu bağımlı değişkenlerle regresyon?

61

İki veya daha fazla bağımlı değişkenle (çoklu) bir regresyon denkleminin olması mümkün mü? Elbette, her DV için bir tane olmak üzere iki ayrı regresyon denklemi çalıştırabilirsiniz, ancak bu iki DV arasında herhangi bir ilişki yakalayacak gibi görünmüyor mu?

regression

— Jeff
kaynak

SUR veya 3SLS'de olduğu gibi?

— Denizdeki yaşlı bir adam.

35

Evet mümkün. İlgilendiğiniz şeye "Çok Değişkenli Çoklu Regresyon" veya sadece "Çok Değişkenli Regresyon" denir. Hangi yazılımı kullandığınızı bilmiyorum, ancak bunu R'de yapabilirsiniz.

İşte örnekler sağlayan bir link.

http://www.public.iastate.edu/~maitra/stat501/lectures/MultivariateRegression.pdf

— Brett
kaynak

2

Birincisi, regresyonlara ayrı ayrı uymanın, gerçekten bağımlı değişkenlerin bir matrisi ile çok değişkenli formülasyona eşdeğer olduğunu ekleyebilir. Mvtnorm paketli R'de (1.: çok değişkenli model, 2.: tek değişkenli modeller): library (mvtnorm); X <rmnorm (100, c (1,2), matris (c (4, 2, 2, 3), ncol = 2)); Y <-% X *% matris (1: 4, ncol = 2) + rmvnorm (100, c (0, 0), diag (c (20, 30))); 1m (Y, X [, 1] + X [, 2]); 1m (Y [, 1] ~ X [, 1] + X [, 2]); lm (Y [, 2] ~ X [, 1] + X [, 2])

— caracal

3

Eşdeğerse amaç nedir?

— Joshua Rosenberg

1

@JoshuaRosenberg, tekli değişkenli ayrı regresyonlar üzerinde çok değişkenli bir regresyon çalıştırmanın bir nedeni, farklı sonuç değişkenleri arasında katsayıların testlerini yapabilme yeteneğidir. Örneğin, bir tahmincinin, bir sonuç değişkeninde başka bir sonuç değişkeninde olduğu gibi aynı etkiye sahip olup olmadığını görmek için bir F testi gerçekleştirebilirsiniz.

— AlexK

10

@ Brett'in cevabı iyi.

İki bloklu yapınızı tanımlamakla ilgileniyorsanız, PLS regresyonunu da kullanabilirsiniz . Temel olarak, her bir bloğa ait değişkenlerin ardışık (ortogonal) doğrusal kombinasyonlarının kovaryanslarının azami olacağı şekilde bina fikrine dayanan bir regresyon çerçevesidir. Burada, bir blok açıklayıcı değişkenler içerdiğini ve diğer blok değişkenleri aşağıda gösterildiği gibi yanıtladığını düşünüyoruz: $X$ $Y$

alt metin

bloğunu minimum hata ile tahmin etmeye izin verirken , bloğunda yer alan maksimum bilgiyi (doğrusal bir şekilde) açıklayan "gizli değişkenler" i arıyoruz . ve her bir boyut ile bağlantılı yükleri (yani, doğrusal kombinasyonlar) vardır. Optimizasyon kriterleri okur $X$ $Y$ $u_j$ $v_j$

max_{∣ u_{h} ∣= 1, ∣ v_{h} ∣= 1} cov (X_{h - 1} u_{h}, Y v_{h}) (\equiv max cov (ξ_{h}, ω_{h}))

$\max_{\mid u_h\mid =1,\mid v_h\mid =1}\text{cov}(X_{h-1}u_h,Yv_h)\quad \big(\equiv \max\text{cov}(\xi_h,\omega_h)\big)$

buradaki , regresyonundan sonra sönük (yani artık hale getirilmiş) bloğu anlamına gelir . $X_{h-1}$ $X$ $h^\text{th}$

Birinci boyuttaki faktör puanları ( ve ) arasındaki korelasyon , - bağlantısının büyüklüğünü yansıtır . $\xi_1$ $\omega_1$ $X$ $Y$

— chl
kaynak

MultipleX-multipleY PLS'nin aslında birden çok "multipleX-singleY" PLS yaptığını düşünüyorum. Dolayısıyla, Y değişkenleri arasındaki ilişkiler ele alınmamıştır.

— lanselibai

4

Çok değişkenli regresyon, SPSS'de GLM-çok değişkenli seçeneği kullanılarak yapılır.

Tüm sonuçlarınızı (DV'ler) sonuçlar kutusuna, ancak tüm sürekli tahmincilerinizi ortak değişkenler kutusuna koyun. Faktörler kutusunda hiçbir şeye ihtiyacınız yok. Çok değişkenli testlere bakın. Tek değişkenli testler ayrı çoklu regresyonlarla aynı olacaktır.

Başka birinin dediği gibi, bunu yapısal eşitlik modeli olarak da belirtebilirsiniz, ancak testler aynıdır.

(İlginç bir şekilde, bence ilginç, bunda İngiltere-ABD farkının bir kısmı var. İngiltere'de, çoklu regresyon genellikle çok değişkenli bir teknik olarak kabul edilmez, dolayısıyla çok değişkenli regresyon sadece çok değişkenli olduğunda çok değişkenlidir / DV. )

— Jeremy Miles
kaynak

2

@Jeremy Miles'ın cevabına eklenmiş bir cevap: www-01.ibm.com/support/docview.wss?uid=swg21476743

— Epaminondas

2

Bunu önce regresyon değişkenlerini PCA ile hesaplanan değişkenlere dönüştürerek yapardım, daha sonra PCA ile hesaplanan değişkenleri ile regresyon yapardım. Tabii ki, özvektörleri sınıflandırmak istediğim yeni bir örneğim olduğunda karşılık gelen pca değerlerini hesaplayabilmek için saklardım.

— mariana soffer
kaynak

2

Bu kavramsal olarak yukarıdaki cevaptan farklı görünüyor. Değişkenlerimin PCA katsayılarına dönüştürülmesinin nasıl 2 + bağımlı değişkenler üzerinde gerilememe izin verdiği konusunda hala net değilim?

— Jeff

@Jeff bu cevap aslında kavramsal olarak çok değişkenli regresyona benzer. Burada öneri, sırayla iki ayrı adım yapmaktır (yani ağırlıklı doğrusal kompozit değişkenleri bulun ve sonra gerileyin); çok değişkenli regresyon iki adımı aynı anda gerçekleştirir . Çok değişkenli regresyon, WLCV'ler regresyonu en üst düzeye çıkarmak üzere oluşturulduğundan daha güçlü olacaktır. Bununla birlikte, iki aşamalı prosedür süreçle ilgili daha fazla netlik sağlayabilir veya araştırmacı için başka şekilde tercih edilebilir.

— dediklerinin - Monica Yeniden

1

@gung Hmm, bu değişkenler PCA'yı bağımlı değişkenlere uygularsanız ve sonra sadece ilk ana bileşene gerilerseniz bana mantıklı geliyor ... Ama sonra hala çok fazla fark atıyorsunuz.

— Jeff

1

@Jeff, PC'ler dikgendir. Her birinde bağımsız regresyon çalıştırabilirsiniz. Ancak, bu daha az güçlüdür, ancak ayrıştırma aynı değildir ve çok değişkenli regresyon testi PC'lerde bir dizi reg değildir.

— dediklerinin - Monica Yeniden

Evet, N bağımsız regresyon çalıştırabilirsiniz, ancak daha sonra N set beta katsayısı ile bitirdiniz. Bunun sorunu nasıl çözdüğünü anlamıyorum?

— Jeff

1

Caracal tarafından belirtildiği gibi, R'de mvtnorm paketini kullanabilirsiniz. Modelinizdeki yanıtlardan birinin bir lm modelini ("model" olarak adlandırılmış) yaptığınızı ve "model" olarak adlandırdığınızı varsayalım , burada çok değişkenli tahmin dağılımını nasıl elde edersiniz bir matris formunda saklanan "resp1", "resp2", "resp3" birkaç yanıtının:

library(mvtnorm)
model = lm(resp1~1+x+x1+x2,datas) #this is only a fake model to get
                                  #the X matrix out of it
Y = as.matrix(datas[,c("resp1","resp2","resp3")])
X =  model.matrix(delete.response(terms(model)), 
           data, model$contrasts)
XprimeX  = t(X) %*% X
XprimeXinv = solve(xprimex)
hatB =  xprimexinv %*% t(X) %*% Y
A = t(Y - X%*%hatB)%*% (Y-X%*%hatB)
F = ncol(X)
M = ncol(Y)
N = nrow(Y)
nu= N-(M+F)+1 #nu must be positive
C_1 =  c(1  + x0 %*% xprimexinv %*% t(x0)) #for a prediction of the factor setting x0 (a vector of size F=ncol(X))
varY = A/(nu) 
postmean = x0 %*% hatB
nsim = 2000
ysim = rmvt(n=nsim,delta=postmux0,C_1*varY,df=nu)

Şimdi, ysim'in miktarları yordayıcı dağılımdan gelen beta-beklenti tolerans aralıklarıdır, elbette istediğiniz şekilde yapmak için doğrudan örneklenmiş dağıtımı kullanabilirsiniz.

Andrew F.'i cevaplamak için, serbestlik dereceleri nu = N- (M + F) +1 ... N, gözlem sayısı, M yanıt sayısı ve D denklem modeli başına parametre sayısıdır. nu pozitif olmalı.

( Çalışmamı bu belgede okumak isteyebilirsiniz :-))

— Pierre Lebrun
kaynak

0

Zaten "kanonik korelasyon" terimiyle karşılaştınız mı? Orada, bağımsız tarafta olduğu kadar bağımlı tarafta da değişken gruplarınız var. Ama belki daha modern kavramlar var, sahip olduğum açıklamalar seksenlerin / doksanların hepsi ...

— Gottfried Helms
kaynak

1

Kanonik korelasyon, CCA veya PLS'de olduğu gibi iki bloklu yapılardan hesaplanan faktör puanları arasındaki korelasyondur. Değişkenler asimetrik bir rol oynadıklarında, PLS CCA'dan daha uygun olsa da, tam olarak cevabımda (PLS regresyonu) tanımladığım şey buydu. Bunun nedeni, asimetrik bir deflasyon işlemi olması ve bunun yerine kovaryansla çalışmamızdır (CCA ile her iki bloğu aynı anda söndürürüz ve kovaryans yerine korelasyonu en üst düzeye çıkarmaya çalışırız).

— chl

@chl: upps- bugün (ocak sonu) Bu soruya geri döndüm / kasım ortasına döndüm .... Üzgünüm daha önce kontrol etmedim - kurslarımda bir şeyler vardı ve stat.exchange'i unuttum. .. Değerli bir şeyim varsa önümüzdeki günlerde tekrar geleceğim.

— Gottfried Helms,

-3

Buna yapısal denklem modeli veya eşzamanlı denklem modeli denir.

— Shige
kaynak

3

Yanılıyor olabilirim, ama bunun aynı şey olduğunu sanmıyorum. Gördüğüm SEM grafiklerinden, SEM gizli faktörlerin değerlerini belirlemek için çoklu regresyon denklemlerini kullanıyor gibi gözüküyor ve daha sonra bir yüksek regresyon faktörünü belirlemek için bu gizli faktörlerin değerine bir başka regresyon uygulanmaktadır. Belki bu yanlış, ama birkaç IV'ü birden fazla DV'ye bağlayan bir SEM grafiği görmedim - her şey hiyerarşiktir.

— Jeff

Bu yazıda Şekil 8: biomedcentral.com/1471-2288/3/27 Bunu yapabilirsiniz, ancak çok az nokta var. MANOVA ile aynı.

— Jeremy Miles