İki farklı regresyondan katsayıların eşitlik testi

Bu temel bir sorun gibi gözüküyor, ancak fark ettim ki aslında iki farklı regresyondan katsayıların eşitliğini nasıl test edeceğimi bilmiyorum. Birisi buna biraz ışık tutabilir mi?

Daha resmi, aşağıdaki iki regresyon ran varsayalım: ve burada regresyon matrisinin belirtir ve regresyon katsayıların vektörüne . Not olduğunu ve potansiyel olarak çok vb farklı boyutları ile, farklı ben mesela ilgilenen am olsun veya olmasın .

y_{1} = X_{1} β_{1} + ϵ_{1}

$y_1 = X_1\beta_1 + \epsilon_1$

y_{2} = X_{2} β_{2} + ϵ_{2}

$y_2 = X_2\beta_2 + \epsilon_2$

X_{i}

$X_i$

i

$i$

β_{i}

$\beta_i$

i

$i$

X_{1}

$X_1$

X_{2}

$X_2$

{\hat{β}}_{11} \neq {\hat{β}}_{21}

$\hat\beta_{11} \neq \hat\beta_{21}$

Bunlar aynı gerilemeden gelirse, bu önemsiz olurdu. Fakat farklılardan geldiklerinden, nasıl yapılacağından emin değilim. Bir fikri olan var mı ya da bana bazı işaretçiler verebilir?

Ayrıntılı olarak sorunum: İlk sezgim güven aralıklarına bakmaktı ve eğer örtüşürlerse, temelde aynı olduklarını söyleyebilirim. Bu prosedür, testin doğru boyutuyla gelmez, ancak (yani her bir bireysel güven aralığı , ancak bunlara ortak olarak bakmak aynı olasılıkta olmayacaktır). Benim "ikinci" sezgim normal bir t testi yapmaktı. Yani, almak $\alpha=0.05$

\frac{β_{11} - β_{21}}{s d (β_{11})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11})}$

nerede benim Boş hipotezin değeri olarak alınır. Bu, tahminindeki belirsizliği hesaba , ancak cevap, regresyonların sırasına bağlı olabilir (hangisini 1 ve 2 olarak adlandırırım). $\beta_{21}$ $\beta_{21}$

Üçüncü fikrim, aynı regresyondan iki katsayının eşitliği için standart bir testte yapmaktı, bu da

\frac{β_{11} - β_{21}}{s d (β_{11} - β_{21})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11}-\beta_{21})}$

Komplikasyon, her ikisinin de farklı gerilemelerden kaynaklanmasından kaynaklanmaktadır. Bunu not et

V a r (β_{11} - β_{21}) = V a r (β_{11}) + V a r (β_{21}) - 2 C o v (β_{11}, β_{21})

$Var(\beta_{11}-\beta_{21}) = Var(\beta_{11}) + Var(\beta_{21}) -2 Cov(\beta_{11},\beta_{21})$ fakat Onlar farklı regresyonlardan, nasıl alabilirim ?

C o v (β_{11}, β_{21})

$Cov(\beta_{11},\beta_{21})$

Bu bana bu soruyu burada sormamı sağladı. Bu standart bir prosedür / standart test olmalıdır, ancak bu soruna yeterince benzeyen bir şey bulamadım. Yani, herhangi biri beni doğru işleme yönlendirirse, minnettar olurum!

hypothesis-testing inference

— coffeinjunky
kaynak

Bunun yapısal / eşzamanlı denklem modellemesi ile ilgili olduğu görülmektedir. Bu problemi çözmenin bir yolu, her iki denklemi aynı anda, örneğin maksimum olasılıkla uydurmak ve daha sonra kısıtlanmamış bir modele karşı kısıtlı (eşit parametre modelinin) olabilirlik oran testini kullanmaktır. Pratik olarak bu SEM yazılımı ile yapılabilir (Mplus, lav vb.)

— tomka

Görünüşe İlişkin Olmayan Regresyon (SUR) hakkında bir şey biliyor musunuz?

— Dimitriy V. Masterov

Her iki katsayıyı da nasıl yakalayacağınızı, yani tüm katsayıların var-cov matrisini verecek olan SEM tarafından çözüldüğünüzü düşünüyorum. O zaman muhtemelen bir LRT testi yerine önerdiğiniz şekilde bir Wald testi kullanabilirsiniz. Ayrıca, daha doğrudan olabilen yeniden örnekleme / önyükleme de kullanabilirsiniz.

— tomka

Evet, bu konuda haklısın, @tomka. Bir SUR modelinde (rahatça konuşabileceğiniz SEM modellerinin özel bir örneğini düşünün), uygun testi alabilirim. Beni bu yöne yönlendirdiğin için teşekkürler! Sanırım düşünmedim, çünkü topla bir serçeyi vurmak gibi görünüyor, ama gerçekten daha iyi bir yol düşünemiyorum. Bir cevap yazarsanız, doğru olarak işaretleyeceğim. Aksi takdirde, kısa sürede kendime yazacağım, hızlı bir teorik açıklama ve potansiyel olarak bir örnekle.

— coffeinjunky

SUR uygulaması oldukça kolaydır. İşte Stata ile bir örnek . R ile sistem uyumu istersiniz .

— Dimitriy V. Masterov

Yanıtlar:

Bu ortak bir analiz olmasa da, gerçekten ilgi çekicidir. Kabul edilen cevap, sorunuzu sorma şeklinize uyuyor ancak eşdeğer olabilecek veya olmayabilecek makul derecede iyi kabul edilmiş başka bir teknik sunacağım (bu konuda yorumda bulunmak için daha iyi zihinlere bırakacağım).

Bu yaklaşım aşağıdaki Z testini kullanmaktır:

$Z = \frac{\beta_1-\beta_2}{\sqrt{(SE\beta_1)^2+(SE\beta_2)^2}}$

Burada standart hatadır . $SE\beta$ $\beta$

Bu denklem, Clogg, CC, Petkova, E. ve Haritou, A. (1995) tarafından sağlanmaktadır. Modeller arasında regresyon katsayılarının karşılaştırılmasında istatistiksel yöntemler. Amerikan Sosyoloji Dergisi , 100 (5), 1261-1293. ve Paternoster, R., Brame, R., Mazerolle, P., & Piquero, A. (1998) tarafından verilmiştir. Regresyon katsayılarının eşitliği için doğru istatistiksel testin kullanılması. Kriminoloji , 36 (4), 859-866. bir ödeme duvarı ücretsiz olan denklem 4. Peternoster'in formülünü yerine kullanacak şekilde uyarladım. $\beta$ $b$ Çünkü bazı sebeplerden dolayı farklı DV'ler ve Clogg et al. Formüllerinin kullanılmasıydı . Ayrıca bu formülü Cohen, Cohen, West ve Aiken'e karşı çapraz kontrol etmeyi de hatırlıyorum ve aynı düşüncenin kökü, katsayılar arasındaki farkların güven aralığında, denklem 2.8.6, sf 46-47'de bulunabilir. $\beta$

— russellpierce
kaynak

Ayrıca bakınız: stats.stackexchange.com/questions/55501/…

— russellpierce

Müthiş cevap! Bir takip sorusu: Bu da doğrusal kombinasyonları geçerlidir Model 1 ve gelen Model 2'den? Gibi,

β_{1}

$\beta_1$

β_{2}

$\beta_2$

Z = \frac{A β_{1} - B β_{2}}{\sqrt{(SE A β_{1})^{2} + (SE B β_{2})^{2}}}

$Z=\frac{A\beta_1-B\beta_2}{\sqrt{(\text{SE}A\beta_1)^2+(\text{SE}B\beta_2)^2}}$

— Sibbs Kumar

Ayrıca, bildirimin bir modelin diğerinin içine yerleştirildiği durumu tartıştığını ve iki modelin DV'lerinin aynı olduğunu anladım. Ya bu iki koşul yerine getirilmezse? Bunun yerine, iki modelin tasarım matrisleri aynı, ancak farklı DV'lere sahipler. Bu formül hala geçerli mi? Çok teşekkürler!

— Sibbs Gambling

@SibbsGambling: Daha fazla dikkat çekmek için bu soruyu kendi başına yapmak isteyebilirsiniz.

— russellpierce

Hızlı bir bakışta, bu coffeinjunky tarafından cevapta belirtilen SUR çözümünün özel bir durumu gibi görünüyor. Bu özel bir durum çünkü ve tahmin edicileri arasındaki kovaryansın kesinlikle sıfır olduğu varsayılıyor. Genel olarak haklı olup olmadığını merak ediyorum. Güvende olmak için yerine coffeinjunky ile daha genel bir çözüme giderdim. Bu bana neden kabul edilen cevap olduğunu ve neden en çok oyu verdiğini merak ediyor.

β_{1}

$\beta_1$

β_{2}

$\beta_2$

— Richard Hardy

Benzer bir soruya sahip insanlar için, cevabın basit bir taslağını vereyim.

İşin püf noktası, iki denklemi görünüşte ilgisiz görünen bir denklemler sistemi olarak kurmak ve bunları birlikte tahmin etmektir. Yani, ve üzerine ve tasarım matrisiyle aynı veya daha azını yapıyoruz. Yani, tahmin edilecek sistem şudur: $y_1$ $y_2$

$\left(\array{y_1 \\ y_2}\right) = \left(\array{X_1 \ \ 0 \\ 0 \ \ X_2}\right)\left(\array{\beta_1 \\ \beta_2 }\right) + \left(\array{e_1 \\ e_2 }\right)$

Bu, iki katsayının eşitliği için test yapılmasına izin veren bir varyans-kovaryans matrisine yol açacaktır.

— coffeinjunky
kaynak

Önerdiğin gibi yaptım ve yukarıdaki ile karşılaştırdım. Temel fark, hata varyansının aynı olup olmadığı varsayımıdır. Sizin yönteminiz, hata sapmasının aynı olduğunu ve yukarıdaki şekilde olmadığını varsayıyor.

— KH Kim

Bu benim için iyi çalıştı. Stata'da şöyle bir şey yaptım: expand =2, generate(indicator); generate y = cond(indicator, y2, y1); regress y i.indicator##c.X, vce(cluster id); Kümelenmiş standart hataları kullanmak, e1 ve e2'nin veri kümesini istifledikten sonra aynı gözlem için bağımsız olmadığı gerçeğini açıklar.

— wkschwartz

Regresyonlar iki farklı örnekten geldiğinde, şunu varsayabilirsiniz: , başka bir cevapta verilen formüle yönlendirir. $Var(\beta_1-\beta2)=Var(\beta_1)+Var(\beta_2)$
Ancak, sorunuzun tam olarak . Bu durumda, görünüşte alakasız denklemler en genel durum gibi görünmektedir. Yine de, aradığınız şey olmayabilir, orijinal denklemlerden olanlardan farklı katsayılar sağlayacaktır. $covar(\beta_1,\beta_2) \neq 0$
(Clogg, CC, Petkova, E. ve Haritou, A. (1995). Modeller arasındaki regresyon katsayılarının karşılaştırılmasında istatistiksel yöntemler. Amerikan Sosyoloji Dergisi, 100 (5), 1261-1293.) Özel vakada bir cevap sunmaktadır. iç içe denklemlerin (yani ikinci denklemi elde etmek, ilk denklemi düşünün ve birkaç açıklayıcı değişken ekleyin) Uygulamanın kolay olduğunu söylerler.
İyi anlarsam, bu özel durumda, bir Haussman testi de uygulanabilir. En önemli fark, testlerinin ikinci (tam) denklemi doğru olarak kabul etmesidir, Haussman testi ise ilk denklemi doğru olarak kabul eder.
Clogg ve arkadaşlarının (1995) panel verileri için uygun olmadığını unutmayın. Fakat testleri (Yan, J., Aseltine Jr, RH ve Harel, O. (2013) tarafından genelleştirilmiştir. Kümelenmiş veriler için iç içe geçmiş doğrusal modeller arasındaki regresyon katsayılarının genelleştirilmiş tahmin denklemleriyle karşılaştırılması. Eğitim ve Davranış İstatistikleri Dergisi, 38 (2), 172-189), R temin edilen bir paket. geepack bakınız: https://www.jstor.org/stable/pdf/41999419.pdf?refreqid=excelsior%3Aa0a3b20f2bc68223edb59e3254c234be&seq=1

Ve (R-paketi için): https://cran.r-project.org/web/packages/geepack/index.html

— Alexandre Cazenave-Lacroutz
kaynak