Ağırlıklı en küçük kareler regresyonu için ağırlıkları nasıl buluyorsunuz?

23

WLS regresyon sürecinde biraz kayboldum. Bana veri seti verildi ve görevim heteroseksüellik olup olmadığını sınamak ve eğer öyleyse WLS regresyonunu çalıştırmalıyım.

Testi yaptım ve heteroseksüellik konusunda kanıtlar buldum, bu yüzden WLS'yi çalıştırmam gerekiyor. WLS'nin temelde dönüştürülmüş bir modelin OLS regresyonu olduğu söylendi, ancak dönüşüm işlevini bulma konusunda biraz kafam karıştı. Dönüşümün, OLS regresyonundan gelen kare artıkların işlevi olabileceğini öne süren bazı makaleler okudum, ancak birinin doğru yolda kalmama yardım edebileceğini takdir ediyorum.

regression heteroscedasticity weighted-regression

— m3d1v0
kaynak

2

Eğer hataların kovaryans matrisinin köşegen olduğunu varsayarsanız, kovaryans matrisini ve ardından WLS regresyonunun tahmini ağırlıklar ile regresyonunu tahmin edebilirsiniz. Bunu yapmak için, en.wikipedia.org/wiki/Generalized_least_squares

— Manuel

26

Ağırlıklı en küçük kareler (WLS) regresyonu dönüştürülmüş bir model değildir. Bunun yerine, her bir gözlemi, ve arasındaki temel ilişki hakkında az ya da çok bilgilendirici olarak görüyorsunuz . Daha bilgilendirici olan noktalara daha fazla ağırlık, daha az bilgilendirici olanlara daha az ağırlık verilir. Ağırlıklı en küçük kareler (WLS) regresyonunun teknik olarak sadece ağırlıklar a priori biliniyorsa geçerlidir. $X$ $Y$

$X$ durum. Sonuç olarak, artıkların varyansına ilişkin fonksiyonu tahmin değişkenlerinizin seviyelerine göre tahmin etmeye çalışabilirsiniz.

Bu tahminin nasıl yapılması gerektiğiyle ilgili birkaç sorun vardır:

Ağırlıkların, varyansın karşılığı olması gerektiğini (veya ne kullanırsanız kullanın) unutmayın.
$X$ $X$
$X$ plot(model, which=2) $X$ ortanca medyan mutlak sapması .
$X$ $X$
Ağırlıklarınızı bir OLS regresyonunun kalıntılarından almak mantıklıdır çünkü OLS, heteroscedastisitenin varlığında bile tarafsızdır. Bununla birlikte, bu ağırlıklar orijinal modele bağlıdır ve sonraki WLS modelinin uyumunu değiştirebilir. Bu nedenle, sonuçlarınızı iki regresyondaki tahmini betaları karşılaştırarak kontrol etmelisiniz. Çok benzerlerse, iyisindir. Eğer WLS katsayıları OLS olanlardan ayrılırsa, artıkları manuel olarak hesaplamak için WLS tahminlerini kullanmalısınız (WLS uyumundan bildirilen artıklar ağırlıkları dikkate alacaktır). Yeni bir artık seti hesapladıktan sonra, ağırlıkları tekrar belirleyin ve yeni ağırlıkları ikinci bir WLS regresyonunda kullanın. Bu işlem, iki tahmini beta grubu yeterince birbirine benzinceye kadar tekrarlanmalıdır (bunu bir kez yapmak bile nadirdir).

Bu işlem sizi biraz rahatsız ediyorsa, ağırlıklar tahmin edildiğinden ve daha önceki hatalı modele bağlı olduklarından, başka bir seçenek Huber-White 'sandviç' tahmincisini kullanmaktır . Bu, ne kadar şiddetli olursa olsun heterossedastikliğin varlığında bile tutarlıdır ve modele bağlı değildir. Aynı zamanda potansiyel olarak daha az güçlüktür.

Buradaki cevabımda ağırlıklı en küçük kareler basit bir versiyonunu ve sandviç SE'lerin kullanımını gösteriyorum: Heterossedastik veriler için tek yönlü ANOVA alternatifleri .

— gung - Eski Monica
kaynak

10

WLS yaparken ağırlıkları bilmeniz gerekir. Bunları, Douglas C. Montgomery tarafından Doğrusal Regresyon Analizine Giriş'in 191. sayfasında anlatıldığı gibi bulmanın bazı yolları vardır. Elizabeth A. Peck, G. Geoffrey Vining. Örneğin:

Bazı teorik modelleri kullanarak tecrübe veya ön bilgi.
Örneğin, modelin artıklarıyla eğer ${\rm var}(\varepsilon_i)=\sigma^2x_i$ $w_i=1/x_i$
Cevaplar her gözleminin ortalaması veya gibi şey ise $n_i$ $x_i$ ${\rm var}(y_i)={\rm var}(\varepsilon_i)=\sigma^2/n_i$ $w_i=n_i$
Bazen, farklı gözlemlerin bazı (bilinen veya tahmin edilen) doğruluğa sahip farklı enstrümanlar tarafından ölçüldüğünü biliyoruz. Bu durumda, ağırlıkları ölçüm hatalarının varyansı ile ters orantılı olarak kullanmaya karar verebiliriz.

— Stat
kaynak