Değişkenleri dışarı atmadan lineer regresyonda yüksek çoklu-eş-doğrusallık ile kararsız tahminlerini nasıl ele alabilirsiniz ?

Yüksek çoklu eş-doğrusallık ile doğrusal regresyonda beta kararlılığı?

Diyelim ki doğrusal bir regresyonda, ve değişkenleri yüksek çoklu sahiptir (korelasyon 0.9 civarındadır).$x_1$$x_2$

katsayı kararlılığı konusunda endişeliyiz, bu nedenle çoklu-eş-doğrusallığı tedavi etmek zorundayız.$\beta$

Ders kitabı çözümü sadece değişkenlerden birini atmak olacaktır.

Ancak değişkenleri atarak yararlı bilgileri kaybetmek istemiyoruz.

Herhangi bir öneri?

Korelasyon matrisinin tekil olduğu durumda (yani değişkenlerin yüksek korelasyonları vardır) sırt regresyonu yaklaşımını deneyebilirsiniz . Size sağlam bir tahmini sağlayacaktır .$\beta$

Tek soru, normalleştirme parametresinin nasıl seçileceği . Basit bir sorun değil, farklı değerleri denemenizi öneririm.$\lambda$

Bu yardımcı olur umarım!

Daha önce kullandığım bir ad hoc yöntemi var. Bu prosedürün bir adı olup olmadığından emin değilim ama sezgisel olarak mantıklı.

Hedefinizin modele uymak olduğunu varsayalım

$$Y_i = \beta_0 + \beta_1 X_i + \beta_2 Z_i + \varepsilon_i$$

burada iki yordayıcı - - yüksek derecede ilişkilidir. İşaret ettiğiniz gibi, ikisini de aynı modelde kullanmak, katsayı tahminlerine ve p -değerlerine garip şeyler yapabilir . Bir alternatif modele uymaktır$X_i, Z_i$$p$

$$Z_i = \alpha_0 + \alpha_1 X_i + \eta_i$$

Sonra kalan ile ilintisiz olacak X i Bir anlamda, bir parçası olarak düşünülebilir ve kutu Z i ile doğrusal bir ilişki içinde sınıflandırılır edilmez X i . Ardından, modele uymaya devam edebilirsiniz$\eta_i$$X_i$$Z_i$$X_i$

$$Y_i = \theta_0 + \theta_1 X_i + \theta_2 \eta_i + \nu_i$$

burada birinci modelin bütün etkilerini çekeceği (ve aslında, aynı olacaktır birinci model olarak), ancak belirleyiciler artık kolineerdir.$R^2$

Düzenleme: OP neden artıklar, kesişim dahil edildiğinde olduğu gibi kesişmeyi atlamak zaman belirleyici ile sıfır örnek bir korelasyon var neden bir açıklama istedi. Bu yorum yazmak için çok uzun, bu yüzden burada bir düzenleme yaptım. Bu türetme özellikle aydınlatıcı değildir (maalesef makul sezgisel bir argüman bulamadım) ama OP'nin ne istediğini gösteriyor :

Kesişim basit doğrusal regresyonu olarak ihmal edildiğinde , β = Σ x i y i , yaniei=yi-xi∑xiy$\hat \beta = \frac{ \sum x_i y_i}{\sum x_i^2}$ . Xiveeiarasındaki örnek korelasyon ¯ x e - ¯ x ¯ e ile orantılıdır;burada ¯ ⋅ , çubuğun altındaki miktarın örnek ortalamasını gösterir. Şimdi bunun sıfıra eşit olmadığını göstereceğim.$e_i = y_i - x_i \frac{ \sum x_i y_i}{\sum x_i^2}$$x_i$$e_i$

$$\overline{xe} - \overline{x}\overline{e}$$ $\overline{\cdot}$

İlk önce

$$\overline{xe} = \frac{1}{n} \left( \sum x_i y_i - x_{i}^2 \cdot \frac{ \sum x_i y_i}{\sum x_i^2} \right) = \overline{xy} \left( 1 - \frac{ \sum x_{i}^2}{ \sum x_{i}^2 } \right) = 0$$

fakat

$$\overline{x} \overline{e} = \overline{x} \left( \overline{y} - \frac{\overline{x} \cdot \overline{xy}}{\overline{x^2}} \right) = \overline{x}\overline{y} - \frac{\overline{x}^2 \cdot \overline{xy}}{\overline{x^2}}$$

böylece sırayla ve x i tam 0 örnek bir korelasyon olması, biz gerekmez ¯ x ¯ e olmaya 0 . Yani, ¯ y = ¯ x ⋅ ¯ x $e_i$$x_i$$\overline{x}\overline{e}$$0$

$$\overline{y} = \frac{ \overline{x} \cdot \overline{xy}}{\overline{x^2}}$$

genel olarak iki rasgele veri kümesi için geçerli değildir .$x, y$

Şimdiye kadar verilen cevapların her ikisini de seviyorum. Birkaç şey ekleyeyim.

Başka bir seçenek de değişkenleri birleştirebilmenizdir . Bu, her ikisini standartlaştırmak (yani bunları z skorlarına dönüştürmek), ortalamalarını almak ve ardından modelinizi yalnızca kompozit değişkene sığdırmak suretiyle yapılır. Aynı temel yapının iki farklı ölçüsü olduğuna inandığınızda bu iyi bir yaklaşım olacaktır. Bu durumda, hata ile kontamine olan iki ölçümünüz vardır. Gerçekten değişkeniniz için en olası gerçek değerilgilenmek aralarında olduğundan, bunların ortalamasını almak daha doğru bir tahmin verir. Öncelikle onları aynı ölçekte koymak için standartlaştırırsınız, böylece nominal sorunlar sonucu kirletmez (örneğin, bazıları Fahrenhayt ve bazıları Santigrat ise birkaç sıcaklık ölçümünü ortalama yapmak istemezsiniz). Tabii ki, zaten aynı ölçekte bulunuyorlarsa (örneğin, yüksek derecede korelasyona sahip birkaç kamuoyu yoklaması), bu adımı atlayabilirsiniz. Değişkenlerinizden birinin diğerinden daha doğru olabileceğini düşünüyorsanız, ağırlıklı bir ortalama yapabilirsiniz (belki de ölçüm hatalarının karşılıklarını kullanarak).

$r>.98$birleştirdiler, ama neden rahatsız oluyorsun? Bununla birlikte, bu kritik olarak değişkenlerinizin aynı şeyin iki farklı versiyonu olması nedeniyle ilişkili olmasına bağlıdır ; eğer birbirleriyle ilişkilendirilmelerinin farklı bir nedeni varsa, bu tamamen uygunsuz olabilir.

$X_1\rightarrow X_2\rightarrow Y$$X$$Z$ $X$$x_1$$x_2$$X$$Z$

Sırt regresyonunun tartışmasız daha iyi olduğuna katılıyorum, çünkü başlangıçta amaçladığınız değişkenleri kullanmanıza izin veriyor ve gerçek değerlerine çok yakın betalar vermesi muhtemel (önyargılı olmasına rağmen - daha fazla bilgi için buraya veya buraya bakın) ). Bununla birlikte, bence iki potansiyel dezavantajı da var: Bence daha karmaşık (daha istatistiksel karmaşıklık gerektiren) ve sonuç olarak ortaya çıkan modelin yorumlanması daha zor.

Belki de nihai yaklaşımın yapısal bir denklem modeline uymak olduğunu düşünüyorum. Bunun nedeni, gizli değişkenler dahil, işlevsel olduğuna inandığınız tam ilişki kümesini formüle etmenize izin vermesidir. Ancak, SEM'i bu konuda bir şey söyleyecek kadar iyi bilmiyorum, olasılıktan bahsetmekten başka. (Ayrıca, sadece iki ortak değişkenle açıkladığınız durumda aşırıya kaçacağından şüpheleniyorum.)