Örnek dışı tahminleri iyileştirmeyen '' önemli değişken '' - nasıl yorumlanır?

Birçok kullanıcı için oldukça basit olacağını düşündüğüm bir sorum var.

(İ) çeşitli açıklayıcı değişkenlerle yanıt değişkenimin ilişkisini araştırmak için doğrusal regresyon modelleri kullanıyorum ve (ii) açıklayıcı değişkenleri kullanarak yanıt değişkenimi tahmin ediyorum.

Belirli bir açıklayıcı değişken X'in yanıt değişkenimi önemli ölçüde etkilediği görülmektedir. Bu açıklayıcı değişken X'in katma değerini yanıt değişkenimin örneklem dışı tahminleri amacıyla test etmek için iki model kullandım: tüm açıklayıcı değişkenleri kullanan model (a) ve tüm değişkenleri kullanan model (b) Her iki model için de sadece örnek dışı performansı rapor ediyorum. Her iki model de neredeyse aynı derecede iyi performans gösteriyor gibi görünüyor. Başka bir deyişle, açıklayıcı değişken X'in eklenmesi örnek dışı tahminleri iyileştirmez. Ayrıca, açıklayıcı değişken X'in yanıt değişkenimi önemli ölçüde etkilediğini bulmak için model (a), yani tüm açıklayıcı değişkenleri olan modeli kullandığımı unutmayın.

Şimdi sorum şu: bu bulgu nasıl yorumlanacak? Basit bir sonuç, X değişkeni çıkarımsal modeller kullanarak yanıt değişkenimi önemli ölçüde etkilemiş gibi görünse de, örnek dışı tahminleri iyileştirmediğidir. Ancak, bu bulguyu açıklamakta zorlanıyorum. Bu nasıl mümkün olabilir ve bu bulgu için bazı açıklamalar nelerdir?

Şimdiden teşekkürler!

Ekstra bilgi: 'önemli ölçüde etki' ile, yani, parametre tahmininin en yüksek% 95 posterior yoğunluk aralığına dahil edilmediğini kastediyorum (bir Bayes yaklaşımı kullanarak im). Sıkça ifade edilen terimlerle, bu kabaca p değerinin 0.05'ten düşük olmasına karşılık gelir. Tüm modellerim parametreleri için sadece dağınık (bilgilendirici olmayan) öncelikler kullanıyorum. Verilerim uzunlamasına bir yapıya sahip ve toplamda yaklaşık 7000 gözlem içeriyor. Örnek dışı tahminler için, modellerin% 90'ını modellerime uydurmak için ve verilerin% 10'unu modelleri birden çok çoğaltma kullanarak değerlendirmek için kullandım. Yani, tren testi bölünmesini birden çok kez gerçekleştirdim ve sonunda ortalama performans metriklerini rapor ettim.

Belirli bir yordayıcı istatistiksel olarak anlamlı olduğunda, bir modelin öngörücü performansını da önemli ölçüde geliştirdiği anlamına gelmez. Tahmini performans, efekt boyutuyla daha ilgilidir. Bir örnek olarak, ıkı ongorucu olan bir doğrusal regresyon modelinden simüle eden veriler aşağıda fonksiyonu x1ve x2ve uyan iki model, her ikisi de bir x1ve x2, ile bir x1tek başına. Fonksiyonda efekt boyutunu değiştirebilirsiniz x2. Fonksiyonu katsayıları için güven aralıkları raporlar x1ve x2ve öngörü performansının ölçümü olarak iki model değerleri.$R^2$

İşlev:

sim_ES <- function (effect_size = 1, sd = 2, n = 200) {
    # simulate some data
    DF <- data.frame(x1 = runif(n, -3, 3), x2 = runif(n, -3, 3))
    DF$y <- 2 + 5 * DF$x1 + (effect_size * sd) * DF$x2 + rnorm(n, sd = sd)

    # fit the models with and without x2
    fm1 <- lm(y ~ x1 + x2, data = DF)
    fm2 <- lm(y ~ x1, data = DF)

    # results
    list("95% CIs" = confint(fm1),
         "R2_X1_X2" = summary(fm1)$r.squared,
         "R2_only_X1" = summary(fm2)$r.squared)
}

Bir örnek olarak, elde ettiğimiz varsayılan değerler için,

$`95% CIs`
               2.5 %   97.5 %
(Intercept) 1.769235 2.349051
x1          4.857439 5.196503
x2          1.759917 2.094877

$R2_X1_X2
[1] 0.9512757

$R2_only_X1
[1] 0.8238826

Bu yüzden x2önemlidir ve modele dahil edilmemesi üzerinde büyük bir etkiye sahiptir .$R^2$

Ancak efekt boyutunu 0,3 olarak ayarlarsak, şunu elde ederiz:

> sim_ES(effect_size = 0.3)
$`95% CIs`
                2.5 %    97.5 %
(Intercept) 1.9888073 2.5563233
x1          4.9383698 5.2547929
x2          0.3512024 0.6717464

$R2_X1_X2
[1] 0.9542341

$R2_only_X1
[1] 0.9450327

Katsayı hala önemlidir, ancak gelişme çok düşüktür.$R^2$

Bu, çoklu regresyonda olması oldukça normal bir şeydir. En yaygın neden, öngörücülerinizin birbiriyle ilişkili olmasıdır. Başka bir deyişle, X'i diğer öngörücülerin değerlerinden çıkarabilirsiniz. Bu nedenle, sahip olduğunuz tek öngörücü ise tahminler için yararlı olsa da, diğer tüm öngörücülere sahip olduğunuzda fazladan bilgi vermez. Diğer öngörücülerde X düğmesine basarak durumun böyle olup olmadığını kontrol edebilirsiniz. Ayrıca ücretsiz çevrimiçi ders kitabı İstatistiksel Öğrenme Unsurları'nda doğrusal regresyon bölümüne de değineceğim.