Nüfus r-kare değişiminde güven aralığı nasıl elde edilir

Basit bir örnek uğruna iki doğrusal regresyon modeli olduğunu varsayalım.

• Model 1 sahiptir üç belirleyicileri x1a, x2bvex2c
• Model 2, model 1'den üç öngörücüye ve iki ek öngörücüye sahiptir x2avex2b

Kitle varyansı olduğu açıklanmıştır nüfus regresyon denklemi vardır Model 1 için ve Model 2 için artan varyans nüfus içinde Model 2 ile açıklanabilir ρ 2 ( 2 ) Δ ρ 2 = ρ 2 ( 2 ) - ρ 2 ( 1 $\rho^2_{(1)}$$\rho^2_{(2)}$$\Delta\rho^2 = \rho^2_{(2)} - \rho^2_{(1)}$

tahmincisi için standart hatalar ve güven aralıkları elde etmekle ilgileniyorum . Örnek sırasıyla 3 ve 2 öngörücüyü içeriyor olsa da, araştırma ilgim çok sayıda farklı yordayıcıyla (ör. 5 ve 30) ilgilidir. İlk düşüncem bir tahmin edici olarak kullanmaktı, ama bunun olup olmadığından emin değildim uygun olmak. Δ r 2 a d j = r 2 a d j ( 2 ) - r 2 a d j ( 1 $\Delta\rho^2$$\Delta r^2_{adj} = r^2_{adj(2)} - r^2_{adj(1)}$

Sorular

• Mı makul bir tahmincisi ? Δ ρ $\Delta r^2_{adj}$$\Delta \rho^2$
• Pop-kare değişimi için bir güven aralığı nasıl elde edilebilir (yani, )?$\Delta\rho^2$
• Önyükleme $\Delta\rho^2$ güven aralığı hesaplaması için uygun olur mu?

Simülasyonlara veya yayınlanmış literatüre yapılan göndermeler de memnuniyetle karşılanacaktır.

Örnek kod

Eğer yardımcı olursa, R'de bir cevap göstermek için kullanılabilecek küçük bir simülasyon veri kümesi oluşturdum:

n <- 100
x <- data.frame(matrix(rnorm(n *5), ncol=5))
names(x) <- c('x1a', 'x1b', 'x1c', 'x2a', 'x2b')
beta <- c(1,2,3,1,2)
model2_rho_square <- .7
error_rho_square <- 1 - model2_rho_square
error_sd <- sqrt(error_rho_square / model2_rho_square* sum(beta^2))
model1_rho_square <- sum(beta[1:3]^2) / (sum(beta^2) + error_sd^2)
delta_rho_square <- model2_rho_square - model1_rho_square

x$y <- rnorm(n, beta[1] * x$x1a + beta[2] * x$x1b + beta[3] * x$x1c +
               beta[4] * x$x2a + beta[5] * x$x2b, error_sd)

c(delta_rho_square, model1_rho_square, model2_rho_square)
summary(lm(y~., data=x))$adj.r.square - 
        summary(lm(y~x1a + x1b + x1c, data=x))$adj.r.square

Bootstrap ile ilgili endişe nedeni

Bazı verilerde yaklaşık 300 vaka ve basit modelde 5 tahminci ve tam modelde 30 tahminci ile bir bootstrap çalıştırdım. Düzeltilmiş r-kare farkı kullanan örnek tahmini 0.116, güçlendirilmiş güven aralığı çoğunlukla% CI95 (0.095 ila 0.214) arasındaydı ve önyüklemelerin ortalaması örnek tahmininin yakınında değildi. Daha ziyade, güçlendirilmiş numunelerin ortalamasının, numunedeki r-kareler arasındaki farkın örnek tahminine odaklandığı görülmüştür. Bu, farkı tahmin etmek için örnek ayarlı r-karelerini kullandığım gerçeğine rağmen.

İlginç bir şekilde, hesaplamanın alternatif bir yolunu denedim .$\Delta\rho^2$

1. örnek r-kare değişimini hesapla
2. standart ayarlanmış r-kare formülünü kullanarak örnek r-kare değişikliğini ayarlayın

Örnek veri uygulandığında bu tahmini, indirgenmiş için değil güven aralıkları .118 ortalama ile ilk bahsedilen yöntem, CI95,% (.062, 0,179) için uygun gibiydi.$\Delta \rho^2$.082

Genel olarak, önyüklemenin örneklemin popülasyon olduğunu varsaydığından endişe duyuyorum ve bu nedenle aşırı sığdırmayı azaltan tahminler uygun şekilde çalışmayabilir.

Nüfus $R^2$

Öncelikle R kare nüfusunun tanımını anlamaya çalışıyorum .

Yorumunuz alıntılanıyor:

Ya da asemptotik olarak numunenizde örnek büyüklüğünüz sonsuza yaklaştıkça açıklanan varyans oranı olarak tanımlayabilirsiniz.

Sanırım bu, modeli sonsuza kadar defalarca çoğalttığında (her kopyada aynı öngörücülerle) örneğinin sınırı olduğunu kastediyorsunuz . $R^2$

Peki örneğinin asimptotik değerinin formülü nedir? Doğrusal modelinizi Y = μ + σ G , https://stats.stackexchange.com/a/58133/8402'de olduğu gibi yazın ve bu bağlantıyla aynı gösterimleri kullanın. Daha sonra R 2 örneğinin p o p R 2'ye gittiğini kontrol edebilirsiniz : = $R^²$$\boxed{Y=\mu+\sigma G}$
$R^2$ , biriY=μ+σGmodelinisonsuz kezçoğaltırsa.$\boxed{popR^2:=\dfrac{\lambda}{n+\lambda}}$$Y=\mu+\sigma G$

Örnek olarak:

> ## design of the simple regression model lm(y~x0)
> n0 <- 10
> sigma <- 1
> x0 <- rnorm(n0, 1:n0, sigma)
> a <- 1; b <- 2 # intercept and slope
> params <- c(a,b)
> X <- model.matrix(~x0)
> Mu <- (X%*%params)[,1]
> 
> ## replicate this experiment k times 
> k <- 200
> y <- rep(Mu,k) + rnorm(k*n0)
> # the R-squared is:
> summary(lm(y~rep(x0,k)))$r.squared 
[1] 0.971057
> 
> # theoretical asymptotic R-squared:
> lambda0 <- crossprod(Mu-mean(Mu))/sigma^2
> lambda0/(lambda0+n0)
          [,1]
[1,] 0.9722689
> 
> # other approximation of the asymptotic R-squared for simple linear regression:
> 1-sigma^2/var(y)
[1] 0.9721834

Bir alt modelin nüfusu$R^2$

Şimdi modelin H 1 : μ ∈ W 1 ile olduğunu varsayın ve H 0 : μ ∈ W 0 alt modelini düşünün .$\boxed{Y=\mu+\sigma G}$$H_1\colon\mu \in W_1$$H_0\colon \mu \in W_0$

$R^2$$H_1$$\boxed{popR^2_1:=\dfrac{\lambda_1}{n+\lambda_1}}$$\boxed{\lambda_1=\frac{{\Vert P_{Z_1} \mu\Vert}^2}{\sigma^2}}$$Z_1=[1]^\perp \cap W_1$${\Vert P_{Z_1} \mu\Vert}^2=\sum(\mu_i - \bar \mu)^2$

$R^2$ $H_0$$R^2$$H_0$$H_1$

Sorduğunuz soruyu cevaplamak yerine, neden bu soruyu sorduğunuzu soracağım. Sanırım bilmek isteyip istemediğinizi

mod.small <- lm(y ~ x1a + x1b + x1c, data=x)

en azından kadar iyi

mod.large <- lm(y ~ ., data=x)

açıklamasında y. Bu modeller iç içe geçtiği için, bu soruyu cevaplamanın en açık yolu, bunları karşılaştıran bir varyans analizi yapmak gibi görünmektedir, aynı şekilde iki GLM için sapma analizi uygulayabilirsiniz.

anova(mod.small, mod.large)

Daha sonra, modeller arasındaki örnek R-kare geliştirmeyi, popülasyondaki uyum gelişiminin ne olacağına dair en iyi tahmininiz olarak kullanabilirsiniz, her zaman R kare nüfusu anlayabileceğinizi varsayarsak. Şahsen yapabileceğimden emin değilim, ama bununla her iki şekilde de önemli değil.

Daha genel olarak, nüfus miktarlarıyla ilgileniyorsanız, muhtemelen genellemeyle ilgileniyorsunuzdur, bu nedenle örnek bir uyum ölçütü tam olarak istediğiniz şey değildir, ancak 'düzeltildi'. Örneğin, MSE gibi örneklemeden yapmayı beklediğiniz gerçek hataların türünü ve miktarını tahmin eden bir miktarın çapraz doğrulaması, istediğiniz şeye ulaşmış gibi görünmektedir.

Ama burada bir şeyleri kaçırmak mümkün ...

$\rho^2$

Çift ayarlı r-kare çizme

Bir cevapta şu anki en iyi tahminim, çift ayarlı bir r-kare önyükleme yapmaktır. Tekniği uyguladım. Aşağıdakileri içerir:

• Mevcut verilerden bir dizi bootstrap örneği oluşturun.
• Her önyükleme örneği için:
  • iki model için ilk düzeltilmiş r-karesini hesapla
  • önceki adımdan ayarlanan r-kare değerlerinde ikinci ayarlanmış r-karesini hesapla
  • $\Delta \rho^2$

Gerekçe, ilk ayarlanan r-karesinin önyükleme ile ortaya çıkan önyargıyı kaldırmasıdır (yani, önyükleme, örnek r-karesinin popülasyon r-kare olduğunu varsayar). İkinci ayarlanan r-kare, popülasyon r-karesini tahmin etmek için normal bir örneğe uygulanan standart düzeltmeyi gerçekleştirir.

Bu noktada, görebildiğim tek şey, bu algoritmanın uygulanmasının doğru görünen tahminler üretmesidir (yani, bootstrap içindeki ortalama theta_hat, theta_hat örneğine çok yakındır). Standart hata sezgilerimle uyuşuyor. Henüz veri üretme sürecinin bilindiği uygun frekansta kapsama alanı sağlayıp sağlamadığını test etmedim ve bu noktada argümanın ilk ilkelerden nasıl gerekçelendirilebileceğinden tam olarak emin değilim

Bu yaklaşımın neden sorunlu olabileceğine dair herhangi bir neden görürse, bunu duyduğuma minnettar olurum.

Algina ve ark.

$\Delta \rho^2$

Smithson (2001) merkez dışılık parametresini kullanma hakkında

$R^2$$f^2$$R^2$

Referanslar

• Algina, J., Keselman, HJ ve Penfield, RD Kareli Çoklu Semipartial Korelasyon Katsayısı için Güven Güven Aralıkları. PDF
• Smithson, M. (2001). Çeşitli regresyon etkisi boyutları ve parametreleri için doğru güven aralıkları: Hesaplama aralıklarında merkezi olmayan dağılımların önemi. Eğitim ve Psikolojik Ölçüm, 61 (4), 605-632.