Sahte korelasyonun beklenen değeri

Normal dağılımından bağımsız olarak her biri boyutunda örnek çiziyoruz .$N$$n$$(\mu,\sigma^2)$

Daha sonra numunelerinden birbirimizle en yüksek (mutlak) Pearson korelasyonuna sahip 2 numuneyi seçiyoruz.$N$

Bu korelasyonun beklenen değeri nedir?

Teşekkürler [PS Bu ev ödevi değil]

Bu sorunu ele alan şu makaleyi buldum: Jiang, Tiefeng (2004). Örnek Korelasyon Matrislerinin En Büyük Girişlerinin Asimptotik Dağılımları. Uygulamalı Olasılık Yıllıkları, 14 (2), 865-880

Jiang, istatistiklerinin asimptotik dağılımını göstermektedir. , Burada arasındaki korelasyon dikkate değerdir th ve uzunlukta rasgele vektörler inci ile ( ) 'dir$L_n = \max_{1\leq i<j\leq N} |\rho_{ij}|$$\rho_{ij}$$i$$j$$n$$i\neq j$

Görünüşe göre bu sonuç, yeterli sayıda sonlu an içeren dağıtım dağılımları için geçerlidir ( Düzenle: Aşağıdaki @ cardinal'in yorumuna bakınız). Jiang, bunun Tip I aşırı değer dağılımı olduğunu belirtiyor. Yer ve ölçek

Tip-I EV dağılımının beklenen değeri , burada Euler sabitini gösterir. Bununla birlikte, yorumlarda belirtildiği gibi, dağıtımdaki yakınsama, kendi başına, araçların sınırlayıcı dağılımın yakınsamasını garanti etmez.$\mu + \sigma \gamma$$\gamma$

Eğer bu durumda bu tür bir sonuçları olabilir, daha sonra asimptotik beklenen değerolacaktır$n L_n^2 -4\log n + \log(\log(n))$

Bunun en büyük kare korelasyonun asimptotik beklenen değerini verirken, sorunun en büyük mutlak korelasyonun beklenen değerini istediğini unutmayın. Yani% 100 orada değil ama yakın.

Düşünmeme neden olan birkaç kısa simülasyon yaptım 1) simülasyonumla ilgili bir sorun var (muhtemelen), 2) transkripsiyonum / cebirimle ilgili bir sorun var (muhtemelen) veya 3) yaklaşım, ve değerlerini kullandım. Belki de OP bu yaklaşımı kullanarak bazı simülasyon sonuçlarıyla tartışabilir?$n$$N$

@Jmtroos tarafından verilen cevaba ek olarak, simülasyonumun detayları ve @ jmtroos'un Jiang'dan (2004) beklentiyi türetmesi ile bir karşılaştırma :

Bu beklentinin değerleri, küçük için simüle edilen değerlerin üzerinde ve büyük için aşağıdadır ve arttıkça biraz farklılaşmaktadır . Bununla birlikte, makalede dağılımın asimptotik olduğunu iddia ettiği gibi, arttırmak için farklılıklar azalmaktadır . çeşitli denedim . Aşağıdaki simülasyon kullanır . R için oldukça yeniyim, bu yüzden kodumu daha iyi hale getirmek için herhangi bir ipucu veya öneri sıcak karşılanacak.$N$$N$$N$$n$$n \in [100,500]$$n=200$

set.seed(1)

ns <- 500
# number of simulations for each N

n <- 200
# length of each vector

mu <- 0
sigma <- 1
# parameters for the distribution we simulate from

par(mfrow=c(5,5))
x<-trunc(seq(from=5,to=n, length=20))
#vector of Ns

y<-vector(mode = "numeric")
#vector to store the mean correlations

k<- 1
#index for y

for (N in x) {
# loop over a range of N

    dt <- matrix(nrow=n,ncol=N)

    J <- vector(mode = "numeric")
    # vector to store the simulated largest absolute 
    # correlations for each N

    for (j in 1:ns) {
    # for each N, simulated ns times    

      for (i in 1:N) {
        dt[,i] <- rnorm(n,mu,sigma)
      }
      # perform the simulation

      M<-matrix(cor(dt),nrow=N,ncol=N)
      m <- M
      diag(m) <- NA
      J[j] <- max(abs(m), na.rm=TRUE)   
      # obtain the largest absolute correlation
      # these 3 lines came from stackoverflow
  }

    hist(J,main=paste("N=",N, " n=",n, " N(0,1)", "\nmean=",round(J[j],4))) 
    y[k]<-mean(J)
    k=k+1
}

lm1 <- lm(y~log(x))
summary(lm1)

logx_sq=log(x)^2
lm2<-lm(y~log(x)+logx_sq)
summary(lm2)
# linear models for these simulations

# Jiang 2004 paper, computation:

gamma = 0.5772
yy <- vector(mode = "numeric")
yy <- sqrt((2*log((x^2)/(sqrt(8*pi)*n^2)) + 2*gamma-(-4*log(n)+log(log(n))))/n)


plot(x,yy)
# plot the simulated correlations
points(x,y,col='red')
# add the points using the expectation