Verilerin bir gauss dağılımı olduğunda, kaç örnek onu karakterize eder?

Tek bir boyutta dağıtılan Gauss verileri, onu karakterize etmek için iki parametre gerektirir (ortalama, varyans) ve söylentiye göre, rasgele seçilen yaklaşık 30 örnek genellikle bu parametreleri makul derecede yüksek bir güvenle tahmin etmek için yeterlidir. Ancak boyut sayısı arttıkça ne olur?

İki boyutta (örneğin, boy, ağırlık) bir "en uygun" elipsi belirtmek 5 parametre alır. Üç boyutta, elipsoidi tanımlamak için 9 parametreye yükselir ve 4-D'de 14 parametre alır. Bu parametreleri tahmin etmek için gereken örnek sayısının karşılaştırılabilir bir oranda, daha yavaş bir oranda mı yoksa daha yüksek bir oranda mı (lütfen hayır!) Yükselip yükselmediğini bilmek istiyorum. Daha da iyisi, belirli sayıda boyutta bir gauss dağılımını karakterize etmek için kaç örnek gerektiğini gösteren geniş çapta kabul gören bir başparmak kuralı olsaydı, bunu bilmek iyi olurdu.

Daha kesin olmak gerekirse, tüm örneklerin% 95'inin düşeceğinden emin olabileceğimiz ortalama noktada ortalanmış simetrik bir "en uygun" sınır tanımlamak istediğimizi varsayalım. Bu sınıra (yaklaşık 1-B, 2-B elips, vb.) Uygun yüksek (>% 95) güven ile parametreleri bulmak için kaç örnek alabileceğini ve bu sayının nasıl değiştiğini bilmek istiyorum. boyutların sayısı artar.

Çok değişkenli bir Normal dağılımın parametrelerini belirli bir güven için belirtilen doğrulukta tahmin etmek için gereken veri miktarı, boyutla değişmez, diğer tüm şeyler aynıdır. Bu nedenle, herhangi bir değişiklik yapmadan yüksek boyutlu problemlere iki boyut için herhangi bir başparmak kuralı uygulayabilirsiniz.

Neden olsun ki? Sadece üç tür parametre vardır: ortalamalar, varyanslar ve kovaryanslar. Ortalamadaki tahmin hatası sadece varyans ve veri miktarına bağlıdır, . Bu nedenle, çok değişkenli bir Normal dağılıma ve varyansları , tahminleri sadece ve . Nereden, tahmin yeterli doğruluk elde etmek için tüm , sadece için gerekli veri miktarını dikkate almak gerekir sahip büyük bir$n$$(X_1, X_2, \ldots, X_d)$$X_i$$\sigma_i^2$$\mathbb{E[X_i]}$$\sigma_i$$n$$\mathbb{E}[X_i]$$X_i$$\sigma_i$. Bu nedenle, boyutlarını arttırmak için bir dizi tahmin problemini düşündüğümüzde, düşünmemiz gereken tek şey en büyük ne kadar artacağıdır. Bu parametreler yukarıda sınırlandığında, gerekli veri miktarının boyuta bağlı olmadığı sonucuna varıyoruz .$d$$\sigma_i$

Benzer düşünceler ve kovaryanslar varyanslarını tahmin etmek için de geçerlidir : bir kovaryansın (veya korelasyon katsayısının) istenen doğrulukta tahmin edilmesi için belirli bir miktarda veri yeterli ise , o zaman - alttaki normal dağılımın benzer olması şartıyla parametre değerleri - herhangi bir kovaryans veya korelasyon katsayısını tahmin etmek için aynı miktarda veri yeterli olacaktır .$\sigma_i^2$$\sigma_{ij}$

Bu argümanı örneklendirmek ve ampirik destek sağlamak için bazı simülasyonları inceleyelim. Aşağıda belirtilen boyutların çok normal dağılımına yönelik parametreler yaratılır, bu dağıtımdan birçok bağımsız, aynı şekilde dağıtılmış vektör kümesi çekilir, bu örneklerin her birinden parametreler tahmin edilir ve bu parametre tahminlerinin sonuçları (1) ortalamaları- - tahminlerin doğruluğunu ölçen standart sapmalarının tarafsız olduğunu (ve kodun düzgün çalıştığını - ve (2) göstermek için) (Birden fazla elde edilen tahminler arasındaki varyasyon miktarını niceleyen bu standart sapmaları karıştırmayın. altta yatan multinormal dağılımı tanımlamak için kullanılan standart sapmalarla simülasyonun yinelemeleri!$d$ değişiklikleri, değiştikçe, altta yatan multinormal dağılımın kendisine daha büyük varyanslar getirmemiz koşuluyla .$d$

Temel dağılımın varyanslarının boyutları, bu simülasyonda, kovaryans matrisinin en büyük öz değeri eşitlenerek kontrol edilir . Bu, bu bulutun şekli ne olursa olsun, boyut arttıkça olasılık yoğunluğunu "bulut" sınır içinde tutar. Boyut arttıkça sistemin diğer davranış modellerinin simülasyonları sadece özdeğerlerin nasıl üretildiğini değiştirerek oluşturulabilir; bir örnek (Gamma dağılımı kullanılarak) aşağıdaki kodda açıklanmıştır.$1$R

Aradığımız, parametre tahminlerinin standart sapmalarının, boyutu değiştiğinde önemli ölçüde değişmediğini doğrulamaktır . Bu yüzden, iki uç, sonuçlarını gösterir ve , aynı miktarda veri (kullanarak her iki durumda da). , eşit olduğunda tahmin edilen parametre sayısının, vektörlerin ( ) sayısını çok aştığı ve tüm veri kümesindeki bireysel sayıları ( ) bile aştığı dikkate değerdir .$d$$d=2$$d=60$$30$$d=60$$1890$$30$$30*60=1800$

İki boyutla başlayalım, . Beş parametre vardır: iki varyans ( bu simülasyonda ve standart sapmaları ile ), bir kovaryans (SD = ) ve iki ortalama (SD = ve ). Farklı simülasyonlarla (rastgele tohumun başlangıç ​​değerini değiştirerek elde edilebilir) bunlar biraz değişecektir, ancak örnek boyutu olduğunda tutarlı bir şekilde karşılaştırılabilir boyutta olacaktır . Örneğin, bir sonraki simülasyonda SD'ler , , , ve$d=2$$0.097$$0.182$$0.126$$0.11$$0.15$$n=30$$0.014$$0.263$$0.043$$0.04$$0.18$sırasıyla: hepsi değişti ancak karşılaştırılabilir büyüklük derecelerine sahipler.

(Bu ifadeler teorik olarak desteklenebilir ancak burada amaç tamamen ampirik bir gösteri sunmaktır.)

Şimdi taşımak , numune büyüklüğü tutma . Spesifik olarak, bu, her örneğin , her biri bileşene sahip vektörden oluştuğu anlamına gelir . standart sapmalarını listelemek yerine , aralıklarını tasvir etmek için histogramları kullanarak resimlerine bakalım.$d=60$$n=30$$30$$60$$1890$

Üst satırdaki dağılım grafikleri, gerçek parametreleri sigma( ) ve ( ) , bu simülasyondaki yinelemesi sırasında yapılan ortalama tahminlerle karşılaştırır . Gri referans çizgileri mükemmel eşitlik odağını işaret eder: tahminler açıkça amaçlandığı gibi çalışır ve tarafsızdır.$\sigma$mu$\mu$$10^4$

Histogramlar, alt sırada, kovaryans matrisindeki (sol) ve ortalamalar (sağ) için tüm girişler için ayrı ayrı görünür. Bireysel varyansların SD'leri ve arasında yer alırken, ayrı bileşenler arasındaki kovaryansların SD'leri ve arasında yer alır : tam olarak olduğunda elde edilen aralıkta . Benzer şekilde, ortalama tahminlerin SD'leri ile arasındadır , bu da olduğunda görülenle karşılaştırılabilir . Kesinlikle pazarcı olduğunu ifade yoktur artmış olarak$0.08$$0.12$$0.04$$0.08$$d=2$$0.08$$0.13$$d=2$$d$dan çıktım kadar .$2$$60$

Kod aşağıdaki gibidir.

#
# Create iid multivariate data and do it `n.iter` times.
#
sim <- function(n.data, mu, sigma, n.iter=1) {
  #
  # Returns arrays of parmeter estimates (distinguished by the last index).
  #
  library(MASS) #mvrnorm()
  x <- mvrnorm(n.iter * n.data, mu, sigma)
  s <- array(sapply(1:n.iter, function(i) cov(x[(n.data*(i-1)+1):(n.data*i),])), 
        dim=c(n.dim, n.dim, n.iter))
  m <-array(sapply(1:n.iter, function(i) colMeans(x[(n.data*(i-1)+1):(n.data*i),])), 
            dim=c(n.dim, n.iter))
  return(list(m=m, s=s))
}
#
# Control the study.
#
set.seed(17)
n.dim <- 60
n.data <- 30    # Amount of data per iteration
n.iter <- 10^4  # Number of iterations
#n.parms <- choose(n.dim+2, 2) - 1
#
# Create a random mean vector.
#
mu <- rnorm(n.dim)
#
# Create a random covariance matrix.
#
#eigenvalues <- rgamma(n.dim, 1)
eigenvalues <- exp(-seq(from=0, to=3, length.out=n.dim)) # For comparability
u <- svd(matrix(rnorm(n.dim^2), n.dim))$u
sigma <- u %*% diag(eigenvalues) %*% t(u)
#
# Perform the simulation.
# (Timing is about 5 seconds for n.dim=60, n.data=30, and n.iter=10000.)
#
system.time(sim.data <- sim(n.data, mu, sigma, n.iter))
#
# Optional: plot the simulation results.
#
if (n.dim <= 6) {
  par(mfcol=c(n.dim, n.dim+1))
  tmp <- apply(sim.data$s, 1:2, hist)
  tmp <- apply(sim.data$m, 1, hist)
}
#
# Compare the mean simulation results to the parameters.
#
par(mfrow=c(2,2))
plot(sigma, apply(sim.data$s, 1:2, mean), main="Average covariances")
abline(c(0,1), col="Gray")
plot(mu, apply(sim.data$m, 1, mean), main="Average means")
abline(c(0,1), col="Gray")
#
# Quantify the variability.
#
i <- lower.tri(matrix(1, n.dim, n.dim), diag=TRUE)
hist(sd.cov <- apply(sim.data$s, 1:2, sd)[i], main="SD covariances")
hist(sd.mean <- apply(sim.data$m, 1, sd), main="SD means")
#
# Display the simulation standard deviations for inspection.
#
sd.cov
sd.mean

Bazı kısa nümerikler, standart bir normal dağılımdan oluşturulan 30 numunenin uyumu ve ardından tek değişkenli bir Gaussian'a uyması için aşağıdaki hata dağılımlarını verir.

Çeyrekler belirtilir. Bu varyasyon seviyesinin çok boyutlu durumda arzu edildiği varsayılmaktadır.

Toplam sonucu elde etmek için MatLab'ı yenmek için zamanım yok, bu yüzden "başparmak kuralımı" paylaşacağım. 30, genel bir kural veya sezgisel kural olarak sağlanır, bu nedenle sezgisel taramaların kabul edilemez olmadığı varsayılır.

Buluşsal yöntemim, Pascal'ın üçgenini tek değişkenli durumla çarparak kullanmaktır .

Eğer 2d veri kullanıyorsam, o zaman 2. satıra gidip 2x örnek veya 60 örnek almak için toplamı yaparım. 3B veri için 3. satıra gidip 4x örnek veya 120 örnek elde etmek için toplarım. 5d veri için 5. satıra gidip 16x örnek veya 480 örnek elde etmek için toplarım.

İyi şanslar.

DÜZENLE:

Sezgiseldi, ama her şey matematikte savunulmalı. Bir ballpark elde etme tecrübesi ile Finite Elements'tan polinom formlarının formülasyonundan atlayamıyorum.

Pascal üçgeninin satırının toplamı için denklem . $k^{th}$$2^k$

Buradaki yaklaşım için benim fikrim, daha fazla örnekle daha yüksek boyutlu bir dağılımın AIC'sini daha az örnekle daha az boyutlu bir dağılıma eşitlemek.

Akaike Bilgi Ölçütü (AIC), ; burada artık kareler toplamıdır, örnek sayısıdır ve model için parametre sayısıdır . $AIC = n \log( \frac {RSS}{n}) + 2*k$$RSS$$n$$k$

$AIC_1 = AIC_2$

$n_1 \log(\frac {RSS_1}{n_1}) +2k_1 = n_2 \log(\frac {RSS_2}{n_2}) +2k_2$

Elimine ettiğimiz her boyut için, ortalamanın bir satırı ve kovaryansın hem bir satırı hem de bir sütunu kaybettiği anlamına gelir. Bunu şöyle söyleyebiliriz:

$k \left( d\right)= d^2+d$ .

nın-nin

$k \left( d+1 \right) - k \left( d\right) = 2 d + 2$

Örnek noktası başına hatanın sabit olduğu varsayılarak, kalan kareler toplamı örnek sayısı ile ilişkilidir ve logaritmadaki terim sabit kalır. Örnek sayımındaki fark bir ölçeklendirme sabiti haline gelir.

Böylece sahibiz:

$n_1 A +2(k_2+2d+2) = n_2 A +2k_2$

boyutlu numunelerde artış için çözme:

$n_2- n_1 = (2(k_2+2d+2) - 2k_2) A^{-1} = (4 d+4 ) \cdot A^{-1}$

Peki ölçeklendirme işlevi nedir? 2 boyutlu çok değişkenli bir Gaussian için gereken örnek sayısının parametre başına 15 olduğunu varsayalım. Kovaryansın 2 aracı ve 4 elemanı vardır, bu nedenle 6 parametre veya 90 numune vardır. Fark 60 örnektir, . $A^{-1} = 5$

Bu noktada buluşsal yöntemlerin biraz düşük başladığını ancak gerekli örnek sayısının yaklaşık 2 katı olduğunu söyleyebilirim. Benim görüşüme göre, en iyi fayda aralığı yaklaşık 4 boyuttur.

DÜZENLE:

Bu yüzden @whuber'ın cevabını okudum ve beğendim. Ampiriktir ve bu durumda otoriterdir. Cevabına oy verdim.

Aşağıda tartışmaya çalışıyorum ve ~ 300'den fazla karakter kullanabilmeyi umuyorum ve resimleri yerleştirmeyi umuyorum. Dolayısıyla cevabın sınırları içinde tartışıyorum. Umarım bu iyidir.

Bu noktada, bunun için AIC kullanımının veya örnek boyutunun ve parametre boyutlarının nasıl kullanıldığı konusunda ikna olmadım.

Sonraki adımlar:

• @ whuber sonuçlarını kopyalayın, deneysel olarak onaylayın
• Uygun olup olmadığını doğrulamak için AIC'yi en azından bir takım topluluk açısından test edin
• AIC uygunsa, akıl yürütmedeki kusurları takip etmek için ampirik yöntemler kullanmaya çalışın.

Görüş ve önerilerinizi bekliyoruz.