Özel ortalama ve standart sapma gibi belirli kısıtlamaları sağlayan veriler nasıl simüle edilir?

Bu soru meta-analiz konusundaki sorumum tarafından motive edildi . Ancak, mevcut bir yayınlanmış veri setini tam olarak yansıtan bir veri seti oluşturmak istediğiniz bağlamları öğretmede de faydalı olacağını hayal ediyorum.

Belirli bir dağıtımdan rasgele veri üretmeyi biliyorum. Örneğin, bir çalışmanın sonuçlarını okuduysanız:

• 102 ortalama,
• 5.2 standart bir sapma ve
• 72 örneklem büyüklüğü.

rnormR kullanarak benzer veri üretebilir.

set.seed(1234)
x <- rnorm(n=72, mean=102, sd=5.2)

Tabii ki ortalama ve SD sırasıyla 102 ve 5.2'ye tam olarak eşit olmaz:

round(c(n=length(x), mean=mean(x), sd=sd(x)), 2)
##     n   mean     sd 
## 72.00 100.58   5.25 

Genel olarak, bir dizi kısıtlamaya uyan verinin nasıl simüle edileceği ile ilgileniyorum. Yukarıdaki durumda, sınırlar örneklem büyüklüğü, ortalama ve standart sapmadır. Diğer durumlarda, ek kısıtlamalar olabilir. Örneğin,

• Verilerde veya temel değişkende minimum ve maksimum olarak bilinir.
• değişkenin yalnızca tam sayı değerlerini veya yalnızca negatif olmayan değerleri aldığı bilinmektedir.
• Veriler bilinen korelasyonları olan çoklu değişkenler içerebilir.

Sorular

• Genel olarak, bir dizi kısıtlamayı tam olarak karşılayan verileri nasıl simüle edebilirim?
• Bununla ilgili yazılmış makaleler var mı? R'de bunu yapan herhangi bir program var mı?
• Örnek olarak, bir değişkeni belirli bir ortalama ve sd'ye sahip olacak şekilde nasıl simüle edebilirim ve etmeliyim?

Genel olarak, numunenizi önceden belirlenmiş bir değere tam olarak eşit ve değişken yapmak için , değişkeni uygun şekilde kaydırıp ölçeklendirebilirsiniz. Spesifik olarak, eğer bir örnek ise, o zaman yeni değişkenler$X_1, X_2, ..., X_n$

$$Z_i = \sqrt{c_{1}} \left( \frac{X_i-\overline{X}}{s_{X}} \right) + c_{2}$$

burada örneklem ortalamasıdır ve , örnek varyansıdır, 'nin örnek ortalaması tam olarak ve örnek varyansı tam olarak . Benzer şekilde inşa edilmiş bir örnek menzili sınırlayabilir -s 2 x =$\overline{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$Zic2c$s^{2}_{X} = \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X})^2$$Z_{i}$$c_2$$c_1$

$$B_i = a + (b-a) \left( \frac{ X_i - \min (\{X_1, ..., X_n\}) }{\max (\{X_1, ..., X_n\}) - \min (\{X_1, ..., X_n\}) } \right)$$

aralığıyla sınırlı olan veri kümesini . ( a , b $B_1, ..., B_n$$(a,b)$

Not: Bu tür kaydırma / ölçekleme, genel olarak, orijinal veriler yer ölçeğinde bir aileden gelse bile, verilerin dağılım ailesini değiştirir.

Kapsamında normal dağılımmvrnorm fonksiyonu R Eğer önceden belirlenmiş bir normal (veya normal değişkenli) veri taklit sağlar örnek ayarlayarak / kovaryans ortalama empirical=TRUE. Spesifik olarak, bu fonksiyon , numune ortalaması ve (co) varyansının önceden belirlenmiş bir değere eşit olması koşuluyla normal dağılıma ait bir değişkenin koşullu dağılımından gelen verileri simüle eder . Elde edilen marjinal dağılımların , ana soruya yapılan bir yorumda @whuber tarafından belirtildiği gibi normal olmadığını unutmayın.

Örnek ortalamasının ( 4'lük bir örnekten ) 0 olması ve örnek standart sapmanın 1 olmasıyla sınırlandırıldığı basit tek değişkenli bir örnek. İlk elemanın normal dağılıma göre eşit dağılıma çok daha yakın olduğunu görebiliriz. dağıtım:$n=4$

library(MASS)
 z = rep(0,10000)
for(i in 1:10000)
{
    x = mvrnorm(n = 4, rep(0,1), 1, tol = 1e-6, empirical = TRUE)
    z[i] = x[1]
}
hist(z, col="blue")

$\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ $

Bildiri talebinizle ilgili olarak:

• Chatterjee, S. ve Fırat, A. (2007). Aynı istatistiklere sahip fakat farklı grafiklerle veri oluşturma: Anscombe veri kümesine bir takip. Amerikan İstatistiği, 61 , 3, sayfa 248-254.

Bu tam olarak aradığınız şey değil, ancak değirmen için bir zafer görevi görebilir.

---

Kimsenin bahsetmediği başka bir strateji var. Kalan verileri uygun değerlerde sabitlendiği sürece tüm kümenin kısıtlamalarını karşıladığı şekilde bir büyüklüğü kümesinden (sözde) rasgele veri üretmek mümkündür . Gerekli değerler bir denklem sistemi , cebir ve bir miktar dirsek yağı ile çözülebilir olmalıdır . N k k $N-k$$N$$k$$k$$k$

Örneğin, belirli bir örnek ortalamasını, ve varyansı, olacak normal bir dağılımdan bir verileri kümesi oluşturmak için , iki noktanın değerlerini düzeltmeniz gerekir: ve . Örnek ortalama şu şekilde olduğundan: olmalı: Örnek sapması: , böylece (yukarıdaki ikame sonra / dağıtma folyo, ve yeniden düzenleme ... ) biz alırız: ˉ x s 2 y z ˉ x = ∑ N - 2 i = 1 x $N$$\bar x$$s^2$$y$$z$
yy=N ˉ

$$\bar x = \frac{\sum_{i=1}^{N-2}x_i\; + \;y\!+\!z}{N}$$ $y$ $$y = N\bar x\; - \;\left(\sum_{i=1}^{N-2}x_i\!+\!z\right)$$ $$s^2 = \frac{\sum_{i=1}^{N-2}(x_i - \bar x)^2\; + \;(y - \bar x)^2\!+\!(z - \bar x)^2}{N-1}$$ $y$ a = - 2 b = 2 ( N ˉ x - ∑ N - 2 i = 1 x i ) c $$2(N\bar{x}\! - \!\sum_{i=1}^{N-2}x_i)z - 2z^2 = N\bar{x}^2(N\!-\!1) + \sum_{i=1}^{N-2}x_i^2 + \left[\sum_{i=1}^{N-2}x_i\right]^2 - 2N\bar{x}\sum_{i=1}^{N-2}x_i - (N\!-\!1)s^2$$ Eğer , alırsak ve , olarak , ikinci dereceden formülünü kullanarak için çözebiliriz . Örneğin, içinde , aşağıdaki kod kullanılabilir: $a=-2$$b=2(N\bar{x} - \sum_{i=1}^{N-2}x_i)$$c$$z$R

find.yz = function(x, xbar, s2){
  N    = length(x) + 2
  sumx = sum(x)
  sx2  = as.numeric(x%*%x)          # this is the sum of x^2
  a    = -2
  b    = 2*(N*xbar - sumx)
  c    = -N*xbar^2*(N-1) - sx2 - sumx^2 + 2*N*xbar*sumx + (N-1)*s2
  rt   = sqrt(b^2 - 4*a*c)

  z    = (-b + rt)/(2*a)
  y    = N*xbar - (sumx + z)
  newx = c(x, y, z)
  return(newx)
}

set.seed(62)
x    = rnorm(2)
newx = find.yz(x, xbar=0, s2=1)
newx                                # [1] 0.8012701  0.2844567  0.3757358 -1.4614627
mean(newx)                          # [1] 0
var(newx)                           # [1] 1

Bu yaklaşım hakkında anlaşılması gereken bazı şeyler var. İlk olarak, çalışacağı garanti edilmez. Örneğin, ilk verilerinizin , elde edilen kümenin varyansını eşit yapacak ve değerlerinin bulunmayacağı şekilde olması mümkündür . Düşünmek: y z s $N-2$$y$$z$$s^2$

set.seed(22)    
x    = rnorm(2)
newx = find.yz(x, xbar=0, s2=1)
Warning message:
In sqrt(b^2 - 4 * a * c) : NaNs produced
newx                                # [1] -0.5121391  2.4851837        NaN        NaN
var(c(x, mean(x), mean(x)))         # [1] 1.497324

İkincisi, standartlaştırma tüm değişkenlerinizin marjinal dağılımını daha homojen kılarken, bu yaklaşım sadece son iki değeri etkiler, fakat marjinal dağılımlarını çarpıtır:

set.seed(82)
xScaled = matrix(NA, ncol=4, nrow=10000)
for(i in 1:10000){
  x           = rnorm(4)
  xScaled[i,] = scale(x)
}

set.seed(82)
xDf = matrix(NA, ncol=4, nrow=10000)
i   = 1
while(i<10001){
  x       = rnorm(2)
  xDf[i,] = try(find.yz(x, xbar=0, s2=2), silent=TRUE)  # keeps the code from crashing
  if(!is.nan(xDf[i,4])){ i = i+1 }                      # increments if worked
}

Üçüncüsü, elde edilen örnek çok normal görünmeyebilir ; aslında 'aykırılıklara' (yani, diğerlerinden farklı bir veri üretme sürecinden gelen noktalara) sahip gibi görünebilir, çünkü esasen böyledir. Üretilen verilerden alınan örnek istatistiklerin istenen değerlere yakınlaşması ve bu nedenle daha az ayar gerektirmesi gerektiğinden, bu durum daha büyük örneklem büyüklüğüyle ilgili bir sorun olma ihtimalinin düşük olması anlamına gelir. Daha küçük örneklerde, bu yaklaşımı her zaman, oluşturulan örnek kabul edilebilir sınırların dışında (şekil, @ kardinal'in yorumu ) dışında olan şekil istatistiklerine (örn., Çarpıklık ve kurtoz) sahipse veya uzatırsa tekrar deneyen bir kabul / red algoritmasıyla birleştirebilirsiniz. sabit bir ortalama, varyans, çarpıklık vekurtosis (Ben cebiri sana bırakacağım). Alternatif olarak, az sayıda örnek üretebilir ve örneğin en küçük (örneğin) Kolmogorov-Smirnov istatistiklerini kullanabilirsiniz.

library(moments)
set.seed(7900)  
x = rnorm(18)
newx.ss7900 = find.yz(x, xbar=0, s2=1)
skewness(newx.ss7900)                       # [1] 1.832733
kurtosis(newx.ss7900) - 3                   # [1] 4.334414
ks.test(newx.ss7900, "pnorm")$statistic     # 0.1934226

set.seed(200)  
x = rnorm(18)
newx.ss200 = find.yz(x, xbar=0, s2=1)
skewness(newx.ss200)                        # [1] 0.137446
kurtosis(newx.ss200) - 3                    # [1] 0.1148834
ks.test(newx.ss200, "pnorm")$statistic      # 0.1326304 

set.seed(4700)  
x = rnorm(18)
newx.ss4700 = find.yz(x, xbar=0, s2=1)
skewness(newx.ss4700)                       # [1]  0.3258491
kurtosis(newx.ss4700) - 3                   # [1] -0.02997377
ks.test(newx.ss4700, "pnorm")$statistic     # 0.07707929S

Genel teknik, kısıtlamalarınıza uymayan sonuçları reddettiğiniz 'Reddetme Yöntemi' dir. Bir tür rehberliğiniz yoksa (MCMC gibi), o zaman reddedilen bir çok durum ortaya çıkarabilir (senaryoya bağlı olarak)!

Ortalama ve standart sapma gibi bir şey arıyorsanız ve hedefinizden ne kadar uzakta olduğunuzu söylemek için bir tür mesafe ölçümü oluşturabilirsiniz, istediğiniz çıktıyı veren giriş değişkenlerini aramak için optimizasyonu kullanabilirsiniz. değerler.

Bir de çirkin biz = 0 ve standart sapma = 1 anlamına sahiptir uzunluğu 100 ile rastgele homojen vektör arayacaktır örneğin.

# simplistic optimisation example
# I am looking for a mean of zero and a standard deviation of one
# but starting from a plain uniform(0,1) distribution :-)
# create a function to optimise
fun <- function(xvec, N=100) {
  xmin <- xvec[1]
  xmax <- xvec[2]
  x <- runif(N, xmin, xmax)
  xdist <- (mean(x) - 0)^2 + (sd(x) - 1)^2
  xdist
}
xr <- optim(c(0,1), fun)

# now lets test those results
X <- runif(100, xr$par[1], xr$par[2])
mean(X) # approx 0
sd(X)   # approx 1

R'de bunu yapan herhangi bir program var mı?

Runuran R paketi rasgele değişebilirlerin birçok yöntem vardır. UNU.RAN (Evrensel Üniforma Olmayan RAndom Numarası üreteci) projesinden C kütüphanelerini kullanır . Rastgele değişken nesil alanının Kendi bilgi sınırlıdır, ancak Runuran vinyet güzel bakış sağlar. Aşağıda, Runuran paketindeki skeçten alınan mevcut yöntemler yer almaktadır:

Sürekli dağılımlar:

• Uyarlanabilir Reddetme Örneklemesi
• Ters Dönüştürülmüş Yoğunluk Reddi
• Ters CDF'nin Polinom İnterpolasyonu
• Basit Üniforma Oranı Yöntemi
• Dönüştürülmüş Yoğunluk Reddi

Ayrık dağılımlar:

• Kesikli Otomatik Reddetme Ters Çevirme
• Alias-Urn Yöntemi
• Kesikli İnversiyon için Kılavuz-Tablo Yöntemi

Çok değişkenli dağılımlar:

• Üniforma Oranı Yöntemi ile Hit-Run algoritması
• Çok Değişkenli Naif Üniforma Oranı Yöntemi

Örnek:

Hızlı bir örnek için, 0 ile 100 arasında sınırlanmış bir Normal dağılım oluşturmak istediğinizi varsayalım:

require("Runuran")

## Normal distribution bounded between 0 and 100
d1 <- urnorm(n = 1000, mean = 50, sd = 25, lb = 0, ub = 100)

summary(d1)
sd(d1)
hist(d1)

urnorm()Fonksiyonu uygun bir sarıcı fonksiyonudur. Sahnelerin arkasında Ters CDF yönteminin Polinom İnterpolasyonu kullandığına inanıyorum ama emin değilim. Daha karmaşık bir şey için, örneğin, 0 ile 100 arasında sınırlanmış belirli bir Normal dağılım:

require("Runuran")

## Discrete normal distribution bounded between 0 and 100
# Create UNU.RAN discrete distribution object
discrete <- unuran.discr.new(pv = dnorm(0:100, mean = 50, sd = 25), lb = 0, ub = 100)

# Create UNU.RAN object using the Guide-Table Method for Discrete Inversion
unr <- unuran.new(distr = discrete, method = "dgt")

# Generate random variates from the UNU.RAN object
d2 <- ur(unr = unr, n = 1000)

summary(d2)
sd(d2)
head(d2)
hist(d2)

Sadece dün yayınlanan gereksinimi karşılayan bir R paketi var gibi görünüyor! simstudy Keith Goldfeld tarafından

Modelleme tekniklerini keşfetmek veya veri üreten süreçleri daha iyi anlamak için veri setlerini simüle eder. Kullanıcı değişkenler arasında bir dizi ilişki belirtir ve bu özelliklere dayanarak veri üretir. Son veri setleri, randomize kontrol denemelerinden, tekrarlanan ölçüm (boyuna) tasarımlardan ve küme randomize denemelerinden gelen verileri temsil edebilir. Eksiklik, çeşitli mekanizmalar (MCAR, MAR, NMAR) kullanılarak üretilebilir.

$$\prod_{i=1}^n f(x_i)$$ $$\sum_{i=1}^n x_i=\mu_0\qquad\sum_{i=1}^n x_i^2=\sigma_0^2$$

Bu cevap, değişkenleri belirli bir aralıkta kalmaya zorlamak ve ek olarak ortalamayı ve / veya varyansı dikte etmek istediğiniz duruma başka bir yaklaşım olarak değerlendirir .

$[0,1]$$w_k\in[0,1]$$\sum_{k=1}^Nw_k=1$$w_k=1/N$$\mu\in(0,1)$$0<\sigma^2<\mu(1-\mu)$$\sigma^2$$x_1,...,x_N$$[0,1]$

$y_1,...,y_N$$N(0,1)$$[0,1]$

$$x_k=\frac{1}{1+e^{-(y_k v-h)}}$$

$y_k$$h$$v$$h$$v$$x_1,...,x_N$

$$\mu=\sum_{k=1}^N \frac{w_k}{1+e^{-(y_k v-h)}} \\ \sigma^2=\sum_{k=1}^N \frac{w_k}{(1+e^{-(y_k v-h)})^2} - \left( \sum_{k=1}^N \frac{w_k}{1+e^{-(y_k v-h)}} \right)^2$$

$v$$h$$v$$h$

$\mu=0.8$$v=1$$w_k=1/N$$N=200000$$N(0,1)$$N(0,0.1)$$\text{Unif}(0,1)$ $0.8$$N$

$\mu=0.2$$w_k=1/N$$N=2000$$\sigma=0.1,0.05,0.01$$N(0,1)$

Bunların biraz beta dağıtılmış göründüğünü unutmayın, ancak değil.

Cevabım burada , bunu yaparken üç R paketleri listelenmektedir:

• SimCorrMix
• SimMultiCorrData
• simrel