“Çok çekirdekli” kullanmak için R komut dosyamı nasıl optimize edebilirim?

4 CPU'lu bir Ubuntu-Lucid PC'de GNU R kullanıyorum. 4 CPU'nun tümünü kullanmak için "r-cran-multicore" paketini kurdum. Paketin el kitabında anladığım pratik örnekler bulunmadığından, 4 CPU'nun tamamını kullanmak için komut dosyamı nasıl optimize edeceğime dair tavsiyeye ihtiyacım var.

Veri setim, 50.000 satır ve 1600 sütun içeren bir data.frame (P1 olarak adlandırılır). Her satır için, maximun, sum ve mean'ı hesaplamak istiyorum. Betiğim aşağıdaki gibi görünüyor:

p1max <- 0
p1mean <- 0
p1sum <-0
plength <- length(P1[,1])
for(i in 1:plength){
   p1max <- c(p1max, max(P1[i,]))
   p1mean <- c(p1mean, mean(P1[i,]))
   p1sum <- c(p1sum, sum(P1[i,]))
}

Herkes bana 4 CPU kullanmak için komut dosyasını değiştirmek ve çalıştırmak için söyleyebilir misiniz?

Foreach ve doMC kullanın . Ayrıntılı açıklama burada bulunabilir . Senaryonuz çok az değişecek, satır

for(i in 1:plength){

olarak değiştirilmeli

foreach(i=1:plength) %dopar% { 

Bu paketleri kullanan çoklu görev komut dosyalarının önkoşulları

library(foreach)
library(doMC)
registerDoMC()

Dikkat notu. Belgelere göre bunu GUI'de kullanamazsınız.

Sorununuza gelince, gerçekten çoklu görevlere mi ihtiyacınız var? Veri çerçeveniz yaklaşık 1,2 GB RAM alır, bu nedenle belleğinize sığmalıdır. Uygula'yı kullanabilirsiniz:

p1smry <- apply(P1,1,summary)

Sonuç, her satırın özetini içeren bir matris olacaktır.

Ayrıca işlevi kullanabilirsiniz çekirdekli pakette bulunan mclapply . Sonra komut dosyanız şöyle görünebilir:

loopfun <- function(i) {
     summary(P1[i,])
}

res <- mclapply(1:nrow(P1),loopfun)

Bu, i-th öğesinin i-th satırının özeti olacağı listeyi döndürür. Sapply kullanarak matrise dönüştürebilirsiniz

mres <- sapply(res,function(x)x)

Birden fazla çekirdeğin nasıl kullanılacağına dair zaten bir cevabınız var, ancak asıl sorun döngülerinizi yazma şekliniz. Sonuç vektörünüzü / nesnenizi bir döngünün her yinelemesinde asla uzatmayın . Bunu yaparsanız, R'yi sonuç vektörünüzü / nesneyi kopyalamaya ve her şeyin zaman alacağı şekilde genişletmeye zorlarsınız. Bunun yerine, döngüye başlamadan önce yeterli depolama alanını önceden konumlandırın ve ilerledikçe doldurun. İşte bir örnek:

set.seed(1)
p1 <- matrix(rnorm(10000), ncol=100)
system.time({
p1max <- p1mean <- p1sum <- numeric(length = 100)
for(i in seq_along(p1max)){
   p1max[i] <- max(p1[i,])
   p1mean[i] <- mean(p1[i,])
   p1sum[i ]<- sum(p1[i,])
}
})

   user  system elapsed 
  0.005   0.000   0.005

Veya bunları şu yollarla yapabilirsiniz apply():

system.time({
p1max2 <- apply(p1, 1, max)
p1mean2 <- apply(p1, 1, mean)
p1sum2 <- apply(p1, 1, sum)
})
   user  system elapsed 
  0.007   0.000   0.006 

Ama bunun hiçbir hızlı düzgün ve bazen yavaş döngü işini halletmek.

Bununla birlikte, her zaman vectorized kod arayışında olun. Sen kullanarak satır toplamlarını ve araçları yapabilir rowSums()ve rowMeans()daha hızlı döngü veya ikisinden de hangi applysürümleri:

system.time({
p1max3 <- apply(p1, 1, max)
p1mean3 <- rowMeans(p1)
p1sum3 <- rowSums(p1)
})

   user  system elapsed 
  0.001   0.000   0.002 

Bahis yapan bir adam olsaydım, dövmekten bahsettiğim üçüncü yaklaşıma param olurdu foreach() , matrisinizdeki bir hız testinde veya diğer çok çekirdekli seçeneklerden çünkü farklı işlemcilerin çekirdeğini oluşturan ayrı işlemler.

Güncelleme: @shabbychef'in yorumunu takiben, toplamları bir kez yapmak ve ortalamanın hesaplanmasında tekrar kullanmak daha hızlı mı?

system.time({
    p1max4 <- apply(p1, 1, max)
    p1sum4 <- rowSums(p1)
    p1mean4 <- p1sum4 / ncol(p1)
    })

   user  system elapsed 
  0.002   0.000   0.002

Bu test çalışmasında değil, ama bu kapsamlı olmaktan uzak ...

Göz at kar ve kar yağışı paketlerine . Bunlarla birçok örnek ...

R ve paralellik hakkında bilgi edinmek yerine bu kodu hızlandırmak istiyorsanız, bunu yapmalısınız.

P1 = matrix(rnorm(1000), ncol=10, nrow=10
apply(P1, 1, max)
apply(P1, 1, mean)
apply(P1, 1, sum)