R bellek yönetimi / n Mb boyutunda vektör tahsis edemez

R'de büyük nesneleri kullanmaya çalışırken sorunlarla karşılaşıyorum. Örneğin:

> memory.limit(4000)
> a = matrix(NA, 1500000, 60)
> a = matrix(NA, 2500000, 60)
> a = matrix(NA, 3500000, 60)
Error: cannot allocate vector of size 801.1 Mb
> a = matrix(NA, 2500000, 60)
Error: cannot allocate vector of size 572.2 Mb # Can't go smaller anymore
> rm(list=ls(all=TRUE))
> a = matrix(NA, 3500000, 60) # Now it works
> b = matrix(NA, 3500000, 60)
Error: cannot allocate vector of size 801.1 Mb # But that is all there is room for

Bunun bitişik bellek bloklarını elde etmenin zorluğuyla ilgili olduğunu anlıyorum ( buradan ):

Başlayan hata mesajları, boyut vektörü tahsis edemez, bellek elde etme başarısızlığını belirtir, çünkü boyut bir işlem için adres alanı sınırını aşmıştır veya daha büyük olasılıkla, sistem belleği sağlayamamaktadır. 32 bitlik bir yapıda yeterli boş bellek olabileceğini, ancak onu eşlemek için yeterince büyük bir bitişik adres alanı bloğu olmadığını unutmayın.

Bunu nasıl aşabilirim? Benim asıl zorluğum betiğimde belirli bir noktaya gelmem ve R'nin bir nesneye 200-300 Mb ayıramaması ... Diğer işlemler için belleğe ihtiyacım olduğu için bloğu gerçekten önceden ayıramıyorum. Bu, gereksiz nesneleri özenle kaldırdığımda bile oluyor.

DÜZENLEME: Evet, üzgünüm: Windows XP SP3, 4Gb RAM, R 2.12.0:

> sessionInfo()
R version 2.12.0 (2010-10-15)
Platform: i386-pc-mingw32/i386 (32-bit)

locale:
[1] LC_COLLATE=English_Caribbean.1252  LC_CTYPE=English_Caribbean.1252   
[3] LC_MONETARY=English_Caribbean.1252 LC_NUMERIC=C                      
[5] LC_TIME=English_Caribbean.1252    

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base

Tüm bu verilere gerçekten ihtiyacınız olup olmadığını düşünün veya matris seyrek olabilir mi? MatrixSeyrek matrisler için R'de ( örneğin pakete bakınız) iyi destek vardır .

Bu boyutta nesneler yapmanız gerektiğinde, R'deki diğer tüm işlemleri ve nesneleri minimumda tutun. gc()Şu anda kullanılmayan belleği temizlemek için kullanın veya daha iyisi yalnızca ihtiyacınız olan nesneyi bir oturumda oluşturun .

Yukarıdakiler yardımcı olamazsa, karşılayabileceğiniz kadar RAM'e sahip 64 bit bir makine edinin ve 64 bit R'yi yükleyin.

Bunu yapamazsanız, uzaktan bilgi işlem için birçok çevrimiçi hizmet vardır.

Bunu yapamazsanız, paket gibi ff(veya bigmemorySascha'nın bahsettiği gibi) bellek haritalama araçları yeni bir çözüm oluşturmanıza yardımcı olacaktır. Benim sınırlı deneyimime ffgöre daha gelişmiş paket, ancak High Performance ComputingCRAN Görev Görünümleri hakkındaki konuyu okumalısınız .

Windows kullanıcıları için aşağıdakiler, bazı bellek sınırlamalarını anlamama çok yardımcı oldu:

• R'yi açmadan önce, Windows Kaynak Monitörü'nü açın (Ctrl-Alt-Sil / Görev Yöneticisini Başlat / Performans sekmesi / alt düğme 'Kaynak Monitörü' / Bellek sekmesine tıklayın)
• Bize ne kadar RAM bellek göreceksiniz zaten açık Ar önce ve hangi uygulamalar tarafından kullanılan. Benim durumumda, toplam 4 GB'ın 1,6 GB'ı kullanılıyor. Yani R için sadece 2,4 GB alabileceğim, ama şimdi daha da kötüsü geliyor ...
• R'yi açın ve 1,5 GB'lık bir veri kümesi oluşturun, ardından boyutunu 0,5 GB'a düşürün, Kaynak Monitörü RAM'imin yaklaşık% 95 oranında kullanıldığını gösteriyor.
• gc()çöp toplama yapmak için kullan => işe yarıyor, bellek kullanımının 2 GB'a düştüğünü görebiliyorum

Makinemde çalışan ek tavsiyeler:

• özellikleri hazırlayın, RData dosyası olarak kaydedin, R'yi kapatın, R'yi yeniden açın ve tren özelliklerini yükleyin. Kaynak Yöneticisi tipik olarak daha düşük bir Bellek kullanımı gösterir, bu da gc () bile tüm olası belleği kurtarmaz ve R'yi kapatmak / yeniden açmak, kullanılabilir maksimum bellekle başlamak için en iyi sonucu verir .
• diğer numara ise sadece eğitim için tren setini yüklemektir (test setini yüklemeyin, bu tipik olarak tren setinin yarısı kadar olabilir). Eğitim aşaması hafızayı maksimum (% 100) kullanabilir, bu nedenle mevcut olan her şey yararlıdır. Tüm bunları, R bellek limitlerini denerken bir miktar tuzla almaktır.

İşte bu konuyla ilgili ilginç bulabileceğiniz bir sunum:

http://www.bytemining.com/2010/08/taking-r-to-the-limit-part-ii-large-datasets-in-r/

Tartışılan şeyleri kendim denemedim, ancak bigmemorypaket çok faydalı görünüyor

Bu sınırlamadan kaçınmanın en basit yolu 64 bit R'ye geçmektir.

Yardım sayfasını takip ettim memory.limitve bilgisayarımda R'nin varsayılan olarak ~ 1.5 GB'a kadar RAM kullanabileceğini ve kullanıcının bu limiti artırabileceğini öğrendim. Aşağıdaki kodu kullanarak,

>memory.limit()
[1] 1535.875
> memory.limit(size=1800)

sorunumu çözmeme yardımcı oldu.

Benzer bir sorunla karşılaştım ve 'ReadyBoost' olarak 2 flash sürücü kullandım. İki sürücü ek 8GB bellek artışı (önbellek için) sağladı ve sorunu çözdü ve ayrıca bir bütün olarak sistemin hızını artırdı. Readyboost'u kullanmak için sürücüye sağ tıklayın, özelliklere gidin ve 'ReadyBoost'u seçin ve' bu cihazı kullan 'radyo düğmesini seçin ve yapılandırmak için uygula veya Tamam'a tıklayın.

Komut dosyanızı linux ortamında çalıştırıyorsanız, bu komutu kullanabilirsiniz:

bsub -q server_name -R "rusage[mem=requested_memory]" "Rscript script_name.R"

ve sunucu, istenen belleği sizin için ayıracaktır (sunucu sınırlarına göre, ancak iyi bir sunucu ile hugefiles kullanılabilir)

Yukarıda bahsedilen kaydet / yükle yöntemi benim için çalışıyor. gc()Belleği nasıl / eğer birleştirir emin değilim ama bu işe yarıyor gibi görünüyor.

# defrag memory 
save.image(file="temp.RData")
rm(list=ls())
load(file="temp.RData")