50 Gb DEM için küme işleme kaynakları gerekli mi?

"Kiralama amaçları" için Üniversitemdeki bilgi işlem merkezinden ihtiyaç duyduğum bilgi işlem kaynaklarını belirtmem gerekiyor. Ne isteyeceğime dair çok az fikrim var.

Aşağıdaki bilgileri dikkate alarak bir şeyler önerebilir misiniz?

Bu hesaplama kümesidir: "Toplam 80 CPU ve 160 GB bellek için 16 GB belleğe sahip 2 Dört Çekirdekli Intel Xeon 2.33 Ghz CPU içeren her blade'e sahip on blade sunucu. 2 TB disk sistemindeki hesaplar. 64 bit Linux "

Kayıpsız sıkıştırma ile orijinal veriler bir 50gb tiff dosyasıdır. Bir noktada 50gb boyutunda birkaç (on adede kadar) dosyayla çalışacağım.

GDAL, Python betikleri ve belki C ++ betikleri kullanırım. İzin verilirse, Grass GIS ve Saga GIS gibi yazılımları kullanırdım. Ayrıca, uzamsal kütüphanelerle R dili. Her zamanki arazi parametrelerini türeteceğim, belirli özelliklerin (yer şekilleri) çıkarılması için nesne yönelimli algoritmalar uygulamaya çalışacağım ve tanımlayıcı ve modelleme amaçlı istatistiksel analizi kullanacağım.

large-datasets hardware-recommendations

— Marco
kaynak

Bir cevaptan tam olarak ne bekliyorsunuz - hangi miktar veya miktar talep edilebilir? Bıçak sayısı, 1 bıçaktaki çekirdek sayısı, vb.? Doldurmanız gereken herhangi bir ipucu verebilecek bir form var mı?

— blah238

Merhaba. Biçim yok. Amirim bana bu soruları önceden soruyor (farkında olmadığım bir şey düşünerek). Ancak, daha sonra, platforma erişirken, işlemci sayısı, beklenen bellek ihtiyaçları ve işlem süresinin yanı sıra tam olarak belirtilmelidir. Yani, hayır hakkında bir fikir sahibi olmak iyi olurdu. işlemcilerin ve basit matris cebirinin (A * 0.1 + B + C / 50) gerçekleştirilmesine izin verecek bellek miktarının her biri 50 Gb boyutundaki matrislerin her biri, örneğin bir saatten daha azdır (yazılımın paralel hesaplamaya izin verdiği göz önüne alındığında) ). Teşekkür ederim.

— Marco

İlk önce soruna saldırma stratejinizi belirlerseniz yardımcı olabilir. Python komut dosyalarınızın (GDAL bağlamaları kullanarak) 'kutudan çıktığı' birden çok işlemciden yararlanabileceğine inanmıyorum. Verileri nasıl bölmeyi ve paralel işleme için nasıl çalışmayı planlıyorsunuz? Daha sonra, verilerin bir yığınında bazı testler yapabilir ve kullanmayı planladığınız çekirdek sayısına bağlı olarak toplam işlem süresini tahmin edebilirsiniz.

— DavidF

Teşekkürler David. Bu konuyu daha derinlemesine düşündüm. Matlab ile bazı testler yapacağım.

— Marco

Yani, hayır hakkında bir fikir sahibi olmak iyi olurdu. İşlemciler ve basit matris cebirinin uygulanmasına izin verecek bellek miktarı (A * 0.1 + B + C / 50)

DavidF'nin yorumlarda daha önemli olduğu gibi, devletsizliktir, makineyi boş verin, kavramsal olarak tüm matrisin ima edildiği için 50GB'lik bir matris cebirini tüm matrisle aynı anda çalıştıramazsınız (veya çalıştırmak iyi bir fikir değildir) hafızaya yazılmalıdır.

İyi bir strateji, hızlı, çok kolay ve verimli gdal_calc kullanmaktır , raster parçalara okur ve yazar, bu yüzden çok bellek verimlidir.

Örneğin: gdal_calc.py -A input.tif -B input2.tif --outfile = sonuç.tif --calc = "(A + B) / 2"

Deneyin, büyük olasılıkla işlemeyi masaüstünüzde çalıştırabilirsiniz ve daha sonra işlemi hızlandırmak için daha iyi bir makineye ihtiyacınız olabilir.

Obs: Çok çekirdekli işlemcilerden yararlanmak için birden fazla gdal_calc işlemi spam etmeniz gerekiyor.

— Pablo
kaynak