Bilimsel Hesaplamada görev tabanlı paylaşılan bellek paralel kitaplıkları

Son yıllarda, genel amaçlı veri güdümlü paylaşılan bellek paralelliğinin bir biçimini ya da bir diğerini sunan birkaç kütüphane / yazılım projesi ortaya çıkmıştır.

Ana fikir, açık bir şekilde iş parçacıklı kod yazmak yerine, programcıların algoritmalarını, daha sonra paylaşılan bellek makinesindeki genel amaçlı bir ara katman yazılımı tarafından dinamik olarak planlanan, birbirine bağlı görevler olarak gerçekleştirmesidir.

Bu tür kitaplıklara örnekler:

• QUARK : Başlangıçta MAGMA paralel lineer cebir kütüphanesi için tasarlanmış , paralel Fast Multipole Metodu için de kullanılmış gibi görünüyor .

• Cilk : Başlangıçta Intel tarafından desteklenen, C'ye dil / derleyici uzantıları olarak uygulanan, Cilkchess bilgisayar satranç yazılımında ve deneysel olarak FFTW'de kullanılan MIT tabanlı bir proje .

• SMP süperscalar : #pragmaGenişletmelere dayalı olarak birçok açıdan Cilk'e benzeyen Barselona Süper Bilişim Merkezinde geliştirildi .

• StarPU : GPU'lar da dahil olmak üzere çeşitli farklı mimariler için derlenebilen ve programlanabilen benzer kütüphane tabanlı "codelets".

• OpenMP görevleri: Sürüm 3.0'dan itibaren OpenMP, eşzamansız olarak programlanabilen "görevler" i tanıttı (belirtimin Bölüm 2.7'sine bakın).

• Intel'in İş Parçası Yapı Taşları : Eşzamansız görevler oluşturmak ve başlatmak için C ++ sınıflarını kullanır, Eğiticinin 11. Bölümüne bakın.

• OpenCL : Çoklu çekirdeklerde göreve dayalı paralellikleri destekler.

Bu kütüphanelerin / dil uzantılarının içsel çalışmasını ve bunların belirli sorunlara uygulanmasını açıklayan çok sayıda literatür olmasına rağmen, bunların bilimsel hesaplama uygulamalarında pratikte kullanıldıklarına dair çok az örnekle karşılaştım.

İşte soru şu: Paylaşılan bellek paralelliğinde bu kütüphanelerden / dil uzantılarından herhangi birini veya benzerlerini kullanan bilimsel bilgi işlem kodlarını bilen var mı?

Kitaplıktaki Diş Açma Yapı Taşlarını kullanır ve genel olarak ondan oldukça memnunuz. Herkes daha basit kodlar için kullanıyor gibi görünse de birkaç alternatife baktık, özellikle OpenMP'ye baktık, ancak bunların eksik olduğunu gördük. Özellikle, OpenMP, görev modelinin başlattığınız bir görev için bir tutamaç almanıza izin vermediği çok büyük bir dezavantaja sahiptir ve sonuç olarak bir görevin durumuna (örneğin, bitmesini beklemek için) erişmek veya ayrı bir görevde çalıştırdığınız işlevler. OpenMP öncelikle en içteki döngüleri paralelleştirmek için iyidir, ancak en dıştaki , karmaşık döngüleri paralelleştirerek paralel verimlilik elde edersiniz ve TBB bunun için oldukça iyi iken OpenMP bunun için bir araç değildir.

Kanımca, bu sistemler öncelikle aşağıdaki nedenlerden dolayı nispeten başarısız olmuştur.

• Paralel hesaplamanın hesaplamayı (örn. Floplar) bellek yerinin açığa çıkarılması ve senkronizasyon noktalarının kaldırılmasından daha fazla paralelleştirmeye ilişkin saf bakış açısı. Yoğun matris algoritmaları gibi bazı sorunlar hala FP sınırlıdır, ancak bu sadece bellek alt sisteminin dikkatli bir şekilde dikkate alınmasından sonra ortaya çıkar ve çoğu hesaplama çekirdeği (özellikle PDE dünyasında) daha fazla belleğe duyarlıdır. Çalışma kuyrukları, daha iyi naif flop dengesi ve daha fazla atomik bellek işlemi (kuyruk boyunca senkronizasyon nedeniyle) için bellek konumuyla ticaret yapma eğilimindedir.
• Güçlü ölçeklenebilirlik pahasına dinamik yük dengesi için aşırı ayrışmaya güvenme. Görevler genellikle çakışan veri bağımlılıklarına (hayalet değerler) sahiptir. İç mekanın boyutu küçüldükçe, hayalet / iç mekan oranı artar. Bu gereksiz çalışma anlamına gelmediğinde bile, artan bellek hareketi anlamına gelir. Bellek bant genişliği gereksinimlerindeki önemli azalmalar, birden çok iş parçacığının komşuları için yazılım önceden getirme yoluyla L1 veya L2 önbelleğini paylaştığı (önceden iş parçacığı grubunu yaklaşık olarak tutarlı tutan) işbirlikli ön getirme gibi yaklaşımlarla gerçekleştirilebilir. Bu, aşırı ayrışmanın tam tersidir.
• Yukarıdaki bellekle ilgili sorunlardan dolayı öngörülemeyen performans.
• Kütüphane dostu bileşenlerin eksikliği. Bu neredeyse MPI_Comm, farklı kütüphanelerin çarpışmadan zengin işlemleri gerçekleştirmesine izin veren ve bağlamı kütüphaneler arasında geçirip gerekli öznitelikleri geri kazanmasına izin veren bir analoga sahip olmadığı şeklinde özetlenebilir . "Communicator" tarafından sağlanan soyutlama, paylaşılan veya dağıtılmış belleğin kullanılmasına bakılmaksızın kütüphane kompozisyonu için önemlidir.