Paralel Bilimsel Hesaplama Yazılım Geliştirme Dili?

Sıfırdan paralel bir bilimsel hesaplama yazılımı geliştirmek istiyorum. Hangi dilin başlayacağı konusunda bazı düşünceler istiyorum. Program, txt dosyalarına veri okuma / yazma ve paralel olarak yoğun hesaplamaların yapılmasını, birçok LU faktorizasyonunu ve seyrek lineer çözücülerin kullanımını içerir. Düşündüğüm aday çözümler OpenMP veya co-array ile Fortran 2003/2008, openmp cilk + veya TBB, python ile C ++. Diğer, belgelenmiş, önerilerinizi bekliyoruz! Çok iyi biliyorum C, Fortran ve Java (bu sırayla). Python'da bazı temel senaryolar yaptım ama temel şeyler.

Fortran'ın çok hızlı olduğunu biliyorum, ancak bakımı ve paralelleştirilmesi zor. Dış kütüphaneler vb Python gibi sürece C ++ yavaş olduğu söylenir, ama tam ölçekli, endüstriyel düzeyde yazılım üzerine yazmak gerçekçi mi?

Yazılım büyük miktarda veriyi işleyebilmeli ve bilimsel hesaplamalarda etkili olmalıdır. Performans esastır.

Arka plan için, zaten Fortran'da yazılmış çalışan bir yazılımım var. Birçok insan uzun yıllar boyunca gelişime dahil oldu ve kod gerçekten kirli. Kodun sürdürülmesi ve paralel hale getirilmesi bir kabus oldu ve ben alternatifleri düşünüyorum.

Petros

İzin verin ve gereksinimlerinizi yıkın:

• İdame
• Metin verilerini okuma / yazma
• LU çarpanlara ayırma için güçlü arayüzler / kapasite
• Seyrek doğrusal çözücüler
• Büyük verilere performans ve ölçeklenebilirlik

Bu listeden aşağıdaki dilleri dikkate alırım:

C, C ++, Fortran, Python, MATLAB, Java

Julia gelecek vaat eden yeni bir dildir, ancak topluluk hala etrafında şekillenmektedir ve herhangi bir büyük yeni kodda konuşlandırılmamıştır.

Metin verilerini okuma / yazma

Bu, herhangi bir programlama dilinde kolayca elde edilebilir. G / Ç erişiminizi uygun şekilde arabelleğe aldığınızdan ve birleştirdiğinizden emin olun ve dikkate almanız gereken dillerden iyi bir performans elde edersiniz. Performansları nasıl kullanacağınızı bilmiyorsanız C ++ 'ta akış nesnelerinden kaçının.

LU çarpanlara ayırma için güçlü arayüzler / kapasite

Yoğun LU çarpanlarına ayırma işlemi yapıyorsanız, paralel işlevsellik için LAPACK veya ScaLAPACK / Elemental kullanmak istersiniz. LAPACK ve ScaLAPACK Fortran, Elemental C ++ ile yazılmıştır. Her üç kütüphane de performans sergiliyor ve iyi destekleniyor ve belgeleniyor. Bunlara, düşünmeniz gereken dillerden herhangi biriyle arayüz oluşturabilirsiniz.

Seyrek doğrusal çözücüler

Önceden serbestçe temin edilebilen seyrek doğrusal çözücülerin neredeyse tamamı , iyi belgelenmiş ve desteklenen C ile yazılmış PETSc aracılığıyla elde edilebilir . Dikkate almanız gereken herhangi bir dilden PETSc ile arayüz oluşturabilirsiniz.

Büyük verilere performans ve ölçeklenebilirlik

Bahsettiğiniz tek paralel programlama paradigmaları, paylaşılan bellek tabanlı, yani MPI tabanlı (mesaj geçiren), dağıtılmış bellek hesaplama yaklaşımını düşünmediğiniz anlamına gelir. Deneyimlerime göre, dağıtılmış bellek çözümü kullanarak bir düzine çekirdeğin ötesine ölçeklenen kod yazmak çok daha kolay. Hemen hemen tüm Üniversite "kümeleri" MPI tabanlıdır, büyük paylaşılan bellek makineleri pahalıdır ve buna bağlı olarak nadirdir. MPI'yı yaklaşımınız için düşünmelisiniz, ancak tavsiyem seçtiğiniz programlama paradigmasından bağımsız olarak geçerli olacaktır.

Düğüm üzerinde performans ile ilgili olarak, kendiniz sayısal rutinler yazıyorsanız, Fortran'da iyi seri performans elde etmek en kolay yoldur. C, C ++ veya Python'da biraz deneyiminiz varsa, çok benzer bir performans elde edebilirsiniz (C ve C ++, Fortran, Python ve MATLAB ile fazla çaba harcamadan yaklaşık% 25 zaman yükü ile gelir). MATLAB bunu bir JIT derleyicisi ve çok iyi doğrusal cebir ifadesi ile yapar. Python'dan talep edilen performansı elde etmek için muhtemelen Cython, numpy, numexpr veya gömülü sayısal çekirdekler kullanmanız gerekecektir. Java'nın performansı hakkında yorum yapamam, çünkü dili çok iyi bilmiyorum, ancak bir uzman tarafından yazılırsa bunun Python'dan uzak olmadığından şüpheleniyorum.

Arayüzler hakkında bir not

Umarım, düşündüğünüz programlama dillerinden herhangi birinde istediğiniz her şeyi yapabileceğinize ikna oldum. Java kullanıyorsanız, C arayüzleri biraz zorlayıcı olacaktır. Python, ctypes, Cython ve f2py aracılığıyla mükemmel C ve Fortran arayüz desteğine sahiptir. LAPACK zaten sarılmış ve scipy ile kullanılabilir. MATLAB, yerel kütüphanelerinde ihtiyaç duyduğunuz tüm işlevlere sahiptir, ancak kolayca ölçeklenebilir veya kümelerde çalıştırılması özellikle kolay değildir. Java, JNI ile C ve Fortran arabirimlerini destekleyebilir , ancak kümelerde ve bilimsel hesaplama için paralel yazılımlarda yaygın olarak bulunmaz.

İdame

Bunun birçoğu kişisel lezzete inecek, ancak sürdürülebilirlik konusundaki genel fikir birliği, yazılımınızdaki kod satır sayısını en aza indirmek, iyi tanımlanmış arabirimlerle modüler kod yazmak ve hesaplama yazılımı sağlamaktır. uygulamanın doğruluğunu ve işlevselliğini doğrulayan testler.

Öneri

Ben şahsen Python ile şans çok oldu ve birçok hesaplama projeler için tavsiye. Bence bunu projeniz için kuvvetle düşünmelisiniz. Python ve MATLAB muhtemelen bilimsel hesaplama için mevcut olan dillerden en ifadelidir. Python'u başka herhangi bir programlama diliyle kolayca arabirimleyebilirsiniz, mevcut Fortran uygulamanızı sarmak için P2hon'u kullanabilir ve işlevselliği koruduğunuzu doğrularken Python'da hangi parçaları istediğinizi yeniden parçalayabilirsiniz. Şu anda, resmi Python 2.7 uygulamasının scipy ile bir kombinasyonunu tavsiye ederim . Bu yığınla kolayca kullanılabilen Enthought Python Distribution'dan başlayabilirsiniz .

Bunların çoğunu C, C ++ veya Fortran'da da yapabilirsiniz. C ve C ++, çok fazla deneyime sahip profesyonel geliştiriciler için çok çekici dillerdir, ancak sıklıkla yeni geliştiricilere seyahat eder ve bu anlamda muhtemelen daha akademik bir kod için harika bir fikir değildir. Fortran ve MATLAB akademik hesaplamada popülerdir, ancak Python'un sunduğu gelişmiş veri yapıları ve ifade gücü bakımından zayıftır (örneğin bir Python dict nesnesini düşünün).

İlgili sorular:

• Kullanılabilir, hızlı bir Java matris kütüphanesi için öneriler?

Aron'un çok kapsamlı cevabına ek olarak, scicomp.stackexchange'teki hangi programlama dilinin alacağı - hem programların hızı hem de ne kadar kolay veya zor olduğu sorusu ile ilgili çeşitli konulara bir göz atacağım. bu dillerde yazılım yazmak ve bakımını yapmaktır.

Bununla birlikte, orada yazılanlara ek olarak, birkaç gözlem yapmama izin verin:

(i) Listenize Fortran ortak dizisini dahil ettiniz. Bildiğim kadarıyla, bunu gerçekten destekleyen derleyicilerin sayısı çok az - ve aslında benim sıfırım. En yaygın olarak kullanılan Fortran derleyicisi GNU gfortran'dır ve mevcut geliştirme kaynakları bir dizi ko-diziyi ayrıştırırken, aslında hiçbirini desteklemediğine inanıyorum (yani sözdizimini kabul eder, ancak anlambilimin hiçbirini uygulamaz) . Bu elbette daha yeni Fortran standartları hakkında genel bir gözlemdir: derleyicilerin aslında yeni standartları desteklediği gecikme birkaç yıl içinde ölçülür - derleyiciler Fortran 2003'ü son birkaç yılda sadece tamamen uygular ve Fortran 2008'i kısmen destekler. Kullandığınız şeyi destekleyecek bir derleyiciniz varsa, bu işlem herhangi birini kullanmanızı engellememelidir.

(ii) C ++ / Cilk + için de aynı şey geçerlidir: Evet, Intel bunu GCC'nin bir dalında geliştiriyor, ancak GCC sürümlerinin hiçbirinde mevcut değil ve muhtemelen bir süre olmayacak. Tipik linux makinelerde kurulu GCC sürümleri ile Cilk + bulana kadar 2-3 yıl daha bekleyebilirsiniz.

(iii) C ++ / TBB farklı bir hikaye: TBB bir süredir var, çok kararlı bir arayüze sahip ve son birkaç yıldır var olan çoğu C ++ derleyicisiyle derlenebilir (linux'da ve pencerelerde) . Biz bunu kullanıyoruz deal.II iyi sonuçlarla zaten birkaç yıldır. Üzerinde çok iyi bir kitap da var.

(iv) OpenMP hakkında kendi fikrim var, yani bir problem arayışında bir çözüm. Çok düzenli veri yapılarınız varsa, ilginizi çekebilecek iç döngülerle paralel hale getirmek için iyi çalışır. Ancak, bir şeyi paralelleştirmeniz gerekiyorsa nadiren yapmak istediğiniz şeydir - çünkü gerçekten yapmak istediğiniz şey dış döngülerle paralelleştirmektir . Ve bunun için, TBB gibi çözümler çok daha iyi çözümlerdir çünkü programlama dilinin mekanizmalarını, dilin dışında neler olduğunu (#pragmas aracılığıyla) ve iplik tutamaçlarına erişemeyeceğiniz bir şekilde tanımlamak yerine kullanırlar. , sonuç durum göstergeleri vb.

(v) Deneysel iseniz, paralel programlama ve özellikle de tarif ettikleriniz gibi görevler için tasarlanmış yeni programlama dillerine de bakabilirsiniz. Bir göz atacağım iki tane var: X10 ve Şapel . Chapel hakkında güzel öğreticiler gördüm ve iyi tasarlanmış gibi görünüyor, ancak her ikisi de elbette bugün de insular çözümler.

Genel olarak, bu yazılım projesi konusunda gerçekten ciddiyseniz, kendinizi en rahat hissettiğiniz dilde tam bir yeniden yazmayı öneririm. İşi tek başına yapacağınız anlaşılıyor ve bu nedenle evde en çok hissettiğiniz dilde en iyi sonuçları alacaksınız.

Daha spesifik olarak, paralellik konusunda, kutunun dışında biraz düşünmeye çalışmanızı öneririm. OpenMP'nin güçlü yönleri vardır, ancak sıralı bir kod alma ve burada ve orada paralellik yapma fikrinde sıkışmıştır. Aynı şey, aslında, Intels TBB için de geçerli.

Cilk kesinlikle doğru yönde atılmış bir adımdır, yani probleminizi / çözümünüzü doğası gereği paralel bir düzende yeniden düşünmeye zorlar. Bununla ilgili sevmediğim şey, yine de başka bir dil olması . Ayrıca, paralel görevler arasındaki ilişkileri kabaca çıkarabileceğinden, zamanlayıcı oldukça muhafazakar olabilir ve bazı problemler için iyi ölçeklenemeyebilir.

İyi haber şu ki, yine, eğer uygulamanızla ilgili ciddi iseniz, Cilk'in yaptıklarını yapabilirsiniz, örneğin sorununuzu bir dizi bağımlı görev olarak yeniden yazabilir ve bir dizi işlemciye / pthreads kullanarak veya işlemleri oluşturmak için OpenMP'yi yanlış kullanan tek başına çekirdekler . Bunun nasıl yapılabileceğinin güzel bir örneği , PLASMA kütüphanesinde kullanılan QUARK zamanlayıcıdır . Performansının Cilk ile güzel bir karşılaştırması burada verilmiştir .

Yukarıdaki yorumlarda kaba kale hakkında çok az tartışma yapılmıştır. Şu anda ve sınırlı bilgime göre, derleyicilerdeki kaba destek kabaca aşağıdaki gibidir:

• Cray, en azından temel kaba özellikleri destekleyen bir derleyiciye sahiptir. Ben "eğitim" olması amaçlanan kod yazmak için kullandım, ama kaba fortran gerçek kod yazabilirsiniz söyleyebilirim. Sözdizimi ve kavramlar çoğunlukla MPI'dan çok daha basittir, ancak her zaman olduğu gibi, lota tuzakları vardır ve tuzaklar MPI'dan farklıdır.
• Intel fortran, MPI kitaplıklarının üzerine inşa edilmiş kaba desteğe sahiptir. Sözde teorik zirve performanslarını sınırlıyor, ancak herhangi bir ölçüm görmedim.
• Gfortran kabaları destekler, ancak sadece tek bir görüntü (veya MPI konuşmasında tek sıra) için. Bu nedenle, gfortran 4.8 veya 4.9 çıkana kadar gerçek bir paralelleştirme mevcut değildir.

Genel olarak, kaba bazlı bir kod başlatırken dikkatli olurum. Sözdizimi, MPI ile Fortran / C / C ++ 'dan daha basit ve çok daha uygundur, ancak daha sonra tam özellikli değildir. Örneğin, MPI sizin için çok uygun olabilecek birçok azaltma işlemini vb. Destekler . Bu gerçekten çok fazla iletişim gereksiniminize bağlı olacaktır. Bir örnek isterseniz, bana haber verin ve dosyaları kazabilsem size birkaç tane verebilirim.

Göz at Spark işlevsel programlama yararlanır hafızasında hesaplamalar için dağıtılmış bir çerçeve var. Spark'daki bir programın yapısı, MPI ile karşılaştırıldığında çok farklıdır, temel olarak tek bir bilgisayar gibi, otomatik olarak bellekte bulunan verilere işlev olarak dağıtılan bir kod yazarsınız. Scala, Java ve Python'u destekler.

Lojistik Regresyon (scala):

//load data to distributed memory
val points = spark.textFile(...).map(parsePoint).cache()
var w = Vector.random(D) // current separating plane
for (i <- 1 to ITERATIONS) {
  val gradient = points.map(p =>
    (1 / (1 + exp(-p.y*(w dot p.x))) - 1) * p.y * p.x
  ).reduce(_ + _)
  w -= gradient
}
println("Final separating plane: " + w)

Bazı düşük seviyeli hesaplamalar için bir Fortran kütüphanesi kullanan MLib (Machine Learning library) adlı bir uzantı var (Python için sanırım numpy kullanılıyor). Bu nedenle, fikir basittir, algoritmanıza odaklanın ve optimizasyonları daha düşük seviyelere bırakın (işleme sırası, veri dağıtımı vb.).