HPC sistemleri oluşturma ve programlama konusunda nasıl çalışmalıyım?

Çok fazla HPC çalışması yapmayan bir alandayım ve bununla karşılaştığında, genellikle diğer alanlardan araştırmacıların yöntemlerine ve benzerlerine yeni uygulamalar keşfetmesinin sonucu. Öncelikle bunun anlamı, çalışma sırasında asla gerçekten tanıtılmaması veya atölye, seminer ve benzerlerinde çok fazla yetiştirilmemesidir - bir kişinin tüm kariyerine ihtiyaç duymadan gitmek mümkündür.

Ancak aynı zamanda, en az benim işin olabilir bana mevcut HPC kaynakların daha iyi kullanılması yarar - çoğunlukla güzel şeklinde Monte Carlo simülasyonları paralel.

Benim sorunum, kümeleri, MPI, vb kullanarak nasıl öğreneceğinizi öğrenmek için kaynaklar bulmak ve fazla bilmiyorum göz önüne alındığında, iyiyi kötüden ayırmaktır.

Bu tür sistemlerde programlama veya kendi kendilerine ait çok mütevazı HPC kurulumları kurma ve çalıştırma konusunda kitaplar için herhangi bir öneriniz var mı?

HPC Üniversitesi'ne göz atın . Özellikle, aşağıdakiler gibi şeyleri içeren kaynaklar bölümü:

• Bir OpenMP giriş
• Seri ve Paralel Kodlarda Hata Ayıklama
• Açık Bilim Izgarasına Giriş

ve daha fazlası.

HPC'de dersler içeren birçok yükseköğretim programı vardır . Örnek olarak, kendi programı dersleri içermektedir

• Yüksek performanslı bilgi işlem (2 dönem)
• Paralel programlama paradigmaları
• Bilimsel yazılım mühendisliği
• GPU ve GPGPU Programlama

bilimsel hesaplama ve sayısal analiz gibi çeşitli dersler.

Benim kişisel deneyimim, HPC'nin tek bir kitapta, tarifte, üniversite dersinde bunu yapmak çok zor olan çok çeşitli beceriler gerektirmesidir. HPC'nin büyük makineleri programlamak veya bir küme oluşturmakla ilgili olmayıp, bilişimin kanayan kenarında büyük bilim problemleriyle mücadele etmek olduğunu düşünün.

Herkesin kabul edeceğinden emin değilim ama HPC ile ilgili alanların bir listesinin olabileceğini düşünüyorum:

• Hesaplamalı modeller , simülasyonlar , sayısal analiz ve algoritmalar
• Uygulamalı matematik, fizik, mühendislik gibi alanlarda bilimsel modelleme
• Bilgisayar mimarileri ve programlama
• Bilimsel görselleştirme

Bu alanların her biri son derece geniştir ve herhangi bir şey yapmadan önce her şeyi elde etmek zor olan çok fazla bilgi vardır!

Benim durumumda, mühendisliğin bir köşesinden başladım ve yavaş yavaş deneyim ve bir işbirliği ağı geliştirdim. Başlangıçta çözmek istediğim bir mühendislik / uygulamalı matematik problemim vardı, oradan programlamaya, daha güçlü bilgisayarlar üzerinden daha fazla performans elde etmeye, sayısal analize, gelişmiş algoritmalara, paralel bilgisayarlara, paralel algoritmalara geçtim. , daha da büyük bilgisayarlara, daha eksiksiz bir bilimsel modele ve nihayetinde yeni bir soruna ve tekrar tekrar yinelemeye başlamıştı. Geriye bakarsam, ilk sorunumu anlamaya ve çözmeye çalışmak, çalışma planımı hazırladı. Sizi doğru yolda tutacak bir süpervizöre sahip olmak da çok yardımcı olur, aksi takdirde nihai hedefinizi gözden kaçırmamaya dikkat edin (benim durumumda, elimde olan bilim problemiydi).

HPC yolunda ilerlerken gerçekten fark yaratan bir şeyi isimlendirmem gerekirse, diğer bölgelerden insanlarla tanışmak, fikir alışverişinde bulunmak ve topluluğun dağıtılmış bilgisinden faydalanmaktı. Ayrıca, açıkça naif olmaktan ve aptalca şeyler yapmaktan çok korkmamak da önemlidir. İlk adımlar her zaman zor ve en önemlisi!

Bu, önümüzdeki baharda kendime bazı HPC vakıflarını öğretme planım. Son on buçuk yıldır geliştiriciyim ve yalnızca Microsoft teknolojileri ile çalışıyorum. Ben de öğrenciyim, bu yüzden MSDN Academic Alliance aracılığıyla bazı yazılımları ücretsiz alabilirim(profiliniz yüksek lisans öğrencisi olduğunuzu gösterir, bu nedenle okulunuzun katılıp katılmadığını kontrol etmelisiniz) ve evde bir şeyler için yer açmak sınırlayıcı faktördür. Ofisim / den / ManCave'inizde zaten birkaç bilgisayar var, bu yüzden bazı şeyleri test edebilirim. Windows Server 2008 HPC kullanılabilir bazı paketlerde listelenmiştir, ancak geçen dönem okulumun indirilebilir yazılımından silinmiş gibi görünüyordu ("küme hesaplama paketi" sunucu 2003 için bir eklenti iken, sunucu 2008 hpc'si soyulmuş bir sürümle birlikte gelir 2008 sunucusunda, ccp ile ihtiyacınız olmayan hizmetleri devre dışı bırakmanız gerekir).

Planladığım topolojim, bu sayfadaki 4. resim olan "SOA Etkin Küme" dir (ana resmin altındaki küçük karelere tıklayın). Zaten Active Directory ve zaten kurulmuş bazı diğer sunucular var, bu yüzden eBay kapalı 4 ucuz Dell küçük form faktör bilgisayarları almayı düşünüyorum (Dell 655 SFF yenilemek $ 100-200 ballpark çalışıyor gibi görünüyor). Sadece bazı şeyler öğrenmeye çalıştığımdan, özel ve uygulamanın neleri (bu görüntüden) göreceğini görmek için sadece bir "kafa düğümü", bir "aracı düğümü" ve 2 "işlem düğümü" ve birkaç yedek ethernet kartına ihtiyacım olduğuna inanıyorum. ) yapmak. MSDNAA lisansı aradığımdan çok daha fazla olan 16 bilgi işlem düğümüne izin verir.

Windows ile Beowulf Cluster Computing okudum ve sanırım ofiste bazı fikirler için neyle karşı karşıya olduğum hakkında bir fikrim var (kitabın linux sürümü var, ancak 0 linux beceri / platformum var evde - kendiniz için doğru olanı yapın). Ofiste çok sayıda büyük küme var , ama zaten doymuşlar ve eğitici "X öğrenmek istiyorum / öğrenmek istiyorum" zaman aralıklarını elde etmek çok zor. Bir kişinin iş gönderebilmesi için bir şeyleri zaten bilmesi bekleniyor.