Bulutta bir küme oluşturmak ne zaman MD simülasyonları için laboratuarımda bir tane oluşturmaktan daha ucuzdur?

Hakkında bir Amazon EC2 hesaplama küme maliyetleri $ 800- $ 1000 3 yıl boyunca fiziksel işlemci çekirdek başına (görev döngüsüne bağlı olarak). Son donanım edinme turumuzda laboratuvarım, Amazon'un kümelerine benzeyen 48 çekirdekli donanım çekirdeğini yaklaşık 300 dolarlık bir çekirdek için aldı.

Burada bir şey mi eksik? Moleküler dinamik simülasyonları gibi yüksek CPU görevleri için bulutta bir küme oluşturmanın ekonomik olarak anlamlı olduğu durumlar var mı? Yoksa sadece kendimi dang makinesini inşa etmek ve bebeğe oturmaktan her zaman daha mı iyidir?

(Laboratuarımın sunucu odamızda elektrik için ödeme yapmadığından (en azından doğrudan değil) bahsetmeliyim, ama bu avantajla bile Amazon hala çok pahalı görünüyor).

Bana göre Cloud tabanlı kaynakları kullanmanın asıl avantajı esneklik, yani değişken bir iş yükünüz varsa, sadece ihtiyacınız olan şeyleri ödersiniz.

Eğer uygulamanızda durum böyle değilse, yani ölçülebilir ve sabit bir iş yüküne sahip olacağınızı biliyorsanız, muhtemelen kendi kümenizi oluşturmaktan daha iyi durumdasınız demektir. Bulutta esneklik için ödeme yaparsınız ve esnekliğe ihtiyacınız yoksa ihtiyacınız olmayan bir şey için para ödersiniz.

İş yükünüz esnek ancak biraz yoğunsa ve bazı donanım özelliklerine güveniyorsa (bkz. Aeismail'in cevabı), boşta kalma çevrimlerini amortize etmek için üniversitenizdeki diğer kişilerle bir kümeyi paylaşmayı deneyebilirsiniz. Eski üniversitem, böylesi bir paylaşımlı kümeyi yönetiyor ve buradaki her grubun donanıma yaptıkları yatırımla orantılı olarak hesaplama gücünün bir payını garanti altına aldığını garanti ediyor ve boşta kalma döngüleri herkes tarafından kullanılabiliyor. Tek zorluk, küme yönetiminin merkezileştirilmesidir.

MD simülasyonları ile bulut bilişim yaparken endişelenmeniz gereken bazı şeyler var. Örneğin, bu işlerin çalışacağı sunucu grubundaki işlemcilerin fiziksel düzeni hakkında endişelenmeniz gerekir. Bunun nedeni, simülasyonlarınızın boyutuna ve çalıştırdığınız hesaplama türlerine (örneğin, elektrostatik sistemlere) bağlı olarak, FFT'lere büyük ölçüde güveniyor olmanız ve devasa bir kümedeki elektronları farklı işlemcilere itmek olabilir. toplam hesaplama zamanının çok zaman alan bir parçası olabilir.

Ayrıca, MD kadar veri yoğun bir şey için, sunuculara hızlı yükleme ve indirme bağlantılarının yanı sıra veri depolamaya ilişkin makul sınırlamalar olduğundan emin olmak istersiniz. Aksi takdirde, maliyet tasarruflarının çoğu kaybedilen verimlilik ve depolama ücretlerinden mahrum kalabilir.

Buna değer olarak, enstitümüz yerel kümelenme için çekirdek başına 500 € 'dan az bir ücret karşılığında yaklaşık ~ 240 çekirdek satın aldı. Bu maliyet, dört yıl boyunca kampüsümüzde barındırma ve yönetme ile servis hizmetini içerir. Yıllık bazda gülünç ucuz görünüyor. Sanırım bu, her iki dünyanın da en iyisi - yerel erişim, ancak kendi BT ekibimize ihtiyaç duymadan profesyonelce sürdürülüyor.

Amazon'un EC2 gibi bulut hizmetleriyle ilgili ilk elden deneyimim yok, ancak çekirdek başına gerçek maliyet muhtemelen sizin belirlediğinizden çok daha büyük: ilk satın alma, elektrik, soğutma, bir binadaki alan maliyeti, yedek donanım. Artı yönetim maliyeti: işletim sistemi ve küme hizmetlerini ayarlamak, işletim sistemini güncel tutmak, sıraya ilişkin sorunları gidermek vb. Bunların toplamı ilk satın alma maliyetinin iki katıysa hiç şaşırmam. Tabii ki esneklik kazanıyorsun.

Bana göre, model küçültülüyor: Gerçekten büyük bir kümeniz (1000 çekirdekli veya daha fazla) varsa, o zaman iş zamanını, onarımları, sistem yönetimini amorti edebilirsiniz çünkü bir profesyonelleri meşgul edecek kadar yeterlidir. Özel bir kişinin yapmasına değmeyecek küçük bir kümeniz varsa, o zaman ilk işi bilim yapmak zorunda olan birini yapmalısınız ve bu durumda bu kişinin zamanı bu gibi idari işler için yetersiz harcanmıştır. Bulut sunucuları gibi talep üzerine servislerin parladığı yer burasıdır.

Zaten mükemmel cevapların bazılarına ek olarak, dikkate alınması gereken başka bir faktör var:

• Maliyetlerinden bağımsız olarak, bunun bedelini nasıl ödeyeceksin?

Ben hibe önemsiz olmayan bir sayı karşılaştığınız olmaz herhangi bir durum donanım masraflarını altında, ama EC2 gibi bir şey üzerinde zaman hesaplamak için ödeyecek. Bu nedenle, bazı finansman koşullarında, küçük bir "test edilmiş" kümelenmeyi yapılandırılmamış fonlarla veya bir laboratuvar başlangıç ​​paketiyle finanse edebilmenize rağmen, daha büyük ölçekli projeler için, hesaplama maliyetlerinizi finanse etmenin tek yolu bu olabilir.

NIH'yi düşünün:

ADP / Bilgisayar Hizmetleri: Buraya dahil ettiğiniz hizmetler, süper bilgisayarlarda hesaplama zamanı ayırma veya istatistiklerinizi çalıştırmanıza yardımcı olacak özel yazılımlar alma gibi belirli bilgisayar hizmetlerini araştırmalıdır. Bu bölüm standart masaüstü ofis bilgisayarınızı, dizüstü bilgisayarınızı veya kurumunuz tarafından sağlanan standart teknik desteği içermemelidir. Bu tür masraflar, F&A maliyetlerinden kaynaklanmalıdır.

Küme makinelerini 5.000 $ + ekipman başlığının altına koymak mümkün olsa da, bunun için iyi bir tartışma yapabilirsiniz, ancak hem bu konuda çok becerikli yorumcular hem de bu tür bir hizmeti sürdürmenin devam eden maliyetleri konusunda tereddüt eden üniversiteler buldum. sistemi.

Bazı hibeler daha katı. Şu anda sahip olduğum bir bağış şu şekildedir:

Fonlar ayrıca bilgisayar donanımı için kullanılamaz.

EC2 tabanlı ya da çok sayıda analogundan biri donanım satın almaktansa, özellikle de kurumunuz dolaylı maliyetlerle cimri ise, doğrudan maliyetlerle ödenen bir kümeye ulaşmak genellikle daha kolaydır. Bu sizin için olmayabilir, ancak bazıları için durum böyle.

Zaten bir sürü tanrı cevabı var. Sadece iki küçük nokta eklemek istiyorum.

1.) IBM'in benzer bir şey sunduğunu biliyorum. Bu nedenle, uygulamanıza bağlı olarak, farklı teklifleri karşılaştırmaya değer olabilir. Sadece maliyet açısından değil aynı zamanda ekipman açısından da.

2.) Elbette çoğu laboratuvar kendi kümelenmesine yatırım yapamayacak kadar küçüktür. Dolayısıyla, birkaç laboratuarı bir araya toplamanın ve farklı laboratuvarlar arasında paylaşılan bir kümeye yatırım yapmanın mümkün olmadığıdır. Bu, bariz maliyet paylaşımı etkisinin yanı sıra, daha eşit bir yük dağılımının avantajını da beraberinde getirmiştir.