Bulutta bir küme oluşturmak ne zaman MD simülasyonları için laboratuarımda bir tane oluşturmaktan daha ucuzdur?


23

Hakkında bir Amazon EC2 hesaplama küme maliyetleri $ 800- $ 1000 3 yıl boyunca fiziksel işlemci çekirdek başına (görev döngüsüne bağlı olarak). Son donanım edinme turumuzda laboratuvarım, Amazon'un kümelerine benzeyen 48 çekirdekli donanım çekirdeğini yaklaşık 300 dolarlık bir çekirdek için aldı.

Burada bir şey mi eksik? Moleküler dinamik simülasyonları gibi yüksek CPU görevleri için bulutta bir küme oluşturmanın ekonomik olarak anlamlı olduğu durumlar var mı? Yoksa sadece kendimi dang makinesini inşa etmek ve bebeğe oturmaktan her zaman daha mı iyidir?

(Laboratuarımın sunucu odamızda elektrik için ödeme yapmadığından (en azından doğrudan değil) bahsetmeliyim, ama bu avantajla bile Amazon hala çok pahalı görünüyor).


2
Söyleyebileceğim tek şey, küme yönetimi ve bakımı için bazı işgücü maliyetlerini kaçırdığınızdır. Akademik bir ortamda, birinin küme yöneticisi olması ve işletim sistemi sistem güncellemeleri ve yükseltmeleri, yeni yazılım yüklemesi, küme düştüğü zamanki teknik destek gibi tüm büyük işleri yapması gerekir. Bu görevler nezaketsizdir ve yönetici becerisine bağlı olarak çok fazla zaman gerektirebilir. Bir EC2 kümesi, küme bakımı için gereken çalışma saatlerini kısaltır.
Geoff Oxberry

1
Açıkçası, donanımı ucuza aldın. Eski iş yerimdeki 192 çekirdekli küme için 3 yılın üzerindeki maliyetleri hesapladım ve yılda çekirdek başına 850 doların üzerinde olduğu ortaya çıktı. Güç sistemindeki ve soğutmadaki tüm sorunlarımızdan bahsetmiyorum bile ...
Hristo Iliev

@GeoffOxberry İşçilik maliyetleri konusunda iyi bir noktaya değindiniz. Laboratuvarımda yöneticiyim, bu yüzden böyle şeyler düşünmüyorum. Bazen olabildiğince sinir bozucu olan bir sevgi emeğidir. Param varsa ve koyacak bir yerim olsaydı, bu blogdaki (seyrek) talimatları izler ve kendi Watson'ımı oluşturmaya çalışırdım.
tel

@HristoIliev O kadar ucuz olduğunu bile sanmıyorum. Dell'den "hafifçe kullanılmış" kümeleri almaya istekliysen, maliyeti bir çekirdeğin ~ 200 dolarına kadar düşürebilirsin. Bana eski iş yerindeki donanımdan daha fazla bahseder misin?
tel

1
Her bir düğümde 16 adet GiB ECC RAM, iki adet tek soketli Nehalem makinesi, bir adet 24-soketli Nehalem makinesi, bir adet 24-soketli InfiniBand anahtarı, bir adet 12 soketli Supermicro çift soketli Xeon kasası (24 düğüm, 48 E5420s) 4 diskli dosya sunucusu, iki 10 kVA UPS, iki klima. Üç yıllık bir proje süresince birkaç aşamada elde ettik. En büyüğünün en büyüğü değil ama yine de ~ 100 bin EUR (Bulgaristan'daki en iyi akademik fiyatlar).
Hristo Iliev

Yanıtlar:


15

Bana göre Cloud tabanlı kaynakları kullanmanın asıl avantajı esneklik, yani değişken bir iş yükünüz varsa, sadece ihtiyacınız olan şeyleri ödersiniz.

Eğer uygulamanızda durum böyle değilse, yani ölçülebilir ve sabit bir iş yüküne sahip olacağınızı biliyorsanız, muhtemelen kendi kümenizi oluşturmaktan daha iyi durumdasınız demektir. Bulutta esneklik için ödeme yaparsınız ve esnekliğe ihtiyacınız yoksa ihtiyacınız olmayan bir şey için para ödersiniz.

İş yükünüz esnek ancak biraz yoğunsa ve bazı donanım özelliklerine güveniyorsa (bkz. Aeismail'in cevabı), boşta kalma çevrimlerini amortize etmek için üniversitenizdeki diğer kişilerle bir kümeyi paylaşmayı deneyebilirsiniz. Eski üniversitem, böylesi bir paylaşımlı kümeyi yönetiyor ve buradaki her grubun donanıma yaptıkları yatırımla orantılı olarak hesaplama gücünün bir payını garanti altına aldığını garanti ediyor ve boşta kalma döngüleri herkes tarafından kullanılabiliyor. Tek zorluk, küme yönetiminin merkezileştirilmesidir.


3
Spot, anahtar 'ölçülebilir ve sabit'. Genelde iş yükü önemli ölçüde değişiklik gösterir ve düşük maliyeti bu maliyeti 300 ABD Doları / çekirdekten daha yüksek yapmak oldukça mümkündür. Ayrıca, bulut bilişimin kurulmasında geçici olarak ihtiyaç duyulduğunda daha fazla örneğe ölçeklendirmek kolaydır (bir konferanstan önceki hafta?).
Phil H,

1
Bunun için +1. Kümeleri kullanmam 0 dan "Ne yaptın !?" İhtiyacım olduğunda ortada olanın parasını ödeyemiyorum.
Fomite

7

MD simülasyonları ile bulut bilişim yaparken endişelenmeniz gereken bazı şeyler var. Örneğin, bu işlerin çalışacağı sunucu grubundaki işlemcilerin fiziksel düzeni hakkında endişelenmeniz gerekir. Bunun nedeni, simülasyonlarınızın boyutuna ve çalıştırdığınız hesaplama türlerine (örneğin, elektrostatik sistemlere) bağlı olarak, FFT'lere büyük ölçüde güveniyor olmanız ve devasa bir kümedeki elektronları farklı işlemcilere itmek olabilir. toplam hesaplama zamanının çok zaman alan bir parçası olabilir.

Ayrıca, MD kadar veri yoğun bir şey için, sunuculara hızlı yükleme ve indirme bağlantılarının yanı sıra veri depolamaya ilişkin makul sınırlamalar olduğundan emin olmak istersiniz. Aksi takdirde, maliyet tasarruflarının çoğu kaybedilen verimlilik ve depolama ücretlerinden mahrum kalabilir.

Buna değer olarak, enstitümüz yerel kümelenme için çekirdek başına 500 € 'dan az bir ücret karşılığında yaklaşık ~ 240 çekirdek satın aldı. Bu maliyet, dört yıl boyunca kampüsümüzde barındırma ve yönetme ile servis hizmetini içerir. Yıllık bazda gülünç ucuz görünüyor. Sanırım bu, her iki dünyanın da en iyisi - yerel erişim, ancak kendi BT ekibimize ihtiyaç duymadan profesyonelce sürdürülüyor.


5

Amazon'un EC2 gibi bulut hizmetleriyle ilgili ilk elden deneyimim yok, ancak çekirdek başına gerçek maliyet muhtemelen sizin belirlediğinizden çok daha büyük: ilk satın alma, elektrik, soğutma, bir binadaki alan maliyeti, yedek donanım. Artı yönetim maliyeti: işletim sistemi ve küme hizmetlerini ayarlamak, işletim sistemini güncel tutmak, sıraya ilişkin sorunları gidermek vb. Bunların toplamı ilk satın alma maliyetinin iki katıysa hiç şaşırmam. Tabii ki esneklik kazanıyorsun.

Bana göre, model küçültülüyor: Gerçekten büyük bir kümeniz (1000 çekirdekli veya daha fazla) varsa, o zaman iş zamanını, onarımları, sistem yönetimini amorti edebilirsiniz çünkü bir profesyonelleri meşgul edecek kadar yeterlidir. Özel bir kişinin yapmasına değmeyecek küçük bir kümeniz varsa, o zaman ilk işi bilim yapmak zorunda olan birini yapmalısınız ve bu durumda bu kişinin zamanı bu gibi idari işler için yetersiz harcanmıştır. Bulut sunucuları gibi talep üzerine servislerin parladığı yer burasıdır.


Laboratuvarımızda, kümelenme için elektrik, soğutma ve alanların tümü, üniversitemizin tesis ücretlerinden dolayı aldığımız kesimlerden ötürü ödenmektedir. Bu kesim, küme çalıştırıp çalıştırmamamızla aynıdır. Üniversitelerin çoğunda benzer bir durum olup olmadığını veya laboratuarların çoğunun soğutma vb. İçin doğrudan cebinden para çıktığını biliyor musunuz?
tel

1
Çoğu laboratuvarın, sizinkiyle aynı düzenlemeye sahip olduğuna inanıyorum, ancak yine de bu maliyetleri göz ardı etmek yanlış olur. Şahsen sen olmasan bile, birileri onları omuzlamak zorunda kalacak. Kümenizi sanal olarak kampüste değil de bulutta oluşturmayı kabul ediyorsanız, bölümden / üniversiteden size gönderilen dolaylı maliyetin daha büyük bir kısmını almasını istemek faydalı olabilir.
Wolfgang Bangerth

4

Zaten mükemmel cevapların bazılarına ek olarak, dikkate alınması gereken başka bir faktör var:

  • Maliyetlerinden bağımsız olarak, bunun bedelini nasıl ödeyeceksin?

Ben hibe önemsiz olmayan bir sayı karşılaştığınız olmaz herhangi bir durum donanım masraflarını altında, ama EC2 gibi bir şey üzerinde zaman hesaplamak için ödeyecek. Bu nedenle, bazı finansman koşullarında, küçük bir "test edilmiş" kümelenmeyi yapılandırılmamış fonlarla veya bir laboratuvar başlangıç ​​paketiyle finanse edebilmenize rağmen, daha büyük ölçekli projeler için, hesaplama maliyetlerinizi finanse etmenin tek yolu bu olabilir.

NIH'yi düşünün:

ADP / Bilgisayar Hizmetleri: Buraya dahil ettiğiniz hizmetler, süper bilgisayarlarda hesaplama zamanı ayırma veya istatistiklerinizi çalıştırmanıza yardımcı olacak özel yazılımlar alma gibi belirli bilgisayar hizmetlerini araştırmalıdır. Bu bölüm standart masaüstü ofis bilgisayarınızı, dizüstü bilgisayarınızı veya kurumunuz tarafından sağlanan standart teknik desteği içermemelidir. Bu tür masraflar, F&A maliyetlerinden kaynaklanmalıdır.

Küme makinelerini 5.000 $ + ekipman başlığının altına koymak mümkün olsa da, bunun için iyi bir tartışma yapabilirsiniz, ancak hem bu konuda çok becerikli yorumcular hem de bu tür bir hizmeti sürdürmenin devam eden maliyetleri konusunda tereddüt eden üniversiteler buldum. sistemi.

Bazı hibeler daha katı. Şu anda sahip olduğum bir bağış şu şekildedir:

Fonlar ayrıca bilgisayar donanımı için kullanılamaz.

EC2 tabanlı ya da çok sayıda analogundan biri donanım satın almaktansa, özellikle de kurumunuz dolaylı maliyetlerle cimri ise, doğrudan maliyetlerle ödenen bir kümeye ulaşmak genellikle daha kolaydır. Bu sizin için olmayabilir, ancak bazıları için durum böyle.


Bence bu iyi bir tartışma değil. Yalnızca ABD'deki finansman sistemine aşinayım ama orada “Ekipman” kategorisine belirli miktarda para koyarsanız, bir küme satın almak için kullanabilirsiniz. Tabii ki, eğer bu kategori boşsa, o zaman yanlış dolardan talep ettiniz. Ekipman aslında 5 bin dolarlık satın alma fiyatının üstünde olan tek bir ekipman parçasıysa, (en azından üniversitemizde) fazladan ödeme yapmamanız konusunda hoş bir avantajı var.
Wolfgang Bangerth

@WolfgangBangerth Ayrıntılar için düzenlememe bakın - "Ekipman" kategorisine koymak izin verilmeyebilir.
Fomite

Evet, koşullar buysa yapabileceğin bir şey yok. Ancak, eğer bir ödenek için neden ekipman parası istediğinizi iyi bir durumda buluyorsanız, o zaman gözden geçirenlerin genellikle onunla birlikte gittiğini düşünürsünüz. Tabii ki, parayla başlamak için bütçeli değilse, gerçekte yapabileceğiniz hiçbir şey yok.
Wolfgang Bangerth

0

Zaten bir sürü tanrı cevabı var. Sadece iki küçük nokta eklemek istiyorum.

1.) IBM'in benzer bir şey sunduğunu biliyorum. Bu nedenle, uygulamanıza bağlı olarak, farklı teklifleri karşılaştırmaya değer olabilir. Sadece maliyet açısından değil aynı zamanda ekipman açısından da.

2.) Elbette çoğu laboratuvar kendi kümelenmesine yatırım yapamayacak kadar küçüktür. Dolayısıyla, birkaç laboratuarı bir araya toplamanın ve farklı laboratuvarlar arasında paylaşılan bir kümeye yatırım yapmanın mümkün olmadığıdır. Bu, bariz maliyet paylaşımı etkisinin yanı sıra, daha eşit bir yük dağılımının avantajını da beraberinde getirmiştir.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.