Izgara Motoru / okuyuculu / çok çekirdekli / çok işlemcili: Optimum iplik sayısına nasıl karar verilir?


0

Bir program (*) unix / linux (çeşitli lezzetler) altında çeşitli sunucular ve kümeler üzerinde kullanıyorum, program çoklu okuma destekliyor. Komut satırı seçeneği ile kaç tane iş parçacığı istediğimi belirleyebilirim.

Genel olarak konuşursak, çoklu okuma için (maksimum hız elde etmek için) kaç tane konu belirtmem gerektiğini nasıl belirleyebilirim?

İş parçacığı sayısı, ilgili CPU'nun desteklediği donanım iş parçacığı sayısına eşit mi, düşük mü olmalıdır? Herhangi bir temel kural veya başlangıç ​​noktası var mı?

Evet ise, bir CPU'nun kaç tane donanım dişlisini desteklediğini nasıl öğrenebilirim?

Ayrıca, tipik olarak çalıştığım bilgisayarların her birinde birkaç çekirdeği olan birden fazla CPU'su olduğunu da belirtmeliyim. Bir çekirdek = bir diş varsa belirsiz

(*) Kullandığım program bwa, DNA dizilerinin hizalanması için bir program. Ama benim sorum, doğada geneldir.

Yanıtlar:


0

Bu sorunun birkaç kısmı var - genel olarak iyi bir kural, mantıksal işlemcilerden daha fazla iş parçacığı çalıştırmamaktır - bu genellikle tüm sistem için geçerlidir ve yüke bağlı olabilir. Kaç tane fiziksel işlemci çekirdeğine sahip olduğunuzu bulmak için kullanabilirsiniz cat /proc/sysinfo. Her bir mantıksal çekirdek için bir satır dizisi yazdırır, bu yüzden aşağı kaydırın ve sonuncusuna bakın (dört çekirdekli HT sistemimde neredeyse aynı 8 tane var)

processor       : 7
vendor_id       : GenuineIntel
cpu family      : 6
model           : 58
model name      : Intel(R) Core(TM) i7-3770 CPU @ 3.40GHz
stepping        : 9
microcode       : 0x16
cpu MHz         : 3401.000
cache size      : 8192 KB
physical id     : 0
siblings        : 8
core id         : 3
cpu cores       : 4
apicid          : 7
initial apicid  : 7
fpu             : yes
fpu_exception   : yes
cpuid level     : 13
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm ida arat epb xsaveopt pln pts dtherm tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms
bogomips        : 6819.66
clflush size    : 64
cache_alignment : 64
address sizes   : 36 bits physical, 48 bits virtual
power management: 

Burada önemli satırları seçeceğim fiziksel kimlik: 0 (bu ilk soket - birden fazla soket kullanıyorsanız, ardından her fiziksel jd için işlemci ve cpu çekirdeğini kontrol edin - eğer bu sayı 0'dan büyükse prizler)

İşlemci: 7 (Bu sayı 0'dan n-1'e başlar, bu soketteki 8. mantıksal çekirdek - fiziksel bir kimliği paylaşan bir dizi değer için sahip olduğunuz en büyük sayıya bakar)

cpu çekirdeği: 4 (4 fiziksel çekirdeğim var - bu her çekirdekte aynı olacak ve SMP genelde aynı çekirdeği kullandığından, çift soketli sistemde aynı olmalıdır)

İşlemcim, aynı anda 8 iş parçacığı çalıştırmama izin vermeli, iş parçacığı başına bir çekirdek varsayalım. Bununla birlikte, çalışma süresine ve diğer faktörlere bağlı olarak daha fazla şeyden kurtulabileceğiniz söylenebilir.

SO bu konuda oldukça az sayıda soruya sahip ve bunlardan ikisini seçiyor, bu sorunun yanıtları mantıklı bir çekirdek başına bir iş parçacığının iyi bir fikir olduğunu gösteriyor, ancak bu daha yüksek olabilir. Bu nedenle, ne yazık ki cevap, işlem başına bir iş parçacığıyla başlamak ve daha yüksek ayar yapmaktır - bu, uzun süre kullanılmazsa, delice açılmış çok sayıda iş parçacığı olabilir.


Teşekkürler, bu muhakeme için çok iyi puan sağlar. Sadece eklemek için: benim durumumda (birkaç yüz) uzun süre çalışan, hafızada acıkan ipliklerim var.

0

Grid Engine, eğer kullanıyorsanız, sorunuzu biraz tartışmanızı sağlayan özel bir programdır. Bütün mesele, kaynakları ve işleri sistemler üzerinden yönetmek, böylece son kullanıcıların o kadar detaylı düşünmek zorunda kalmaması.

Giriş

Oracle Grid Engine yazılımı, daha yüksek kullanım, daha iyi iş yükü verimliliği ve mevcut bilgi işlem kaynaklarından daha yüksek son kullanıcı üretkenliği sağlayan dağıtılmış bir kaynak yönetimi (DRM) sistemidir. Oracle, Grid Engine yazılımı, işin her bölümü için en uygun kaynakları şeffaf bir şekilde seçerek, son kullanıcıları bilgi işlem kümesinin iç çalışmasından korurken iş yükünü kaynak havuzunda verimli bir şekilde dağıtabilir

Ref: Oracle Grid Engine web sitesinde Yeni Başlayanlar Kılavuzu .


Katılmıyorum Grid Engine, uygulama içi çoklu kullanım desteğini kullanamaz. İş parçacığı başına bir kez programları çalıştırmak, ek yüke yol açar, bu nedenle uygulama düzeyinde çoklu okuma istenebilir. Bu yüzden Grid Engine ve uygulama düzeyinde çoklu okumalar çelişkili değil.
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.