Paralel karmaşıklık sonuçlarını sürekli olarak birçok çekirdeğe nasıl ölçeklendirebiliriz?

Ben NC sınıfı tarafından verilen "paralel algoritma ile verimli bir şekilde çözüldü" karmaşıklık teorik görünümünü kabul sorunları vardı :

Kuzey Carolina zaman paralel bir algoritma ile çözülebilir sorunların sınıfıdır ile işlemciler . $O(\log^cn)$ $p(n) \in O(n^k)$ $c,k \in \mathbb{N}$

Bir PRAM varsayabiliriz .

Benim sorunum, bunun "gerçek" makineler, yani sınırlı sayıda işlemciye sahip makineler hakkında pek bir şey söylemediği. Şimdi işlemcilerde bir işlemci algoritmasını "verimli bir şekilde" simüle edebileceğimiz "biliniyor" . $O(n^k)$ $p \in \mathbb{N}$

"Verimli" burada ne anlama geliyor? Bu folklor mu yoksa simülasyonun neden olduğu ek yükü ölçen titiz bir teorem var mı?

Ne olur korkuyorum sıralı bir algoritması ve aynı zamanda işlemciler üzerinde simüle edildiğinde , aynı zamanda zaman alır bir "verimli" paralel algoritması olan bir sorun var eğer ardışık algoritma asemptotik olarak optimal ise, bu tanecikli analiz seviyesinde beklenebilecek her şeydir). Bu durumda, görebildiğimiz kadarıyla hızlanma olmaz; aslında, simüle edilmiş paralel algoritma sıralı algoritmadan daha yavaş olabilir . Yani gerçekten sınırlarından daha kesin ifadeler arıyorum (ya da bu tür sonuçların yokluğu beyanı). $O(n^k)$ $p$ $O(n^k)$ $O$

complexity-theory reference-request parallel-computing

— Raphael
kaynak

Brent teoremi?

— cic

Şunu mu demek istediniz: ? Eğer öyleyse, bu (afaik) sadece belirli durumlarda uygulanabilir ve aynı zamanda çalışma zamanlarını çevirmeye hemen izin vermez. Ya da öyleyse, lütfen bir cevapta detaylandırın.

T_{p} < \frac{W}{p} + D

$T_p < \frac{W}{p} + D$

— Raphael

NC, "Daha az çalışma süresi için daha fazla donanım takas etmek mümkün mü?" Kendinizi sabit donanımlarla sınırlamak isteyebilirsiniz ve bu, kendinizi sabit bellekle sınırlamaya benzer, bazı sorunların daha iyi bir modellemesi. Pratik bir kullanım için bkz. Taşıma kafası ekleyicileri, daha fazla donanım, böylece de bitlerinin eklenmesi yapılır .

N

$N$

O (N)

$O(N)$

— AProgrammer

Yanıtlar:

İşlemci sayısının bir sabitle sınırlı olduğunu varsayarsanız, NC'de bir sorunun pratikte fazla bir şey ifade etmediği konusunda haklısınız. K işlemcili ve t paralel zamanlı bir PRAM üzerindeki herhangi bir algoritma O ( kt ) zamanında tek işlemcili bir RAM ile simüle edilebildiğinden , paralel zaman ve sıralı zaman sadece k sabitse sabit bir faktörle değişebilir .

Ancak, giriş boyutu büyüdükçe daha fazla işlemciye sahip bir bilgisayar hazırlayabileceğinizi varsayarsanız, NC'de bulunan bir sorun, daha fazla işlemci hazırlayabildiğiniz sürece, çalışma süresinin “çok kısa” veya daha kesin olacağı anlamına gelir. giriş boyutunda polilogaritmik. Bu varsayımın gerçekçi olmadığını düşünüyorsanız, bunu sınırsız bellek varsayımı ile karşılaştırın: gerçek bilgisayarlar sadece sınırlı miktarda alana sahiptir, ancak algoritmalar ve karmaşıklık çalışmasında, neredeyse her zaman bir hesaplama cihazının sabit bir üste sahip olmadığını varsayarız. uzaya bağlı. Pratikte, bu, giriş boyutu büyüdükçe daha fazla belleğe sahip bir bilgisayar hazırlayabileceğimiz anlamına gelir, bu da genellikle gerçek dünyada bilgisayarları kullanırız. NC, paralel hesaplamada benzer bir durumu modeller.

— Tsuyoshi Ito
kaynak

1) Evet, sürekli olarak birçok çekirdeğe paralelleme yalnızca sabit hızlanma sağlayabilir . -termlerde doğal ve ne yazık ki gizlidir . (İmho) ilginç soru şudur: (optimal) hız artışı veya sadece veya miyim? 2) Sonsuz bellek varsayımı çok fazla RAM'in kullanılabilirliği ile haklı görülebilirken (ve teknik olarak sabit diski ekleyebilirsiniz), bu genellikle işlemciler için doğru değildir. Günümüzde tipik (kişisel) makineler 16 veya daha az çekirdeğe sahiptir. Başka bir deyişle, ilgili sorun boyutlarına kadar "normal" sonuçları, sadece kadar birçok paralel sonucu kullanabilirsiniz .

O

$O$

k

$k$

k / 2

$k/2$

k - 1

$k-1$

n \leq 20

$n \leq 20$

— Raphael

@Raphael: Belirli bir sorunun NC'ye ait olup olmadığı sorusu sorunuzun modelini oluşturmaz. Sorunuzun ilgisiz olduğunu söylemiyorum; Sadece NC'nin bunu modellemek için doğru karmaşıklık sınıfı olmadığını söylüyorum.

— Tsuyoshi Ito

Aslında bunu duyduğuma sevindim; bir kişi aksini iddia eder. Genel olarak NC ile değil, karmaşıklık teorik sonuçları ile. Diğer sınıflarla nasıl?

— Raphael

Bir düzeltme: NC'de bir sorun, işlemci sayısı giriş boyutunda yeterince büyük bir polinomsa , çalışma süresinin polilogaritmik olduğu anlamına gelir . İşlemci sayısının gibi sabit bir polinom olduğu veya gibi daha yavaş sabit olmayan bir işlev olduğu tartışmasız daha gerçekçi senaryoda , NC üyeliği resmi olarak hiçbir şey anlamına gelmez. herşey.

O (\sqrt{n})

$O(\sqrt{n})$

O (\log n)

$O(\log n)$

— JeffE

@JeffE: Bu bir düzeltme değil. Sadece titiz anlamını vermeden “daha fazla işlemci hazırla” yazdım (çünkü bunu yapmanın noktayı gizleyeceğini düşündüm).

— Tsuyoshi Ito

verimli paralel algoritmaları karakterize etmenin en iyi yolu olmadığını kabul ediyorum . $NC$

Gerçekten de, NC tanımı gereği, etkili bir şekilde paralelleştirilemeyen birçok problemi de içerir. Yaygın bir örnek paralel ikili aramadır. Sorun, paralel ikili aramanın için bile polilogaritmik zaman karmaşıklığına sahip olması nedeniyle ortaya çıkar . En kötü durumda en logaritmik zamanda gerektiren herhangi bir ardışık filtreleme yöntemi bağımsız olarak paralel fizibilite. $p = 1$ $NC$

Ama bekleyin, dahası var.

$NC$ algoritmaları, polilogaritmik zaman orta boyutlu problemleri çözmek için polinom sayıda işlemciye sahip paralel makineler olduğunu varsayar. Bununla birlikte, pratikte büyük sorunları çözmek için orta büyüklükteki makineleri (işlemciler açısından) kullanıyoruz . İşlemci sayısı alt polinom, hatta alt doğrusal olma eğilimindedir.

Son olarak, problemler vardır sublinear paralel defasında .Bu nedenle, bu sorunlar ait olmayan . Şimdi, alt doğrusal fonksiyonlar sadece pratik olmayan büyük değerleri için ilgili bir asimptotik davranışa sahip olabilir ve bunun yerine pratik değerleri için çok daha az ilerici olabilir . Örnek olarak, için . Sublinear paralel zaman algoritmaları izler olabilir daha hızlı koşmak algoritmaları. $P$ $O(n^\epsilon), 0 < \epsilon < 1$ $NC$ $n$ $n$ $\sqrt n < \lg^3 n$ $n \leq 0.5 \times 10^9$ $NC$

Yanıtlardan birinde, "Uygulamada, bu, giriş boyutu büyüdükçe daha fazla belleğe sahip bir bilgisayar hazırlayabildiğimiz, yani gerçek dünyadaki bilgisayarları bu şekilde kullandığımız anlamına gelir. NC, paralel hesaplama.

Bu bakış açısına kısmen katılıyorum. Eski bir süper bilgisayar hizmet dışı bırakıldığında da daha fazla belleğe sahip yeni bir paralel bilgisayar satın alıyoruz, çünkü DRAM yongaları zamanla daha ucuz ve paralel bilgisayarı ana bileşenleri (işlemciler, bellek, ara bağlantı vb.) Açısından dengelemek.

Bununla birlikte, bellek sınırlı bir kaynak olduğundan, bir sorunun daha büyük örneklerini çözmek için bir süper bilgisayara daha fazla bellek eklemeye gerek kalmadan, verimli bir şekilde kullanılması hakkında çok fazla araştırma yapılmıştır. Örneğin Sun ve Ni, bellekle sınırlı hızlanma kavramını önerdi ve Quinn, sabit bir verimlilik düzeyini korumak için işlemci başına bellek miktarının nasıl büyümesi gerektiğini ölçen ölçeklenebilirlik işlevini önerdi. Genel olarak, işlemci sayısı arttıkça paralel ek yük arttığından, çözülmekte olan sorunun boyutunu artırarak verimliliği sürdürürüz. Ancak maksimum sorun boyutu ana bellek miktarı ile sınırlıdır ( $p$ ). Ölçeklenebilirlik işlevi, sabit bir verimlilik düzeyini korumak için işlemci başına bellek miktarının nasıl büyümesi gerektiğini belirlemek için boyutunda bir sorunu saklamak için gereken bellek miktarını gösteren eşdeğerlik işlevini ve başka bir işlevi kullanır . Bu işlev sabit olduğunda, paralel algoritma mükemmel şekilde ölçeklenebilir (bellek perspektifinin kullanımından). Bellek mevcut olsa da, sorun boyutunu artırarak aynı verimlilik seviyesini korumak mümkündür. Ancak, işlemci başına kullanılan bellek ile doğrusal olarak arttığından , bir noktada bu değer sistemin bellek kapasitesine ulaşacaktır. İşlemci sayısı bu noktanın üzerine çıktığında verimlilik sağlanamaz. $n$ $p$

Bu nedenle, bunlar büyük sorunlar için pratik olduğundan bellekte ölçeklenebilir paralel algoritmalar tasarlamak giderek daha önemlidir.

Paralel algoritmaların ölçeklendirilmesine ilişkin son bir not. Bu sadece ölçeklendirmek istediğimiz paralel algoritmanın uygun maliyetli olması durumunda mantıklıdır. Uygun maliyetli bir algoritmanın ölçeklendirilmesi hala hızlı (orijinalinden yavaşsa) bir algoritma üretir. Ancak olmayan bir maliyet uygun algoritma küçültme (bir küçültme dikkate yavaş iyi ardışık çalışma süresi daha paralel bir algoritmaya yol açabilir için sıralama algoritması işlemci sabit zaman işlemciler). Maliyet optimizasyonunun kaçırılma derecesi, bir algoritmanın faydalı olduğu problem aralığını ve makine boyutlarını etkiler ve Grama, Gupta, Karypis ve Kumar'ın ders kitabında iyi tanımlanmıştır. $n^3$ $n$

— Massimo Cafaro
kaynak