Birden fazla çekirdek kullanarak g ++ ile derleme

Kısa soru: g ++ 'ın büyük projeleri daha hızlı derlemek için kendisinin birden fazla örneğini üretmesine izin veren derleyici bayrağı nedir (örneğin, çok çekirdekli CPU için bir seferde 4 kaynak dosyası)?

Bunu make ile yapabilirsiniz - gnu ile -j bayrağı yapmak (bu aynı zamanda bir tek işlemcili makinede yardımcı olacaktır).

Örneğin, 4 paralel işin yapılmasını istiyorsanız:

make -j 4

Ayrıca gcc'yi bir boruda

gcc -pipe

Bu, çekirdeklerin meşgul edilmesine yardımcı olacak derleme aşamalarını boru hattına bağlayacaktır.

Ek makineleriniz varsa, derlemeleri de bunlara ekleyecek distcc'ye göz atabilirsiniz .

Böyle bir bayrak yoktur ve her aracın sadece bir işlevi yerine getirmesini ve iyi çalışmasını sağlamak için Unix felsefesine karşı bir tane çalıştırmaktır. Derleyici işlemlerini yumurtlama kavramsal olarak yapı sisteminin görevidir. Muhtemelen aradığınız şey, GNU markasına -j (iş) bayrağı,

-j4 yap

Veya pmake veya benzeri paralel markalama sistemleri kullanabilirsiniz.

İnsanlar da benzer bir kavramdan bahsetmiş makeancak bjamdesteklemiştir. Kullanarak bjam -jxbjam xkomutunu eşzamanlı komutlar oluşturmaya yönlendirir .

Windows ve Linux'ta aynı derleme komut dosyalarını kullanıyoruz ve bu seçeneği kullanmak her iki platformdaki derleme sürelerimizi yarıya indiriyor. Güzel.

makebunu sizin için yapacak. Kılavuz sayfasındaki -jve -ldüğmelerini araştırın . g++Paralel olabileceğini düşünmüyorum .

Make kullanıyorsanız ile sorun -j. Gönderen man make:

  -j [jobs], --jobs[=jobs]
       Specifies the number of jobs (commands) to run simultaneously.  
       If there is more than one -j option, the last one is effective.
       If the -j option is given without an argument, make will not limit the
       number of jobs that can run simultaneously.

Ve en önemlisi, elinizdeki çekirdek sayısını kodlamak veya tanımlamak istiyorsanız (ortamınıza bağlı olarak ve birçok ortamda çalıştırıyorsanız, bu çok değişebilir) her yerde bulunan Python işlevini kullanabilirsiniz cpu_count():

https://docs.python.org/3/library/multiprocessing.html#multiprocessing.cpu_count

Bunun gibi:

make -j $(python3 -c 'import multiprocessing as mp; print(int(mp.cpu_count() * 1.5))')

1.5Yukarıdaki yorumda neden kullanıcıya artless gürültü teklif edeceğimi soruyorsanız :

1.5 sayısı, belirtilen G / Ç bağlı probleminden kaynaklanmaktadır. Bu bir kural. İşlerin yaklaşık 1 / 3'ü G / Ç'yi bekleyecek, bu nedenle kalan işler mevcut çekirdekleri kullanacaktır. Çekirdeklerden daha büyük bir sayı daha iyidir ve hatta 2x'e kadar çıkabilirsiniz.

distcc, derlemeleri yalnızca geçerli makinede değil, aynı zamanda bir grupta distcc kurulu olan diğer makinelerde dağıtmak için de kullanılabilir.

G ++ hakkında emin değilim, ancak GNU Make kullanıyorsanız "make -j N" (burada N, oluşturduğu iş parçacığı sayısıdır) aynı anda (çok uzun süre) birden fazla g ++ işini çalıştırmaya izin verecektir çünkü dosyalar birbirine bağlı değildir).

GNU paralel

Sentetik bir derleme ölçütü yapıyordum ve bir Makefile yazmak için rahatsız edilemedim, bu yüzden kullandım:

sudo apt-get install parallel
ls | grep -E '\.c$' | parallel -t --will-cite "gcc -c -o '{.}.o' '{}'"

Açıklama:

• {.} girdi bağımsız değişkenini alır ve uzantısını kaldırır
• -t bize ilerleme hakkında fikir vermek için çalıştırılan komutları yazdırır
• --will-cite sonuçları kullanarak yayınlarsanız yazılımdan alıntı yapma isteğini kaldırır ...

parallel kendimi kontrol etmek için bir zaman damgası bile yapabilirim:

ls | grep -E '\.c$' | parallel -t --will-cite "\
  if ! [ -f '{.}.o' ] || [ '{}' -nt '{.}.o' ]; then
    gcc -c -o '{.}.o' '{}'
  fi
"

xargs -Pişleri paralel olarak da çalıştırabilir, ancak uzantı manipülasyonunu yapmak veya onunla birden fazla komut çalıştırmak biraz daha az uygundur: xargs üzerinden birden fazla komutu çağırmak

Paralel bağlama şu adresten soruldu: gcc, bağlantı yaparken birden fazla çekirdek kullanabilir mi?

YAPILACAKLAR: Ben derleme matris çarpımı azaltılabilir bir yerde okumak düşünüyorum, bu yüzden belki de büyük dosyalar için tek dosya derleme hızlandırmak mümkündür. Ama şimdi referans bulamıyorum.

Ubuntu 18.10'da test edilmiştir.