Python 3.4'te çoklu işlem / iş parçacığı için birkaç farklı kitaplık olduğunu buldum: çoklu işlem , iş parçacığı ve asyncio .
Ama hangisini kullanacağımı veya "önerilen" olduğunu bilmiyorum. Aynı şeyi mi yapıyorlar yoksa farklılar mı? Varsa hangisi ne için kullanılıyor? Bilgisayarımda çok çekirdekli bir program yazmak istiyorum. Ama hangi kütüphaneyi öğrenmem gerektiğini bilmiyorum.
Yanıtlar:
(Biraz) farklı amaçlara ve / veya gereksinimlere yöneliktirler. CPython (tipik, ana hat Python uygulaması) hala global yorumlayıcı kilidine sahiptir, bu nedenle çok iş parçacıklı bir uygulama (günümüzde paralel işlemeyi gerçekleştirmenin standart bir yolu) yetersizdir. Bu yüzden tercih multiprocessing edilebilirthreading . Ancak her sorun etkin bir şekilde [neredeyse bağımsız] parçalara ayrılamayabilir, bu nedenle süreçler arası yoğun iletişime ihtiyaç olabilir. Bu yüzden genel multiprocessingolarak tercih edilmeyebilir threading.
asyncio(bu teknik yalnızca Python'da mevcut değildir, diğer diller ve / veya çerçevelerde de vardır, örneğin Boost.ASIO ) paralel kod yürütme ihtiyacı olmadan birçok eşzamanlı kaynaktan çok sayıda G / Ç işlemini etkin bir şekilde gerçekleştirme yöntemidir. . Bu nedenle, genel olarak paralel işlem için değil, belirli bir görev için yalnızca bir çözüm (gerçekten iyi bir çözüm!).
En popüler eşzamanlılık biçimlerini inceledik. Ancak soru hala var - hangisini ne zaman seçmelisiniz? Gerçekten kullanım durumlarına bağlıdır. Deneyimlerime (ve okumaya) göre, bu sözde kodu takip etme eğilimindeyim:
if io_bound:
if io_very_slow:
print("Use Asyncio")
else:
print("Use Threads")
else:
print("Multi Processing")
- CPU Bound => Çoklu İşlem
- G / Ç Bağlantısı, Hızlı G / Ç, Sınırlı Bağlantı Sayısı => Çoklu İş Parçacığı
- I / O Bound, Slow I / O, Birçok bağlantı => Asyncio
[ NOT ]:
asyncioolay döngüsüdür ( uvloopasyncio 2-4 kat daha hızlı hale getirir ).[GÜNCELLEME (2019)]:
asynciobeklenebilir işlevlerden kullandığınızda kullanabilirsiniz, requestkitaplık, aiohttpkitaplık veya zaman uyumsuz istek vb. gibi kullanmak yerine, beklenebilir bir yöntem değildir .
Gelen çoklu işlem size hesaplamalar dağıtmak için birden fazla CPU kaldıraç. CPU'ların her biri paralel çalıştığından, aynı anda birden fazla görevi etkili bir şekilde çalıştırabilirsiniz. CPU'ya bağlı görevler için çoklu işlemeyi kullanmak isteyebilirsiniz . Bir örnek, büyük bir listenin tüm öğelerinin toplamını hesaplamaya çalışıyor olabilir. Makinenizde 8 çekirdek varsa, listeyi daha küçük 8 listeye "bölebilir" ve bu listelerin her birinin toplamını ayrı çekirdekte ayrı ayrı hesaplayabilir ve ardından bu sayıları toplayabilirsiniz. Bunu yaparak ~ 8x hızlanma elde edeceksiniz.
(Çoklu) iş parçacığı içindebirden fazla CPU'ya ihtiyacınız yok. Web'e çok sayıda HTTP isteği gönderen bir program hayal edin. Tek iş parçacıklı bir program kullandıysanız, her istekte yürütmeyi (blok) durdurur, bir yanıt bekler ve bir yanıt alır almaz devam eder. Buradaki sorun, CPU'nuzun işi yapmasını bazı harici sunucuları beklerken gerçekten çalışmıyor olmasıdır; bu arada gerçekten bazı yararlı işler yapabilirdi! Düzeltme, iş parçacığı kullanmaktır - her biri web'den bazı içerik talep etmekten sorumlu olan birçoğunu oluşturabilirsiniz. İş parçacıklarıyla ilgili güzel olan şey, bir CPU üzerinde çalışsalar bile, CPU'nun zaman zaman bir iş parçacığının yürütülmesini "dondurması" ve diğerini yürütmeye atlamasıdır (buna bağlam değiştirme denir ve bu, deterministik olmayan aralıklar). - iplik kullanın.
asyncio , esasen CPU'nun değil, bir programcı (veya aslında uygulamanızın) olarak, bağlam anahtarının nerede ve ne zaman olacağına karar verirseniz, iş parçacığıdır . Python'da await, eşliğinizin yürütülmesini askıya almak için bir anahtar sözcük kullanırsınız ( asyncanahtar sözcük kullanılarak tanımlanır ).