Python çoklu okumayı destekliyor mu? Yürütme süresini hızlandırabilir mi?

Çoklu okumanın Python'da çalışıp çalışmadığı konusunda biraz kafam karıştı.

Bununla ilgili birçok soru olduğunu biliyorum ve çoğunu okudum, ama yine de kafam karıştı. Kendi deneyimlerimden biliyorum ve başkalarının kendi cevaplarını ve örneklerini burada StackOverflow'da yayınladığını gördüm ki, çoklu iş parçacığı gerçekten Python'da mümkündür. Öyleyse neden herkes Python'un GIL tarafından kilitlendiğini ve aynı anda yalnızca bir iş parçacığının çalışabileceğini söyleyip duruyor? Açıkça çalışıyor. Yoksa burada anlamadığım bir ayrım mı var?

Birçok poster / yanıtlayıcı, birden fazla çekirdek kullanılmadığı için iş parçacığı oluşturmanın sınırlı olduğunu belirtmeye devam ediyor. Ama yine de yararlı olduklarını söyleyebilirim çünkü eşzamanlı olarak çalışıyorlar ve böylece birleşik iş yükünü daha hızlı hallediyorlar. Demek istediğim, başka türlü neden bir Python iş parçacığı modülü olsa bile?

Güncelleme:

Şimdiye kadarki tüm cevaplar için teşekkürler. Anladığım kadarıyla çoklu iş parçacığı sadece bazı IO görevleri için paralel olarak çalışacak, ancak CPU'ya bağlı çoklu çekirdekli görevler için bir seferde yalnızca bir tane çalıştırabilir.

Bunun pratik anlamda benim için ne anlama geldiğinden tam olarak emin değilim, bu yüzden çoklu iş parçacığı ile okumak istediğim görev türüne bir örnek vereceğim. Örneğin, çok uzun bir dizge listesi üzerinden döngü yapmak istediğimi ve her liste öğesinde bazı temel dize işlemlerini yapmak istediğimi varsayalım. Listeyi bölersem, döngü / dize kodum tarafından işlenecek her bir alt listeyi yeni bir iş parçacığına gönderir ve sonuçları bir sıraya geri gönderirsem, bu iş yükleri yaklaşık olarak aynı anda çalışır mı? En önemlisi, bu teorik olarak betiği çalıştırmak için gereken süreyi hızlandıracak mı?

Başka bir örnek, PIL kullanarak dört farklı resmi dört farklı iş parçacığında oluşturabilir ve kaydedebilirsem ve bu, resimleri birbiri ardına işlemekten daha hızlı olabilir mi? Sanırım bu hız bileşeni, doğru terminolojiden ziyade gerçekten merak ettiğim şey.

Çoklu işlem modülünü de biliyorum, ancak şu anda ana ilgi alanım küçük-orta görev yükleri (10-30 saniye) ve bu yüzden çoklu kullanımın daha uygun olacağını düşünüyorum çünkü alt işlemlerin başlatılması yavaş olabilir.

GIL diş açmayı engellemez. GIL'in yaptığı tek şey, bir seferde yalnızca bir iş parçacığının Python kodunu çalıştırdığından emin olmaktır; kontrol hala iş parçacıkları arasında geçiş yapıyor.

O halde GIL'in engellediği şey, iş parçacıkları paralel olarak çalıştırmak için birden fazla CPU çekirdeği veya ayrı CPU'lar kullanmaktır.

Bu yalnızca Python kodu için geçerlidir. C uzantıları, birden çok C kodu iş parçacığına ve bir Python iş parçacığının birden çok çekirdekte çalışmasına izin vermek için GIL'i serbest bırakabilir ve çıkarır. Bu, select()yuva okuma ve yazma çağrıları gibi çekirdek tarafından kontrol edilen G / Ç'ye kadar uzanır ve Python'un çok iş parçacıklı çok çekirdekli bir kurulumda ağ olaylarını makul ölçüde verimli bir şekilde işlemesini sağlar.

Daha sonra birçok sunucu dağıtımının yaptığı şey, işletim sisteminin CPU çekirdeklerinizi maksimum düzeyde kullanmak için işlemler arasındaki zamanlamayı yönetmesine izin vermek için birden fazla Python sürecini çalıştırmaktır. Ayrıca kullanabilirsiniz multiprocessingkütüphane , bir kod temeli ve ana süreçten birden süreçler boyunca paralel işleme işlemek o takım elbise eğer kullanım durumları için.

GIL'in yalnızca CPython uygulaması için geçerli olduğunu unutmayın; Jython ve IronPython, farklı bir iş parçacığı uygulaması kullanır (sırasıyla yerel Java VM ve .NET ortak çalışma zamanı iş parçacıkları).

Güncellemenizi doğrudan ele almak için: Saf Python kodu kullanarak paralel yürütmeden hız artışı elde etmeye çalışan herhangi bir görev, iş parçacıklı Python kodu bir seferde yürütülen bir iş parçacığına kilitlendiğinden hızlanma görmeyecektir. Bununla birlikte, C uzantılarını ve G / Ç'yi karıştırırsanız (PIL veya numpy işlemleri gibi) ve herhangi bir C kodu, bir aktif Python iş parçacığı ile paralel olarak çalışabilir .

Python iş parçacığı, duyarlı bir GUI oluşturmak veya G / Ç'nin Python kodundan daha fazla darboğaz olduğu durumlarda birden çok kısa web isteğini işlemek için harikadır. Hesaplama açısından yoğun Python kodunu paralelleştirmek, multiprocessingbu tür görevler için modüle bağlı kalmak veya özel bir harici kitaplığa delege etmek için uygun değildir.

Evet. :)

Düşük seviye iplik modülüne ve daha yüksek seviye iplik geçirme modülüne sahipsiniz . Ancak, yalnızca çok çekirdekli makineleri kullanmak istiyorsanız , gitmenin yolu çok işlemcidir .

Dokümanlardan alıntı :

CPython'da, Global Yorumlayıcı Kilidi nedeniyle, aynı anda yalnızca bir iş parçacığı Python kodunu çalıştırabilir (bazı performans odaklı kütüphaneler bu sınırlamanın üstesinden gelse bile). Uygulamanızın çok çekirdekli makinelerin hesaplama kaynaklarından daha iyi yararlanmasını istiyorsanız, çoklu işlemeyi kullanmanız önerilir. Ancak, birden çok G / Ç bağlantılı görevi aynı anda çalıştırmak istiyorsanız, iş parçacığı yine de uygun bir modeldir.

Python'da İş Parçacığı Oluşturmaya İzin Verilir, tek sorun GIL'in her seferinde yalnızca bir iş parçacığının çalıştırıldığından emin olmasıdır (paralellik yok).

Yani temelde, hesaplamayı hızlandırmak için kodu çoklu iş parçacığı yapmak istiyorsanız, bir seferde sadece bir iş parçacığı çalıştırıldığı için hızlandırmaz, ancak örneğin bir veritabanıyla etkileşim için kullanırsanız, bu hızlanacaktır.

Poster için hissediyorum çünkü cevap her zaman "ne yapmak istediğinize bağlıdır". Bununla birlikte, python'da paralel hızlanma, çoklu işlem için bile deneyimime göre her zaman korkunç olmuştur.

Örneğin bu eğiticiye göz atın (google'da ikinci en üst sonuç): https://www.machinelearningplus.com/python/parallel-processing-python/

Bu kodun etrafına zamanlamaları koydum ve havuz haritası işlevi için işlem sayısını (2,4,8,16) artırdım ve aşağıdaki kötü zamanlamaları aldım:

serial 70.8921644706279 
parallel 93.49704207479954 tasks 2
parallel 56.02441442012787 tasks 4
parallel 51.026168536394835 tasks 8
parallel 39.18044807203114 tasks 16

kod: # başlangıçta dizi boyutunu artırın # hesaplama düğümümde 40 CPU var, bu yüzden burada yedeklenecek çok şey var

arr = np.random.randint(0, 10, size=[2000000, 600])
.... more code ....
tasks = [2,4,8,16]

for task in tasks:
    tic = time.perf_counter()
    pool = mp.Pool(task)

    results = pool.map(howmany_within_range_rowonly, [row for row in data])

    pool.close()
    toc = time.perf_counter()
    time1 = toc - tic
    print(f"parallel {time1} tasks {task}")