Queue.Queue vs. collections.deque

Birden çok iş parçacığı içine şeyler koyabilirsiniz ve birden çok iş parçacığı okuyabilir bir kuyruk gerekir.

Python'un en az iki kuyruk sınıfı vardır: Queue.Queue ve collections.deque, birincisi ikincisini dahili olarak kullanıyor. Her ikisi de belgelerde iş parçacığı açısından güvenli olduğunu iddia ediyor.

Ancak, Sıra belgeleri şunları da belirtir:

collections.deque, kilitleme gerektirmeyen hızlı atomik append () ve popleft () işlemleriyle sınırsız kuyrukların alternatif bir uygulamasıdır.

Hangi sanırım oldukça dayanamıyorum: bu deque sonuçta tamamen güvenli değil anlamına mı geliyor?

Eğer öyleyse, iki sınıf arasındaki farkı tam olarak anlayamayabilirim. Sıranın engelleme işlevi eklediğini görebiliyorum. Öte yandan, operatör için destek gibi bazı deque özelliklerini kaybeder.

Dahili deque nesnesine doğrudan erişmek,

Sırada x (). deque

evreli?

Ayrıca, deque zaten iş parçacığı için güvenli olduğunda Queue neden işlemleri için bir muteks kullanır?

Queue.Queueve collections.dequefarklı amaçlara hizmet eder. Sıra, farklı iş parçacıklarının kuyruğa alınan iletileri / verileri kullanarak iletişim kurmasına izin verirken collections.deque, yalnızca bir veri yapısı olarak tasarlanmıştır. İşte en niçin Queue.Queuegibi yöntemleri vardır put_nowait(), get_nowait()ve join()buna karşın, collections.dequeyapmaz. Queue.Queuebir koleksiyon olarak kullanılması amaçlanmamıştır, bu yüzden koleksiyonun beğenilerinden yoksundur.in operatörün .

Şuna bağlı: birden fazla iş parçacığınız varsa ve kilitlere ihtiyaç duymadan iletişim kurabilmelerini istiyorsanız, aradığınız Queue.Queue; veri yapısı olarak sadece bir sıra veya çift uçlu bir sıra istiyorsanız,collections.deque .

Son olarak, a'nın iç deque'sine erişmek ve manipüle etmek Queue.Queueateşle oynamaktır - bunu gerçekten yapmak istemezsiniz.

Aradığınız tek şey nesneleri iş parçacıkları arasında aktarmanın güvenli bir yoluysa , her ikisi de işe yarayacaktır (hem FIFO hem de LIFO için). FIFO için:

• Queue.put()ve Queue.get()diş açmaya karşı güvenlidir
• deque.append()ve deque.popleft()diş açmaya karşı güvenlidir

Not:

• Diğer işlemler dequeiş parçacığı için güvenli olmayabilir, emin değilim.
• dequeengellemez pop()veya popleft()yeni bir öğe gelene kadar tüketici iplik akışınızı engellemeye dayamazsınız.

Bununla birlikte, deque'nin önemli bir verimlilik avantajına sahip olduğu görülmektedir . İşte 100 bin öğe eklemek ve kaldırmak için CPython 2.7.3 kullanan bazı kıyaslama sonuçları

deque 0.0747888759791
Queue 1.60079066852

Kıyaslama kodu:

import time
import Queue
import collections

q = collections.deque()
t0 = time.clock()
for i in xrange(100000):
    q.append(1)
for i in xrange(100000):
    q.popleft()
print 'deque', time.clock() - t0

q = Queue.Queue(200000)
t0 = time.clock()
for i in xrange(100000):
    q.put(1)
for i in xrange(100000):
    q.get()
print 'Queue', time.clock() - t0

Bilgi için deque iplik güvenliği için referans verilen bir Python bileti vardır ( https://bugs.python.org/issue15329 ). Başlık "hangi deque yöntemlerinin iş parçacığı için güvenli olduğunu açıklığa kavuşturun"

Alt satır burada: https://bugs.python.org/issue15329#msg199368

Deque'nin append (), appendleft (), pop (), popleft () ve len (d) işlemleri CPython'da iş parçacığı için güvenlidir. Ekleme yöntemlerinin sonunda bir DECREF vardır (maxlen'in ayarlandığı durumlar için), ancak bu tüm yapı güncellemeleri yapıldıktan ve değişmezler geri yüklendikten sonra gerçekleşir, bu nedenle bu işlemlere atomik davranmak uygundur.

Her neyse,% 100 emin değilseniz ve performansa göre güvenilirliği tercih ediyorsanız, sadece benzer bir Kilit koyun;)

Tüm tek elemanlı yöntemler dequeatomik ve iplik korumalıdır. Diğer tüm yöntemler de iş parçacığı için güvenlidir. Yapılacaklar gibi len(dq), dq[4]anlık doğru değerleri verir. Ancak, örneğin dq.extend(mylist): tüm öğelerinmylist diğer iş parçacıkları da aynı tarafa öğeler eklediğinde arka arkaya dosyalandığına - ancak genellikle iş parçacıkları arası iletişimde ve sorgulanan görev için bir gereklilik değildir.

Yani a ( kaputun altında bir kullanan) deque~ 20x daha hızlı ve "rahat" senkronizasyon API (engelleme / zaman aşımı), katı saygı veya "Bu yöntemleri geçersiz kıl (_put, _get, .. ) diğer sıra kuruluşlarının alt sınıflandırma davranışını uygulamak veya bu tür şeylere kendiniz baktığınızda, çıplaklık yüksek hızlı zincirler arası iletişim için iyi ve etkili bir anlaşmadır.Queuedequemaxsizedeque

Aslında ekstra bir muteks ve ekstra yöntem ._get()vs. yönteminin yoğun kullanımı, Queue.pygeriye dönük uyumluluk kısıtlamaları, geçmişte aşırı tasarım ve iş parçacıkları arası iletişimde bu önemli hız darboğaz sorunu için etkili bir çözüm sağlamak için bakım eksikliğinden kaynaklanmaktadır. Eski Python sürümlerinde bir liste kullanıldı - ancak list.append () /. Pop (0) bile atomik ve threadsafe idi ...

Ekleme notify_all()her birine deque appendve popleftçok daha kötü sonuçlarda sonuçların dequedaha 20x iyileşme varsayılan elde dequedavranış :

deque + notify_all: 0.469802
Queue:              0.667279

@Jonathan kodunu biraz değiştirin ve ben cPython 3.6.2 kullanarak kriter almak ve Queque do davranışı simüle etmek için deque döngü koşul ekleyin.

import time
from queue import Queue
import threading
import collections

mutex = threading.Lock()
condition = threading.Condition(mutex)
q = collections.deque()
t0 = time.clock()
for i in range(100000):
    with condition:
        q.append(1)
        condition.notify_all()
for _ in range(100000):
    with condition:
        q.popleft()
        condition.notify_all()
print('deque', time.clock() - t0)

q = Queue(200000)
t0 = time.clock()
for _ in range(100000):
    q.put(1)
for _ in range(100000):
    q.get()
print('Queue', time.clock() - t0)

Ve bu fonksiyonla sınırlı performans gibi görünüyor condition.notify_all()

collections.deque, kilitleme gerektirmeyen hızlı atomik append () ve popleft () işlemleriyle sınırsız kuyrukların alternatif bir uygulamasıdır. docs Sırası

dequeiş parçacığı için güvenli. "kilitleme gerektirmeyen işlemler", kilitleme işlemini kendiniz yapmanız gerekmediği anlamına gelir, bununla dequeilgilenir.

Bir göz alarak Queuekaynağı, iç deque denir self.queueböylece ve erişimcilere ve mutasyonları için bir muteksini kullanır Queue().queueedilir değil evreli kullanımı ile ilgilidir.

Bir "giriş" operatörü arıyorsanız, bir deque veya kuyruk muhtemelen probleminiz için en uygun veri yapısı değildir.

(Yorum yapmak için itibarım yok ...) Farklı iş parçacıklarından hangi deque yöntemlerini kullandığınıza dikkat etmelisiniz.

deque.get () threadsafe gibi görünüyor, ancak bunu

for item in a_deque:
   process(item)

aynı anda başka bir iş parçacığı öğe ekliyorsa başarısız olabilir. "Yineleme sırasında mutasyona uğramış deque" şikayet bir RuntimeException var.

Hangi işlemlerin bundan etkilendiğini görmek için collectionsmodule.c dosyasını kontrol edin