Python'un bükülmesine karşı temiz ve hafif bir alternatif mi? [kapalı]

A (uzun) süre önce, eşzamanlı isteklerin aynı anda gerçekleşmesini sağlamak için birden çok iş parçacığına sahip olduğum bir web-örümcek yazdım. Bu benim Python gençliğimde, GIL ve çok iş parçacıklı kod için oluşturduğu ilişkili sıkıntıları bilmeden önceki günlerde (IE, çoğu zaman sadece seri hale geliyor!) ...

Daha sağlam hale getirmek ve daha iyi performans göstermek için bu kodu yeniden çalışmak istiyorum. Bunu yapmanın temel olarak iki yolu var: Yeni çoklu işlem modülünü 2.6+ sürümünde kullanabilirim veya bir çeşit reaktör / olaya dayalı bir model için gidebilirim. Çok daha basit ve daha az hata eğilimli olduğu için daha sonra yapmayı tercih ederim.

Dolayısıyla soru, ihtiyaçlarıma en uygun çerçeveyle ilgilidir. Aşağıda şimdiye kadar bildiğim seçeneklerin bir listesi:

• Twisted : Python reaktör çerçevelerinin büyükbabası: ancak karmaşık ve biraz şişkin görünüyor. Küçük bir görev için dik öğrenme eğrisi.
• Eventlet : Lindenlab'daki adamlardan . Bu tür görevlere yönelik, Greenlet tabanlı çerçeve. Yine de koda bir göz vardı ve çok güzel değil: pep8 uyumlu, baskılar ile dağınık (neden insanlar bunu bir çerçeve içinde yapıyor !?), API biraz tutarsız görünüyor.
• PyEv : Olgunlaşmamış, şu anda onu kullanan biri gibi görünmüyor, ancak libevente dayanıyor, bu yüzden sağlam bir arka uca sahip.
• asyncore : stdlib'den : über düşük seviyeli, sadece yerden bir şey almak için bir sürü ayak işi gibi görünüyor.
• tornado : Bu, dinamik web sitelerini sunucuya sunmak için tasarlanmış sunucu odaklı bir ürün olmasına rağmen, zaman uyumsuz bir HTTP istemcisi ve basit bir ioloop içerir . Görünüţe göre iţi halledebiliyordu ama amacýna göre deđil. [edit: ne yazık ki Windows'ta çalışmıyor, bu benim için önemli - bu topal platformu desteklemek benim için bir gereklilik]

Kaçırdığım bir şey var mı? Şüphesiz, basitleştirilmiş bir zaman uyumsuz ağ iletişim kütüphanesinin en güzel yerine uyan bir kütüphane olmalı!

[edit: bu sayfaya gösterdiği işaret için intgr'a çok teşekkürler . En alta kaydırırsanız, bu görevi bir şekilde ele almayı amaçlayan gerçekten güzel bir proje listesi göreceksiniz. Görünüşe göre Twisted'ın başlangıcından bu yana işler gerçekten devam ediyor: insanlar artık geleneksel bir reaktör / geri çağrı odaklı olandan ziyade ko-rutin tabanlı bir çözümü destekliyor gibi görünüyor . Bu yaklaşımın faydaları daha açık ve doğrudan kodlardır: Kesinlikle geçmişte buldum, özellikle boost.asio ile çalışırkenC ++ 'da geri arama tabanlı kod, takip edilmesi zor olabilecek ve eğitimsiz göz için nispeten belirsiz olan tasarımlara yol açabilir. Ko-rutinleri kullanmak, en azından biraz daha senkronize görünen bir kod yazmanıza izin verir. Sanırım şimdi görevim, bu kütüphanelerden hangisinin görünümünü sevdiğimi bulmak ve bir şans vermek! Sevindim şimdi sordum ...]

[değiştir: belki de bu soruyu takip eden veya tökezleyen veya herhangi bir anlamda bu konuyla ilgilenen herkes için ilgi çekici: Bu iş için mevcut araçların mevcut durumunun gerçekten harika bir yazısını buldum ]

Ben sevdim uyuşma hafif threading ya stackless Python microthreads veya Greenlets dayanan Python modülü. Tüm engelleme ağı G / Ç, tek bir libeventdöngü aracılığıyla şeffaf bir şekilde asenkron hale getirilir , bu yüzden gerçek bir asenkron sunucu kadar neredeyse verimli olmalıdır.

Sanırım bu şekilde Eventlet'e benziyor.

Dezavantajı, API'sinin Python'un sockets/ threadingmodüllerinden oldukça farklı olmasıdır ; uygulamanızın bir kısmını yeniden yazmanız (veya bir uyumluluk dolgu katmanı yazmanız) gerekir

Düzenleme: Görünüşe göre benzer olan bir kojen var , ancak Plethon 2.5'in gelişmiş jeneratörlerini , Greenlet'lerin yerine koroutinleri için kullanıyor. Bu, onu tutarlılık ve diğer alternatiflerden daha taşınabilir hale getirir. Ağ G / Ç doğrudan epoll / kqueue / iocp ile yapılır.

Twisted karmaşık, bu konuda haklısın. Twisted edilir değil kabartılan.

Buraya bir göz atarsanız : http://twistedmatrix.com/trac/browser/trunk/twisted internetin birçok protokolünden oluşan organize, kapsamlı ve çok iyi test edilmiş bir paketin yanı sıra yazmak için yardımcı kod bulacaksınız ve çok sofistike ağ uygulamaları kurmanız gerekir. Şişkinliği kapsamlı bir şekilde karıştırmam.

Twisted belgelerinin ilk bakışta en kullanıcı dostu olmadığı iyi biliniyor ve bunun talihsiz sayıda insanı geri çevirdiğine inanıyorum. Ama Twisted inanılmaz (IMHO) zaman koyarsanız. Yaptım ve buna değer olduğunu kanıtladı ve aynı denemek için başkalarına tavsiye ederim.

gevent edilir eventlet temizledik .

API açısından, standart kütüphaneyle (özellikle, iş parçacığı ve çok işlemli modüller) aynı kuralları izler. Yani Kuyruk ve Etkinlik gibi tanıdık şeyleriniz var .

Reaktör uygulaması olarak yalnızca libevent'i ( güncelleme: libev 1.0'dan beri ) destekler, ancak libevent-http tabanlı hızlı bir WSGI sunucusuna sahiptir ve diğer sorguların çoğunda olduğu gibi bir iş parçacığı havuzu kullanmak yerine libevent-dns aracılığıyla DNS sorgularını çözer yapmak. ( güncelleme: 1.0 c-ares zaman uyumsuz DNS sorguları yapmak için kullanıldığından, threadpool da bir seçenektir.)

Eventlet gibi, greenlets kullanarak geri aramaları ve Ertelemeleri gereksiz hale getirir .

Örneklere göz atın: Birden çok URL'nin aynı anda indirilmesi , uzun oylama web sohbeti .

Bu çerçevelerin gerçekten ilginç bir karşılaştırması , blogunda Nicholas Piël tarafından derlendi: okumaya değer!

Bu çözümlerin hiçbiri, GIL'in CPU paralelliğini önlediği gerçeğinden kaçınmaz - bunlar zaten iş parçacıklarıyla olan IO paralelliğini elde etmenin daha iyi yoludur. Daha iyi IO yapabileceğinizi düşünüyorsanız, elbette bunlardan birini takip edin, ancak darboğazınız sonuçları işliyorsa, burada çok işlem modülü hariç hiçbir şey yardımcı olmaz.

Ben Twisted şişirilmiş aramak için kadar gitmek olmaz, ama başınızı etrafında sarmak zor. 'Küçük görevler' için her zaman biraz daha kolay bir şey istediğim için uzunca bir süre öğrenmeye yerleşmekten kaçındım.

Ancak, şimdi onunla biraz daha çalıştı tüm piller dahil olması çok güzel olduğunu söylemek gerekir.

Çalıştığım diğer tüm asenkron kütüphaneler, göründüklerinden çok daha az olgunlaşıyor. Twisted'ın olay döngüsü sağlam.

Dik Twisted öğrenme eğrisinin nasıl çözüleceğinden emin değilim. Birisi çatallanırsa ve geriye dönük uyumluluk sarsıntılarını ve ölü projeleri kaldırmak gibi birkaç şeyi temizlerse yardımcı olabilir. Ama sanırım olgun yazılımın doğası bu.

Kamaelia henüz bahsedilmedi. Eşzamanlılık modeli, gelen kutuları ve giden kutuları arasında iletiyi ileterek bileşenleri birbirine bağlamaya dayanır. İşte kısa bir genel bakış.

Bazı şeyler için bükülmüş kullanmaya başladım. Güzelliği neredeyse "şişirilmiş" çünkü. Orada hemen hemen tüm ana protokoller için konektörler var. Komutları alıp bir irc sunucusuna gönderecek, birisine e-posta gönderecek, bir komut çalıştıracak, bir NNTP sunucusundan okuyacak ve bir web sayfasını değişiklikler için izleyecek bir jabber botuna sahip olabilirsiniz. Kötü haber, tüm bunları yapabileceği ve OP'nin açıkladığı gibi basit görevler için işleri aşırı derecede karmaşık hale getirebileceğidir. Python'un avantajı, sadece ihtiyacınız olanı dahil etmenizdir. Bu yüzden indirme 20mb olsa da, sadece 2mb kütüphaneyi (hala çok olan) ekleyebilirsiniz. Bükülmüş ile en büyük şikayetim, örnekleri içermesine rağmen, kendi başınıza olduğunuz temel bir tcp sunucusunun ötesinde bir şey.

Bir python çözümü olmasa da, node.js'nin geç saatlerde çok daha fazla çekiş elde ettiğini gördüm. Aslında daha küçük projeler için bakmayı düşündüm ama sadece javascript duyduğumda saçmalıyım :)

Konuyla ilgili iyi bir kitap var: Abe Twett'in "Twisted Network Programming Essentials". Örnekler çok Pythonic kodunun nasıl yazılacağını ve kişisel olarak bana şişirilmiş bir çerçeveye dayanarak bana vurmadığını gösteriyor. Kitaptaki çözümlere bakın, eğer temiz değillerse, temizliğin ne anlama geldiğini bilmiyorum.

Tek gizemim Ruby gibi diğer çerçevelerle aynı. Endişeleniyorum, ölçek büyütüyor mu? Bir müşteriyi ölçeklenebilirlik sorunları yaşayacak bir çerçeveye adamaktan nefret ederim.

Whizzer , pyev kullanan küçük bir asenkron soket çerçevesidir. Çok hızlı, öncelikle pyev yüzünden. Bazı küçük değişikliklerle bükülmüş olarak benzer bir arayüz sağlamaya çalışır.

Ayrıca Syncless'i deneyin . Coroutine tabanlıdır (yani Concurrence, Eventlet ve gevent'e benzer). Socket.socket, socket.gethostbyname (vb.), Ssl.SSLSocket, time.sleep ve select.select için engellenmeyen engellemesiz değiştirmeler uygular. Hızlı. Stackless Python ve libevent'e ihtiyacı var. C (Pyrex / Cython) ile yazılmış zorunlu bir Python uzantısı içerir.

S Senkronizasyonun iyiliğini onaylayın . Libev (libevent'in daha yeni, daha temiz ve daha iyi performans versiyonu) kullanabilir. Bazı zamanlar, libevent kadar destek vermez, ancak şimdi geliştirme süreci daha da ileri gider ve çok yararlıdır.

Sadece Basitleştirilmiş, hafif bir HTTP İstek Kütüphanesi istiyorsanız Unirest'i gerçekten iyi buluyorum

Oldukça farklı bir yaklaşım gerektiren PyWorks'e göz atabilirsiniz. Nesne örneklerinin kendi evrelerinde çalışmasına izin verir ve işlev çağrısını o nesneye zaman uyumsuz hale getirir.

Bir sınıfın nesne yerine Görev'den miras almasına izin verin ve bu zaman uyumsuz, tüm yöntem çağrıları Proxy'lerdir. Dönüş değerleri (ihtiyacınız varsa) Gelecek vekillerdir.

res = obj.method( args )
# code continues here without waiting for method to finish
do_something_else( )
print "Result = %d" % res # Code will block here, if res not calculated yet

PyWorks http://bitbucket.org/raindog/pyworks adresinde bulunabilir.