Node.js ve CPU yoğun istekleri

Node.js HTTP sunucusu ile tamir etmeye başladım ve gerçekten sunucu tarafı Javascript yazmayı seviyorum, ancak bir şey beni web uygulamam için Node.js kullanmaya başlamamı engelliyor.

Bütün zaman uyumsuz I / O kavramını anlıyorum ama biraz yordamsal kod görüntü işleme veya büyük veri kümeleri sıralama gibi CPU yoğun olduğu uç durumlarda endişe ediyorum.

Anladığım kadarıyla, sunucu, kullanıcıların bir listesini görüntülemek veya bir blog gönderisini görüntülemek gibi basit web sayfası istekleri için çok hızlı olacaktır. Ancak, grafik üreten veya binlerce görüntüyü yeniden boyutlandıran çok CPU yoğun kod yazmak istiyorsanız (örneğin yönetici arka ucunda), istek çok yavaş olacaktır (birkaç saniye). Bu kod zaman uyumsuz olmadığından, bu birkaç saniye boyunca sunucuya gelen her istek yavaş isteğimi tamamlayana kadar engellenir.

Bir öneri CPU yoğun görevler için Web Workers kullanmaktı. Ancak, web çalışanları, ayrı bir JS dosyası ekleyerek çalıştığı için temiz kod yazmayı zorlaştıracağımdan korkuyorum. CPU yoğun kodu bir nesnenin yönteminde bulunuyorsa ne olur? CPU yoğun olan her yöntem için bir JS dosyası yazmak berbat.

Başka bir öneri, bir çocuk sürecinin ortaya çıkmasıydı, ancak bu, kodu daha az sürdürülebilir hale getiriyor.

Bu (algılanan) engeli aşmak için herhangi bir öneriniz var mı? CPU ağır görevlerinin zaman uyumsuz olarak yürütüldüğünden emin olurken Node.js ile temiz nesneye yönelik kod nasıl yazılır?

İhtiyacınız olan şey bir görev kuyruğu! Uzun süren görevlerinizi web sunucusundan çıkarmak İYİ bir şeydir. Her görevi "ayrı" js dosyasında tutmak modülerliği ve kodun yeniden kullanılmasını destekler. Programınızı, uzun vadede hata ayıklamayı ve bakım yapmayı kolaylaştıracak şekilde nasıl yapılandıracağınızı düşünmeye zorlar. Görev kuyruğunun bir diğer yararı da işçilerin farklı bir dilde yazılabilmeleridir. Sadece bir görevi başlatın, işi yapın ve yanıtı tekrar yazın.

böyle bir şey https://github.com/resque/resque

İşte github'dan neden inşa ettikleri hakkında bir makale http://github.com/blog/542-introducing-resque

Bu web sunucusu tanımının yanlış anlaşılmasıdır - sadece istemcilerle "konuşmak" için kullanılmalıdır. Ağır yük görevleri bağımsız programlara devredilmelidir (tabii ki JS'de de yazılabilir).
Muhtemelen kirli olduğunu söylerdiniz, ancak görüntüleri yeniden boyutlandırmak için sıkışmış bir web sunucusu işleminin sadece daha kötü olduğunu garanti ederim (diğer sorguları engellemediğinde bile Apache diyelim). Yine de, kod fazlalığını önlemek için ortak bir kütüphane kullanabilirsiniz.

EDIT: Ben bir benzetme buldum; web uygulaması bir restoran gibi olmalıdır. Garsonlarınız (web sunucusu) ve aşçılarınız (işçiler) var. Garsonlar müşterileri ile temas halinde ve menü sağlamak veya bazı yemek vejetaryen olup olmadığını açıklamak gibi basit görevleri yapmak. Öte yandan mutfağa daha zor görevler veriyorlar. Garsonlar sadece basit şeyler yapıyorlar çünkü hızlı tepki veriyorlar ve aşçılar işlerine konsantre olabiliyorlar.

Buradaki Node.js, bir seferde birçok isteği işleyebilen tek ama çok yetenekli bir garson olacaktı ve Apache, her biri sadece bir talebi işleyen aptal garsonlar grubu olacaktı. Bu Node.js garsonu pişirmeye başlarsa, derhal bir felaket olurdu. Yine de yemek yapmak, mutfaktaki kaostan ve kademeli olarak tepki azalmasından bahsetmeden, büyük bir Apache garsonu kaynağını bile tüketebilir.

CPU yoğun kodunuzun zaman uyumsuz olarak yürütülmesini istemezsiniz , paralel olarak da çalışmasını istersiniz . İşleme işlerini HTTP isteklerini sunan iş parçacığından çıkarmanız gerekir. Bu sorunu çözmenin tek yolu bu. NodeJS ile cevap küme modülüdür, yumurtlama için çocuk süreçleri ağır kaldırma yapmak. (AFAIK Düğümünde iş parçacığı / paylaşılan bellek kavramı yoktur; süreçler veya hiçbir şey yoktur). Uygulamanızı nasıl yapılandıracağınız konusunda iki seçeneğiniz vardır. 80 HTTP çözümünü 8 HTTP sunucusu oluşturarak ve yoğun işlem gerektiren işlemleri alt süreçlerde eşzamanlı olarak gerçekleştirebilirsiniz. Bunu yapmak oldukça basittir. Bu bağlantıdan okumak için bir saat sürebilir. Aslında, bu bağlantının üst kısmındaki örnek kodu koparırsanız, kendinizi bu yolun% 95'ine çıkaracaksınız.

Bunu yapılandırmanın diğer bir yolu, bir iş kuyruğu oluşturmak ve kuyruk üzerinde büyük hesaplama görevleri göndermektir. Bir iş kuyruğu için IPC ile ilişkili çok fazla ek yük olduğunu unutmayın, bu nedenle bu yalnızca görevler ek yükten çok daha büyük olduğunda yararlıdır.

Diğer cevapların hiçbirinin kümeden bahsetmediğine şaşırdım .

Arka plan: Eşzamansız kod, başka bir yerde bir şey olana kadar askıya alınan, kodun uyanıp yürütülmeye devam ettiği koddur. Yavaş bir şeyin başka bir yerde olması gereken çok yaygın bir durum G / Ç'dir.

Asenkron kod, işi yapmaktan sorumlu olan işlemcinizse yararlı değildir . "Yoğun bilgi işlem" görevlerinde durum böyledir.

Şimdi, eşzamansız kod niş gibi görünebilir, ancak aslında çok yaygındır. Sadece bilgi işlem yoğun görevler için yararlı olmaz.

Örneğin, G / Ç'yi beklemek her zaman web sunucularında gerçekleşen bir modeldir. Sunucu sunucunuza bağlanan her müşteri bir soket alır. Çoğu zaman soketler boştur. Bir soket bazı veriler alana kadar hiçbir şey yapmak istemezsiniz, bu noktada isteği işlemek istersiniz. Kaputun altında, Düğüm gibi bir HTTP sunucusu binlerce açık soketi takip etmek için bir olay kütüphanesi (libev) kullanıyor. İşletim sistemi libev'e bildirir ve sonra soketlerden biri veri aldığında libev NodeJS'ye bildirir ve ardından NodeJS olay kuyruğuna bir olay koyar ve http kodunuz bu noktada devreye girer ve olayları birbiri ardına işler. Soketin bazı verileri olana kadar olaylar sıraya alınmaz, bu nedenle olaylar asla veriyi beklemez - zaten onlar için oradadır.

Tek iş parçacıklı olay tabanlı web sunucuları, darboğaz çoğunlukla boş soket bağlantılarını beklerken ve her boş bağlantı için tam bir iş parçacığı veya işlem istemediğinizde ve 250k'nizi yoklamak istemediğinizde bir paradigma olarak mantıklıdır üzerinde veri bulunan bir sonrakini bulmak için soketler.

Birkaç yaklaşım kullanabilirsiniz.

@Tim'in belirttiği gibi, ana sunum mantığınızın dışında veya paralelinde bulunan senkronize olmayan bir görev oluşturabilirsiniz. Tam gereksinimlerinize bağlıdır, ancak cron bile bir kuyruk mekanizması olarak işlev görebilir.

WebWorkers, zaman uyumsuz işlemleriniz için çalışabilir, ancak şu anda node.js tarafından desteklenmemektedir. Destek sağlayan birkaç uzantı var, örneğin: http://github.com/cramforce/node-worker

Hala standart "gerektirir" mekanizması ile modülleri ve kodu yeniden kullanabilirsiniz olsun. Sadece çalışana ilk gönderimin sonuçları işlemek için gereken tüm bilgileri aktardığından emin olmanız gerekir.

Kullanım child_processbir çözümdür. Ancak ortaya çıkan her çocuk süreci, Go ile karşılaştırıldığında çok fazla bellek tüketebilirgoroutines

Kue gibi kuyruk tabanlı çözümü de kullanabilirsiniz