«distributed-computing» etiketlenmiş sorular

ZooKeeper'ı, nasıl çalıştığını ve ne yaptığını anlamaya çalışıyorum. ZooKeeper ile karşılaştırılabilir herhangi bir uygulama var mı? Eğer biliyorsan, ZooKeeper'ı bir layman'a nasıl tarif edersin? Apache wiki'yi denedim, zookeeper sourceforge ... ama hala onunla ilişki kuramıyorum. Ben sadece http://zookeeper.sourceforge.net/index.sf.shtml aracılığıyla okudum , bu yüzden böyle daha fazla hizmet yok mu? Bir …

376 apache-zookeeper  distributed-computing 

Kıvılcım Öğrenmeye Göre Verilerinizi yeniden bölümlendirmenin oldukça pahalı bir işlem olduğunu unutmayın. Kıvılcım da optimize edilmiş bir sürümü var repartition()denilen coalesce()ama RDD bölüm sayısını azaltarak yalnızca eğer, veri hareketini üstesinden gelinebileceğini. Aldığım bir fark repartition(), bölüm sayısı ile artırılabilir / azaltılabilir, ancak coalesce()bölüm sayısı ile sadece azaltılabilir. Bölümler birden çok …

254 apache-spark  distributed-computing  rdd 

Küme Moduna Genel Bakış'ı okudum ve Kıvılcım Bağımsız kümedeki farklı işlemleri ve paralelliği hala anlayamıyorum . Çalışan bir JVM süreci mi, değil mi? bin\start-slave.shKoştum ve aslında bir JVM olan işçiyi doğurduğunu gördüm . Yukarıdaki bağlantıya göre, bir yönetici, görevleri çalıştıran bir çalışan düğümdeki bir uygulama için başlatılan bir işlemdir. Bir …

219 apache-spark  distributed-computing 

RDDKalıcılık açısından kıvılcım arasındaki cache()ve persist()kıvılcım arasındaki farklar nelerdir?

202 apache-spark  distributed-computing  rdd 

Kafka için nispeten yeniyim. Ben biraz denemek yaptım, ama tüketici telafisi ile ilgili birkaç şey benim için belirsiz. Şimdiye kadar anladığım kadarıyla, bir tüketici başladığında, okumaya başlayacağı ofset, yapılandırma ayarı tarafından belirlenir auto.offset.reset(yanlışsam beni düzeltin). Şimdi örneğin, konuyla ilgili 10 mesaj olduğunu (0 ila 9 ofseti) olduğunu ve bir tüketicinin …

170 java  distributed-computing  apache-kafka 

Bir milyar sayınız ve yüz bilgisayarınız varsa, bu sayıların medyanını bulmanın en iyi yolu nedir? Sahip olduğum çözümlerden biri: Seti bilgisayarlar arasında eşit olarak bölün. Onları sıralayın. Her set için medyanları bulun. Setleri medyanlara göre sıralayın. En düşükten en yüksek medyana bir seferde iki set birleştirin. O m1 < m2 …

127 algorithm  distributed-computing