«partitioning» etiketlenmiş sorular

Kafka'da tek bir üretici ve birden çok tüketiciye sahip tek bir aracı, tek bir konu ve tek bir bölüm kullanmak istiyorum (her tüketici komisyoncudan kendi veri kopyasını alıyor). Bu göz önüne alındığında, Zookeeper'ı kullanmanın ek yükünü istemiyorum; Sadece komisyoncuyu kullanamaz mıyım? Bir hayvan bakıcısı neden zorunludur?

136 partitioning  apache-zookeeper  producer-consumer  apache-kafka  broker 

Spark 1.4.0'da Spark SQL ve DataFrames kullanmaya başladım. Scala'da DataFrames üzerinde özel bir bölümleyici tanımlamak istiyorum, ancak bunun nasıl yapılacağını göremiyorum. Üzerinde çalıştığım veri tablolarından biri, aşağıdaki örneğe göre, hesaba göre, silimar işlemlerin bir listesini içeriyor. Account Date Type Amount 1001 2014-04-01 Purchase 100.00 1001 2014-04-01 Purchase 50.00 1001 2014-04-05 …

129 scala  apache-spark  dataframe  apache-spark-sql  partitioning 

Belgelerini okudum HashPartitioner. Maalesef API çağrıları dışında pek bir şey açıklanmadı. HashPartitionerDağıtılmış kümeyi anahtarların karması temelinde bölümlere ayırdığı varsayımındayım . Örneğin, verilerim şöyle ise (1,1), (1,2), (1,3), (2,1), (2,2), (2,3) Böylelikle bölümleyici, bunu aynı bölüme düşen aynı anahtarlarla farklı bölümlere koyacaktır. Ancak yapıcı argümanının önemini anlamıyorum new HashPartitoner(numPartitions) //What does …

82 scala  apache-spark  rdd  partitioning