«rdd» etiketlenmiş sorular

Sadece Apache Spark bir RDDve DataFrame (Spark 2.0.0 DataFrame için sadece bir tür takma adı Dataset[Row]) arasındaki fark nedir merak ediyorum ? Birini diğerine dönüştürebilir misin?

258 dataframe  apache-spark  apache-spark-sql  rdd  apache-spark-dataset 

Kıvılcım Öğrenmeye Göre Verilerinizi yeniden bölümlendirmenin oldukça pahalı bir işlem olduğunu unutmayın. Kıvılcım da optimize edilmiş bir sürümü var repartition()denilen coalesce()ama RDD bölüm sayısını azaltarak yalnızca eğer, veri hareketini üstesinden gelinebileceğini. Aldığım bir fark repartition(), bölüm sayısı ile artırılabilir / azaltılabilir, ancak coalesce()bölüm sayısı ile sadece azaltılabilir. Bölümler birden çok …

254 apache-spark  distributed-computing  rdd 

RDDKalıcılık açısından kıvılcım arasındaki cache()ve persist()kıvılcım arasındaki farklar nelerdir?

202 apache-spark  distributed-computing  rdd 

Scala yerine Python'u tercih ederim. Ancak, Spark Scala'da yerel olarak yazıldığından, kodumun Scala'da belirgin nedenlerle Python sürümünden daha hızlı çalışmasını bekliyordum. Bu varsayımla, yaklaşık 1 GB veri için bazı çok yaygın önişleme kodunun Scala sürümünü öğrenmeyi ve yazmayı düşündüm. Veriler, Kaggle'daki SpringLeaf yarışmasından toplandı . Sadece verilere genel bir bakış …

178 scala  performance  apache-spark  pyspark  rdd 

Bir metin dosyasından veya koleksiyondan (veya başka bir RDD'den) esnek dağıtılmış bir veri kümesi (RDD) oluşturulduğunda, RDD verilerini belleğe kaydetmek için "önbellek" veya "kalıcı" yı çağırmamız gerekir mi? Yoksa RDD verileri varsayılan olarak bellekte dağıtılmış bir şekilde mi saklanır? val textFile = sc.textFile("/user/emp.txt") Anladığım kadarıyla, yukarıdaki adımdan sonra, textFile bir …

171 scala  apache-spark  rdd 

Nasıl bir RDD ( org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]) bir Dataframe dönüştürebilirsiniz org.apache.spark.sql.DataFrame. Ben kullanarak bir veri çerçevesi rdd dönüştürdü .rdd. İşledikten sonra veri çerçevesinde geri istiyorum. Bunu nasıl yapabilirim ?

139 scala  apache-spark  apache-spark-sql  rdd 

RDD'ler map ile mapPartitionsyöntem arasındaki fark nedir ? Ve böyle mi flatMapdavranıyor mu? Teşekkürler.mapmapPartitions (değiştir) yani arasındaki fark nedir (anlamsal olarak veya uygulama açısından) def map[A, B](rdd: RDD[A], fn: (A => B)) (implicit a: Manifest[A], b: Manifest[B]): RDD[B] = { rdd.mapPartitions({ iter: Iterator[A] => for (i <- iter) yield fn(i) …

133 performance  scala  apache-spark  rdd 

Spark kullanıcı arayüzümden. Atlanmak ne anlama geliyor?

88 apache-spark  rdd 

Belgelerini okudum HashPartitioner. Maalesef API çağrıları dışında pek bir şey açıklanmadı. HashPartitionerDağıtılmış kümeyi anahtarların karması temelinde bölümlere ayırdığı varsayımındayım . Örneğin, verilerim şöyle ise (1,1), (1,2), (1,3), (2,1), (2,2), (2,3) Böylelikle bölümleyici, bunu aynı bölüme düşen aynı anahtarlarla farklı bölümlere koyacaktır. Ancak yapıcı argümanının önemini anlamıyorum new HashPartitoner(numPartitions) //What does …

82 scala  apache-spark  rdd  partitioning