«apache-spark» etiketlenmiş sorular

Diyelim ki şöyle bir şey yapıyorum: val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> "cars.csv", "header" -> "true")) df.printSchema() root |-- year: string (nullable = true) |-- make: string (nullable = true) |-- model: string (nullable = true) |-- comment: string (nullable = true) |-- blank: string (nullable = true) df.show() year …

152 scala  apache-spark  apache-spark-sql 

Spark Veri Kümelerini Tanıtmaya Göre : Spark 2.0'ı dört gözle beklerken, Veri Kümelerinde bazı heyecan verici iyileştirmeler planlıyoruz, özellikle: ... Özel kodlayıcılar - şu anda çok çeşitli türler için kodlayıcıları otomatik olarak oluştururken, özel nesneler için bir API açmak istiyoruz. ve Datasetaşağıdaki gibi bir hataya neden olacak şekilde özel türü …

151 scala  apache-spark  apache-spark-dataset  apache-spark-encoders 

Aşağıdaki gibi oluşturulan bir DataFrame var: df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc)) Sonuçlar şöyle görünür: +----+--------+----------+ |Hour|Category|TotalValue| +----+--------+----------+ | 0| cat26| 30.9| | 0| cat13| 22.1| | 0| cat95| 19.6| | 0| cat105| 1.3| | 1| cat67| 28.5| | 1| cat4| 26.8| | 1| cat13| 12.6| | 1| cat23| …

144 sql  scala  apache-spark  dataframe  apache-spark-sql 

Spark'ı AWS EC2 kılavuzunu kullanarak yükledim bin/pysparkve kıvılcım komut istemine ulaşmak için komut dosyasını kullanarak programı iyi başlatabilirim ve ayrıca Hızlı Başlangıç ​​işlemini başarılı bir şekilde yapabilirim. Ancak, hayatım boyunca INFOher komuttan sonra tüm ayrıntılı günlük kaydını nasıl durduracağımı anlayamıyorum . Ben her uygulamayı yanı sıra her düğüm üzerinde uygulamayı …

144 python  scala  apache-spark  hadoop  pyspark 

Aşağıdakiler için, zamanın her noktasında yalnızca bir Spark işinin çalıştığını varsayalım. Şimdiye kadar aldığım şey İşte Spark'da neler olduğunu anlıyorum: A SparkContextoluşturulduğunda, her çalışan düğüm bir yürütücü başlatır. Yürütücüler, sürücü programına geri bağlanan ayrı işlemlerdir (JVM). Her yürütücü, sürücü programının kavanozuna sahiptir. Bir sürücüden vazgeçerek, uygulayıcıları kapatır. Her yürütücü bazı …

143 apache-spark 

Ben bir CSV kıvılcım okumak ve DataFrame olarak dönüştürmek ve ile HDFS depolamak istiyorum df.registerTempTable("table_name") Denedim: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Aldığım hata: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] at parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:418) at org.apache.spark.sql.parquet.ParquetRelation2$MetadataCache$$anonfun$refresh$6.apply(newParquet.scala:277) at …

142 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

Nasıl bir RDD ( org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]) bir Dataframe dönüştürebilirsiniz org.apache.spark.sql.DataFrame. Ben kullanarak bir veri çerçevesi rdd dönüştürdü .rdd. İşledikten sonra veri çerçevesinde geri istiyorum. Bunu nasıl yapabilirim ?

139 scala  apache-spark  apache-spark-sql  rdd 

Bir sütun eklemek istiyorum DataFramebazı rasgele değeri olan (her satır için aynıdır). withColumnAşağıdaki gibi kullandığımda bir hata alıyorum : dt.withColumn('new_column', 10).head(5) --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) <ipython-input-50-a6d0257ca2be> in <module>() 1 dt = (messages 2 .select(messages.fromuserid, messages.messagetype, floor(messages.datetime/(1000*60*5)).alias("dt"))) ----> 3 dt.withColumn('new_column', 10).head(5) /Users/evanzamir/spark-1.4.1/python/pyspark/sql/dataframe.pyc in withColumn(self, colName, col) 1166 [Row(age=2, …

138 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Denedim df.orderBy("col1").show(10)ama artan sırada sıralandı. df.sort("col1").show(10)ayrıca azalan sırada sıralar. Stackoverflow'a baktım ve bulduğum cevapların hepsi eski veya RDD'lere atıfta bulundu . Kıvılcımda yerel veri çerçevesini kullanmak istiyorum.

137 scala  apache-spark  apache-spark-sql 

RDD'ler map ile mapPartitionsyöntem arasındaki fark nedir ? Ve böyle mi flatMapdavranıyor mu? Teşekkürler.mapmapPartitions (değiştir) yani arasındaki fark nedir (anlamsal olarak veya uygulama açısından) def map[A, B](rdd: RDD[A], fn: (A => B)) (implicit a: Manifest[A], b: Manifest[B]): RDD[B] = { rdd.mapPartitions({ iter: Iterator[A] => for (i <- iter) yield fn(i) …

133 performance  scala  apache-spark  rdd 

Spark 1.4.0'da Spark SQL ve DataFrames kullanmaya başladım. Scala'da DataFrames üzerinde özel bir bölümleyici tanımlamak istiyorum, ancak bunun nasıl yapılacağını göremiyorum. Üzerinde çalıştığım veri tablolarından biri, aşağıdaki örneğe göre, hesaba göre, silimar işlemlerin bir listesini içeriyor. Account Date Type Amount 1001 2014-04-01 Purchase 100.00 1001 2014-04-01 Purchase 50.00 1001 2014-04-05 …

129 scala  apache-spark  dataframe  apache-spark-sql  partitioning 

Bir Spark DataFrame'im var (PySpark 1.5.1 kullanarak) ve yeni bir sütun eklemek istiyorum. Aşağıdakileri herhangi bir başarı olmadan denedim: type(randomed_hours) # => list # Create in Python and transform to RDD new_col = pd.DataFrame(randomed_hours, columns=['new_col']) spark_new_col = sqlContext.createDataFrame(new_col) my_df_spark.withColumn("hours", spark_new_col["new_col"]) Ayrıca bunu kullanırken bir hata var: my_df_spark.withColumn("hours", sc.parallelize(randomed_hours)) Peki PySpark …

129 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Apache kıvılcım yürütme düğümleri için kullanılabilir belleği nasıl artırabilirim? Apache Spark'a yüklenmeye uygun 2 GB'lık bir dosyam var. Şu an 1 makinede apache spark çalıştırıyorum, bu yüzden sürücü ve uygulayıcı aynı makinede. Makinenin 8 GB belleği vardır. Belleğe alınacak dosyayı ayarladıktan sonra dosyanın satırlarını saymayı denediğimde şu hataları alıyorum: 2014-10-25 …

128 memory  apache-spark 

Bir koleksiyonun içeriğini Spark konsoluna yazdırmaya çalışıyorum. Bir tipim var: linesWithSessionId: org.apache.spark.rdd.RDD[String] = FilteredRDD[3] Ve şu komutu kullanıyorum: scala> linesWithSessionId.map(line => println(line)) Ancak bu basılmıştır: res1: org.apache.spark.rdd.RDD [Unit] = MappedRDD [4], haritada: 19 RDD'yi konsola nasıl yazabilirim veya içeriğini görüntüleyebilmek için diske nasıl kaydedebilirim?

124 scala  apache-spark 

Apache Spark DataFrame'de iki sütunu nasıl birleştiririz? Spark SQL'de kullanabileceğimiz herhangi bir fonksiyon var mı?

117 sql  apache-spark  dataframe  apache-spark-sql