«scala» etiketlenmiş sorular

Aşağıdaki gibi oluşturulan bir DataFrame var: df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc)) Sonuçlar şöyle görünür: +----+--------+----------+ |Hour|Category|TotalValue| +----+--------+----------+ | 0| cat26| 30.9| | 0| cat13| 22.1| | 0| cat95| 19.6| | 0| cat105| 1.3| | 1| cat67| 28.5| | 1| cat4| 26.8| | 1| cat13| 12.6| | 1| cat23| …

144 sql  scala  apache-spark  dataframe  apache-spark-sql 

Scala'daki dosyaları okumak için Source.fromFile("file.txt").mkString Dosyaya bir dize yazmanın eşdeğer ve özlü bir yolu var mı? Çoğu dil böyle bir şeyi destekler. Benim favorim Groovy: def f = new File("file.txt") // Read def s = f.text // Write f.text = "file contents" Kodu tek bir satırdan kısa bir kod sayfasına …

144 scala  scala-2.9 

Arasındaki fark nedir ==.equals()Scala ve içindeki ve ne zaman kullanılır? Uygulama Java ile aynı mı? EDIT: ilgili soru belirli vakalardan bahseder AnyVal. Daha genel durum Any.

144 scala  equality  scala-java-interop 

Spark'ı AWS EC2 kılavuzunu kullanarak yükledim bin/pysparkve kıvılcım komut istemine ulaşmak için komut dosyasını kullanarak programı iyi başlatabilirim ve ayrıca Hızlı Başlangıç ​​işlemini başarılı bir şekilde yapabilirim. Ancak, hayatım boyunca INFOher komuttan sonra tüm ayrıntılı günlük kaydını nasıl durduracağımı anlayamıyorum . Ben her uygulamayı yanı sıra her düğüm üzerinde uygulamayı …

144 python  scala  apache-spark  hadoop  pyspark 

Hangi durumlarda Array (Buffer) ve List (Buffer) kullanmalıyım. Bildiğim tek bir fark, dizilerin değişken olmayan ve listelerin kovaryant olduğudur. Peki ya performans ve diğer bazı özellikler?

142 arrays  list  scala  scala-collections 

Ben bir CSV kıvılcım okumak ve DataFrame olarak dönüştürmek ve ile HDFS depolamak istiyorum df.registerTempTable("table_name") Denedim: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Aldığım hata: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] at parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:418) at org.apache.spark.sql.parquet.ParquetRelation2$MetadataCache$$anonfun$refresh$6.apply(newParquet.scala:277) at …

142 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

Nasıl bir RDD ( org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]) bir Dataframe dönüştürebilirsiniz org.apache.spark.sql.DataFrame. Ben kullanarak bir veri çerçevesi rdd dönüştürdü .rdd. İşledikten sonra veri çerçevesinde geri istiyorum. Bunu nasıl yapabilirim ?

139 scala  apache-spark  apache-spark-sql  rdd 

Bir vaka sınıfının birçok alanı olduğunda ve adları uzun olduğunda, her satırı her alandaki gibi yazmak genellikle iyi bir fikirdir: case class Person ( name: String, age: Int ) Bu, C / C ++ structtanımına benzer ve vaka sınıfı büyüdüğünde bile tamamen okunabilir. Ancak IntelliJ IDEA'nın varsayılan Scala eklentisi girintisini …

138 scala  intellij-idea  indentation  case-class 

Şu anda olduğu gibi, bu soru Soru-Cevap formatımıza uygun değil. Yanıtların olgular, referanslar veya uzmanlık tarafından desteklenmesini bekliyoruz, ancak bu soru muhtemelen tartışma, tartışma, oylama veya genişletilmiş tartışma talep edecektir. Bu sorunun çözülebileceğini ve muhtemelen yeniden açılabileceğini düşünüyorsanız, yardım için yardım merkezini ziyaret edin . 8 yıl önce kapalı . …

138 scala  maven  sbt 

İçinde bir dosya data.xmlvar src/test/resources/. Nasıl yeni içine bu dosyayı okuyabilir FileReaderbenim testinde data.scalade src/test/scala/?

137 scala  sbt 

Skala'da ters sıralama yapmanın en iyi yolu nedir? Aşağıdakilerin biraz yavaş olduğunu hayal ediyorum. list.sortBy(_.size).reverse SortBy'yi kullanmanın ancak ters sıralama elde etmenin uygun bir yolu var mı? Kullanmayı tercih etmem sortWith.

137 scala 

Denedim df.orderBy("col1").show(10)ama artan sırada sıralandı. df.sort("col1").show(10)ayrıca azalan sırada sıralar. Stackoverflow'a baktım ve bulduğum cevapların hepsi eski veya RDD'lere atıfta bulundu . Kıvılcımda yerel veri çerçevesini kullanmak istiyorum.

137 scala  apache-spark  apache-spark-sql 

Skala'daki Akışlar, Görünümler (SeqView) ve Yineleyiciler arasındaki farklar nelerdir? Bu benim anlayışım: Hepsi tembel listeler. Akışlar değerleri önbelleğe alır. Yineleyiciler yalnızca bir kez kullanılabilir mi? Başa dönüp değeri tekrar değerlendiremiyor musunuz? Görünümün değerleri önbelleğe alınmaz, ancak bunları tekrar tekrar değerlendirebilirsiniz? Öyleyse yığın alanından tasarruf etmek istersem yineleyicileri (listeyi tekrar geçmeyeceğim) …

136 scala  scala-collections 

Skala (2.10.3) REPL'in son versiyonunda, REPL'den exitçıkmak için yazabilirim . Ancak, Scala 2.11.0'da bu işe yaramıyor. $ scala Welcome to Scala version 2.11.0 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_51). Type in expressions to have them evaluated. Type :help for more information. scala> exit <console>:8: error: not found: value exit …

136 scala  scala-2.11 

Scala'da aşırı yüklenmiş inşaatçıları nasıl temin ediyorsunuz?

135 scala