Spark SQL'de azalan sırayla sütuna göre nasıl sıralama yapılır?

Denedim df.orderBy("col1").show(10)ama artan sırada sıralandı. df.sort("col1").show(10)ayrıca azalan sırada sıralar. Stackoverflow'a baktım ve bulduğum cevapların hepsi eski veya RDD'lere atıfta bulundu . Kıvılcımda yerel veri çerçevesini kullanmak istiyorum.

Ayrıca spark sql işlevlerini içe aktararak da sütunu sıralayabilirsiniz.

import org.apache.spark.sql.functions._
df.orderBy(asc("col1"))

Veya

import org.apache.spark.sql.functions._
df.sort(desc("col1"))

sqlContext.implicits._ içe aktarılıyor

import sqlContext.implicits._
df.orderBy($"col1".desc)

Veya

import sqlContext.implicits._
df.sort($"col1".desc)

Bu öyle org.apache.spark.sql.DataFrameiçin sortyöntemiyle:

df.sort($"col1", $"col2".desc)

Not $ve .desciç sortsütun için Sonuçları sıralamak için.

Yalnızca PySpark

Aynısını PySpark'ta yapmak istediğimde bu yazıya rastladım. En kolay yol, sadece artan = False parametresini eklemektir:

df.orderBy("col1", ascending=False).show(10)

Referans: http://spark.apache.org/docs/2.1.0/api/python/pyspark.sql.html#pyspark.sql.DataFrame.orderBy

import org.apache.spark.sql.functions.desc

df.orderBy(desc("columnname1"),desc("columnname2"),asc("columnname3"))

df.sort($"ColumnName".desc).show()

Java söz konusu olduğunda:

DataFramesBirleşimleri uygularken kullanırsak (burada İç birleşim), her DF'de farklı öğeleri seçtikten sonra şu şekilde sıralayabiliriz (ASC'de):

Dataset<Row> d1 = e_data.distinct().join(s_data.distinct(), "e_id").orderBy("salary");

nerede e_idASC'de maaşa göre sıralanırken birleştirmenin uygulandığı sütun .

Ayrıca Spark SQL'i şu şekilde kullanabiliriz:

SQLContext sqlCtx = spark.sqlContext();
sqlCtx.sql("select * from global_temp.salary order by salary desc").show();

nerede

• spark -> SparkSession
• maaş -> GlobalTemp Görünümü.