Spark DataFrame grubu: Azalan düzende sıralama ve sıralama (pyspark)

Pyspark (Python 2.7.9 / Spark 1.3.1) kullanıyorum ve azalan düzende filtrelemem ve sıralamam gereken bir veri çerçevesi GroupObject sahibiyim. Bu kod parçasıyla bunu başarmaya çalışıyorum.

group_by_dataframe.count().filter("`count` >= 10").sort('count', ascending=False)

Ancak şu hatayı atıyor.

sort() got an unexpected keyword argument 'ascending'

PySpark 1.3'te sortyöntem artan parametre almaz. Bunun descyerine yöntemi kullanabilirsiniz :

from pyspark.sql.functions import col

(group_by_dataframe
    .count()
    .filter("`count` >= 10")
    .sort(col("count").desc()))

veya descişlev:

from pyspark.sql.functions import desc

(group_by_dataframe
    .count()
    .filter("`count` >= 10")
    .sort(desc("count"))

Her iki yöntem de Spark> = 1.3 (Spark 2.x dahil) ile kullanılabilir.

OrderBy'yi kullan :

df.orderBy('column_name', ascending=False)

Tam cevap:

group_by_dataframe.count().filter("`count` >= 10").orderBy('count', ascending=False)

http://spark.apache.org/docs/2.0.0/api/python/pyspark.sql.html

Şimdiye kadarki en uygun yol bunu kullanmak:

df.orderBy(df.column_name.desc())

Özel ithalat gerektirmez.

Pyspark 2.4.4'te

1) group_by_dataframe.count().filter("`count` >= 10").orderBy('count', ascending=False)

2) from pyspark.sql.functions import desc
   group_by_dataframe.count().filter("`count` >= 10").orderBy('count').sort(desc('count'))

1) 'de içe aktarmaya gerek yok ve 1) kısa ve okunması kolay, bu
yüzden 1) yerine 2'yi tercih ediyorum

groupBy ve orderBy'yi aşağıdaki gibi kullanabilirsiniz

dataFrameWay = df.groupBy("firstName").count().withColumnRenamed("count","distinct_name").sort(desc("count"))