Spark DataFrame groupBy та сортувати за спаданням (pyspark)

Я використовую pyspark (Python 2.7.9 / Spark 1.3.1) і маю фрейм даних GroupObject, який мені потрібно відфільтрувати та відсортувати за спаданням. Спроба досягти цього за допомогою цього шматка коду.

group_by_dataframe.count().filter("`count` >= 10").sort('count', ascending=False)

Але він видає таку помилку.

sort() got an unexpected keyword argument 'ascending'

У PySpark 1.3 sortметод не приймає зростаючий параметр. descЗамість цього можна використовувати метод:

from pyspark.sql.functions import col

(group_by_dataframe
    .count()
    .filter("`count` >= 10")
    .sort(col("count").desc()))

або descфункція:

from pyspark.sql.functions import desc

(group_by_dataframe
    .count()
    .filter("`count` >= 10")
    .sort(desc("count"))

Обидва методи можна використовувати з Spark> = 1,3 (включаючи Spark 2.x).

Використання OrderBy :

df.orderBy('column_name', ascending=False)

Повна відповідь:

group_by_dataframe.count().filter("`count` >= 10").orderBy('count', ascending=False)

http://spark.apache.org/docs/2.0.0/api/python/pyspark.sql.html

Безумовно, найбільш зручним способом є використання цього:

df.orderBy(df.column_name.desc())

Не вимагає спеціального імпорту.

У піспарку 2.4.4

1) group_by_dataframe.count().filter("`count` >= 10").orderBy('count', ascending=False)

2) from pyspark.sql.functions import desc
   group_by_dataframe.count().filter("`count` >= 10").orderBy('count').sort(desc('count'))

Не потрібно імпортувати в 1) та 1), це короткий та легкий для читання,
тому я віддаю перевагу 1) більше 2)

Ви можете використовувати groupBy та orderBy наступним чином

dataFrameWay = df.groupBy("firstName").count().withColumnRenamed("count","distinct_name").sort(desc("count"))