使用PySpark实现Spark DataFrame列的自动降序重排

实现步骤 #

你的聚合结果df_agg是仅含一行的DataFrame，可通过以下步骤实现列按数值降序排列：

• 提取单行数据为字典：将聚合后的单行数据转换为字典，键为列名，值为对应列的汇总数值
• 按数值降序排序列名：基于字典的value对列名做降序排序
• 重新选择排序后的列：用排序后的列名列表调用select方法，生成有序的新DataFrame

完整代码示例 #

from pyspark.sql.functions import col, sum

# 你的原始聚合代码
df_agg = df.agg(*[sum(col(c)).alias(c) for c in df.columns])

# 提取单行数据为字典
agg_dict = df_agg.collect()[0].asDict()

# 按数值降序排序列名
sorted_cols = sorted(agg_dict.keys(), key=lambda x: agg_dict[x], reverse=True)

# 生成排序后的DataFrame
df_sorted = df_agg.select(*sorted_cols)

补充说明 #

• 仅需采集单行数据，即使列数达数百列也不会产生性能问题
• 若聚合结果存在多行（你的场景是全局聚合，一般仅一行），可根据实际需求调整排序逻辑

内容的提问来源于stack exchange，提问作者Qwaz