使用spark.table透视数据后，如何按季度降序排列列？

你的问题核心是：sort方法仅对行数据进行排序，无法改变列的显示顺序。pivot默认会按透视列（此处为qtr）的自然升序生成列，因此需要手动指定列的排列顺序。

解决方案一：在Pivot阶段指定自定义列顺序 #

先获取符合条件的季度值并按降序排序，再将排序后的列表传入pivot方法，直接生成目标顺序的列：

# 第一步：获取降序排列的季度列表
qtr_order = spark.table("GSCH.TABLE") \
    .filter("source='ALL' AND yearmonth == 'AUGUST'") \
    .select("qtr") \
    .distinct() \
    .orderBy(col("qtr").desc()) \
    .rdd.flatMap(lambda x: x) \
    .collect()

# 第二步：透视时指定列顺序
spark.table("GSCH.TABLE"). \
    filter("source='ALL' AND yearmonth == 'AUGUST'"). \
    groupBy("dim_value"). \
    pivot("qtr", qtr_order). \  # 传入预排序的季度列表
    sum("percentage"). \
    sort("dim_value"). \
    show(100, False)

解决方案二：透视后通过Select重新排列列 #

如果已完成透视操作，可以通过select手动指定列的顺序，先保留dim_value，再将季度列按降序排列：

# 先执行原透视逻辑
pivoted_df = spark.table("GSCH.TABLE"). \
    filter("source='ALL' AND yearmonth == 'AUGUST'"). \
    groupBy("dim_value"). \
    pivot("qtr"). \
    sum("percentage"). \
    sort("dim_value")

# 构造目标列顺序：dim_value + 降序的季度列
final_cols = ["dim_value"] + sorted(pivoted_df.columns[1:], reverse=True)

# 重新选择列并展示
pivoted_df.select(final_cols).show(100, False)

说明 #

两种方案的核心都是手动控制列的顺序：

• 方案一更高效，在透视阶段直接生成目标列顺序，避免后续额外的列重排操作
• 方案二更灵活，适合已完成透视、需要调整列顺序的场景

内容的提问来源于stack exchange，提问作者Samrat Saha