PySpark：无需Pivot转换实现Dataframe宽表转换的替代方案

可以通过条件表达式手动构造目标列 + 分组聚合的方式替代pivot，逻辑和你当前的pivot实现完全一致，具体代码如下：

实现代码（PySpark） #

首先导入Spark SQL函数：

from pyspark.sql import functions as F

然后执行转换：

# 手动构造每个share对应的目标列，非匹配项填充0.0
df_transformed = df.withColumn("share_1", F.when(F.col("share") == 0.01, F.col("forecast")).otherwise(0.0)) \
                   .withColumn("share_10", F.when(F.col("share") == 0.1, F.col("forecast")).otherwise(0.0)) \
                   .withColumn("share_15", F.when(F.col("share") == 0.15, F.col("forecast")).otherwise(0.0)) \
                   .withColumn("share_20", F.when(F.col("share") == 0.2, F.col("forecast")).otherwise(0.0)) \
                   # 按原分组键聚合，取每个列的第一个值（和你原pivot的first逻辑一致）
                   .groupBy("gender", "pro", "week") \
                   .agg(
                       F.first("share_1").alias("share_1"),
                       F.first("share_10").alias("share_10"),
                       F.first("share_15").alias("share_15"),
                       F.first("share_20").alias("share_20")
                   )

逻辑说明 #

1. 构造目标列：用when/otherwise判断每行的share值，匹配对应目标列时填入forecast，否则填0.0，这一步模拟了pivot将不同share值映射为列的过程。
2. 分组聚合：按gender、pro、week分组后，用first聚合每个目标列，和你原代码中pivot(...).agg(first('forecast'))的逻辑完全对齐——如果同一分组内有多个相同share的行，会取第一个出现的forecast值。

如果需要调整聚合逻辑（比如求和、取最大值），只需要把first替换为对应的聚合函数（如sum、max）即可。

内容的提问来源于stack exchange，提问作者paulo