PySpark中如何实现多行转多列 简化pivot透视操作

手动枚举所有静态属性列到groupBy的写法确实冗余，以下两种方案都可以避免手动列字段的问题，适配你有十多个额外属性字段的场景：

方案1：自动提取分组列（代码最简洁） #

不需要手动罗列所有属性字段，直接通过列名规则自动筛选需要分组的列：所有列中排除透视列、值列，剩下的全部作为分组维度即可，后续新增属性字段也不需要修改代码。

from pyspark.sql import functions as F

# 只需要指定做透视的列、存值的列即可，其余列自动识别为分组维度
pivot_column = "foods"
value_column = "foods_eaten"
group_columns = [col for col in df.columns if col not in (pivot_column, value_column)]

df_result = df.groupBy(group_columns) \
              .pivot(pivot_column) \
              .agg(F.avg(value_column)) \
              .fillna(0) # 没有匹配记录的透视值填充为0，和示例需求对齐

如果提前知道foods列的所有固定取值，可以在pivot里传入取值列表做性能优化，省掉Spark全表扫描统计透视值的步骤：

df_result = df.groupBy(group_columns) \
              .pivot(pivot_column, ["apples", "oranges"]) # 指定明确的透视值列表
              .agg(F.avg(value_column)) \
              .fillna(0)

方案2：主键透视后关联属性表（大数据量性能更优） #

从示例数据可以看出，name/color/continent这类属性都和id一一绑定，同一个id下这些属性值完全重复，这种场景不需要把所有字段都放进groupBy增加shuffle开销：

1. 仅用主键id做分组透视，减少shuffle阶段传输的数据量
2. 单独提取每个id对应的静态属性（按id去重即可）
3. 把两部分结果按id关联得到最终宽表

from pyspark.sql import functions as F

# 仅用主键做透视
pivot_df = df.groupBy("id") \
             .pivot("foods", ["apples", "oranges"]) \
             .agg(F.avg("foods_eaten")) \
             .fillna(0)

# 提取静态属性
attr_df = df.select(*[c for c in df.columns if c not in ("foods", "foods_eaten")]) \
            .dropDuplicates(["id"])

# 关联得到结果
df_result = pivot_df.join(attr_df, on="id", how="inner")

这种写法在属性列多、数据量大的场景下性能明显优于全字段groupBy的写法。

内容的提问来源于stack exchange，提问作者oogway74