PySpark实现按维度匹配转置行值为列头并填充数据的问题

你的代码出现所有行填充相同值的核心原因：F.lit(key[1])是把某个固定的RAW_INFO值全局写入新列，完全没有关联PROCESS、SUBPROCESS、LAYER这三个维度的匹配关系，自然所有行都是同一个值。

正确的做法是用Spark原生的pivot函数，它专门用来处理行列转置，并且能自动按指定维度分组匹配对应值：

实现代码 #

from pyspark.sql import functions as F

# 按指定维度分组，将DESC_INFO转置为列，RAW_INFO作为对应列的匹配值
pivoted_df = df.groupBy("PROCESS", "SUBPROCESS", "LAYER")\
    .pivot("DESC_INFO")\
    .agg(F.first("RAW_INFO"))

# 可选：将空值填充为你需要的默认值（比如空字符串）
pivoted_df = pivoted_df.fillna("")

代码说明 #

• groupBy("PROCESS", "SUBPROCESS", "LAYER")：指定分组维度，确保同一维度下的记录会被聚合到一起
• pivot("DESC_INFO")：自动提取DESC_INFO的所有去重值，将它们转为新的列名
• agg(F.first("RAW_INFO"))：在每个分组内，取对应DESC_INFO列的RAW_INFO值（如果同一分组下同一DESC_INFO有多条记录，first会取第一条，你也可以根据实际需求用max/min，只要保证同一分组对应唯一值即可）

这个方法完全替代了你原来的循环逻辑，并且精准实现了按维度匹配填充转置后列的需求。

内容的提问来源于stack exchange，提问作者José Bastos