如何将PySpark DataFrame多行数据转换为单行多列格式？

要完成这个转换，核心是利用**分组（groupBy）+ 透视（pivot）**的组合操作，同时先清理无效数据和格式问题，具体步骤如下：

1. 预处理数据 #

首先过滤掉pos为空的行，同时清理cpid字段的双引号：

from pyspark.sql import functions as F

# 过滤pos为空的记录，去除cpid字段的双引号
clean_df = df.filter(F.col("pos").isNotNull()) \
             .withColumn("cpid", F.regexp_replace(F.col("cpid"), '"', ''))

2. 分组透视转置 #

按id、orderid、item分组，对pos字段进行透视，将每个pos值映射为单独的列，取对应的cpid值：

# 分组并透视，聚合取对应pos下唯一的cpid值
pivoted_df = clean_df.groupBy("id", "orderid", "item") \
                     .pivot("pos") \
                     .agg(F.first("cpid"))

3. 重命名列名 #

将透视后的列（如0、1）重命名为pos_0_cpid、pos_1_cpid的格式：

# 遍历列名，批量重命名符合目标格式
final_df = pivoted_df.select(
    "id", "orderid", "item",
    *[F.col(col).alias(f"pos_{col}_cpid") for col in pivoted_df.columns if col not in ["id", "orderid", "item"]]
)

# 查看最终结果
final_df.show(truncate=False)

执行上述代码后，即可得到你期望的单行多列格式：每个id+orderid+item组合对应一行，不同pos对应的cpid分别作为单独列展示。

内容的提问来源于stack exchange，提问作者Shibu