如何无join将PySpark DataFrame同键字典多列explode为多行

你的场景里4个目标列均为键完全一致的字典（MapType），无需任何join操作，仅需一次explode即可完成多行拆分，同时保留统一键值与各列对应取值，性能远高于多列explode后关联的写法。

核心逻辑 #

所有Map列的键完全对齐，任选一列做explode即可拿到全量统一的键，剩余列直接通过键从对应Map中取值即可，全程无shuffle、无join。

实现代码 #

from pyspark.sql import functions as F

# 替换为你的实际DataFrame变量名
source_df = ...

result_df = source_df.select(
    # 保留所有非目标拆分列，按需调整排除字段即可
    *[c for c in source_df.columns if c not in {"pct_ci_tr", "pct_ci_rn", "pct_ci_ttv", "pct_ci_comm"}],
    # 任选一个Map列做explode，输出统一键与该列对应值
    F.explode("pct_ci_tr").alias("ci_key", "pct_ci_tr")
).withColumn(
    # 剩余列直接通过统一键从原Map列取值
    "pct_ci_rn", F.col("pct_ci_rn")[F.col("ci_key")]
).withColumn(
    "pct_ci_ttv", F.col("pct_ci_ttv")[F.col("ci_key")]
).withColumn(
    "pct_ci_comm", F.col("pct_ci_comm")[F.col("ci_key")]
)

可选调整 #

• 如果不需要保留原始Map列，在代码末尾追加.drop("pct_ci_tr", "pct_ci_rn", "pct_ci_ttv", "pct_ci_comm")即可，注意要在所有withColumn取值逻辑执行完之后再drop
• 如果后续存在部分行Map键不一致的场景，可以追加F.when逻辑做空值兜底，当前明确键完全对齐的场景不需要额外处理

内容的提问来源于stack exchange，提问作者Roopanjali Jasrotia