PySpark拆分Map列为多列时自动重命名生成键列避免重名

原有拆分逻辑触发运行报错的核心原因是：从map_col提取值生成新列时，直接使用Map的原始键作为列别名，和DataFrame中已存在的customer_id、mobile_number、email等同名字段冲突。
只需要调整新列的别名生成规则，给所有从Map拆分出的列统一拼接_2后缀即可，方案不需要硬编码Map键名，可自动适配任意数量、任意名称的动态键场景。

实现代码 #

from pyspark.sql import functions as F

# 动态提取map_col中所有去重后的键
keys_df = df.select(F.explode(F.map_keys(F.col("map_col")))).distinct()
keys = [row[0] for row in keys_df.collect()]

# 提取Map对应键的值，生成新列时统一加_2后缀
key_cols = [
    F.col("map_col").getItem(key).alias(f"{key}_2")
    for key in keys
]

# 保留原表所有列，追加拆分后的新列
final_cols = [F.col("*")] + key_cols
df_result = df.select(final_cols)

方案说明 #

• 动态适配性：不需要提前预知map_col包含的键名，无论后续Map中新增任何键，都会自动完成拆分并生成带_2后缀的列
• 空值逻辑兼容：map_col为null、或单行数据中Map缺失对应键时，拆分后的列会自动返回null，和基础拆分逻辑的行为完全一致
• 可灵活扩展：如果需要调整后缀格式，只需要修改alias()方法中的字符串拼接规则即可，比如替换为f"{key}_extracted"就能生成其他命名规则的列

内容的提问来源于stack exchange，提问作者Kishor