如何使用采集的映射列表实现PySpark DataFrame列批量重命名

问题原因 #

你的代码调用withColumnRenamed()的传参格式不符合要求，该方法需要接收两个独立的字符串参数：第一个为原有列名、第二个为目标列名，你直接传入i["m1"].items()这个字典视图对象，无法被方法正常解析。

修改方案 #

方案1：循环调用withColumnRenamed

因为每个m1字典内仅包含一组映射关系，只需在循环内先把键值对拆解出来再传入即可：

for i in target_fields:
    # 提取单组映射的旧列名、新列名
    old_col, new_col = next(iter(i["m1"].items()))
    df = df.withColumnRenamed(old_col, new_col)

方案2：一次性批量处理（性能更优）

如果映射的列数较多，推荐先构建完整的映射字典，再通过select方法一次性完成重命名，避免多次调用withColumnRenamed生成冗余执行计划：

from pyspark.sql.functions import col

# 先组装完整的列名映射字典
col_rename_map = {}
for item in target_fields:
    col_rename_map.update(item["m1"])

# 批量处理所有列
df = df.select(*[
    col(c).alias(col_rename_map[c]) if c in col_rename_map else col(c) 
    for c in df.columns
])

内容的提问来源于stack exchange，提问作者jake wong