PySpark如何给DataFrame添加列表中不存在的列及报错解决

• 报错的直接原因：你混淆了withColumn和withColumns两个方法的用法：
  单数withColumn是单次添加单个列，接受两个参数：第一个是列名字符串，第二个是列表达式。你的写法用了复数的withColumns，这个方法要求传入字典类型参数，格式为{列名: 列表达式}，传两个参数会触发类型错误。
• 关于DataFrame反复覆盖的问题：
  Spark的DataFrame是不可变对象，每次执行df = df.withColumn(...)只是让变量df指向了新生成的DataFrame对象，不会修改原始数据，但是循环多次调用withColumn会让Spark的执行计划节点变多，当缺失列数量较多时会产生不必要的性能开销。

推荐一次性批量添加所有缺失列，不需要循环，执行效率更高：

from pyspark.sql.functions import lit
from pyspark.sql.types import StringType

req_cols = ["A","B","C","D","E","F","G"]
# 计算所有缺失的列
missing_cols = [col for col in req_cols if col not in df.columns]
# 生成列映射字典，此处可按需指定空值类型，示例转为字符串避免默认NullType的后续兼容问题
col_map = {col: lit(None).cast(StringType()) for col in missing_cols}
# 批量添加所有缺失列
df = df.withColumns(col_map)
# 可选操作：严格保证列顺序和自定义的需求列表完全一致
df = df.select(req_cols)

执行后调用df.show()即可得到你预期的输出结果。

内容的提问来源于stack exchange，提问作者RData