如何迭代将PySpark DataFrame df2列类型对齐至df1对应列？

这个需求在PySpark数据处理里挺常见的，我给你一套简洁的实现方案，正好满足你「迭代处理、仅修改类型不匹配的列」的要求：

步骤分解 #

1. 构建df1的列-类型映射字典
   先把df1的所有列名和对应数据类型提取出来做成字典，这样后续能快速查询每一列的目标类型：

   # 从df1中提取列名与对应数据类型的字典
   target_types = {col_name: dtype for col_name, dtype in df1.dtypes}
   

2. 遍历df2的列，按需转换类型
   遍历df2的每一列，对比当前列类型和df1的目标类型：类型一致就直接保留该列；不一致则用cast()方法转换为目标类型，同时保留原列名：

   from pyspark.sql import functions as f
   
   # 生成转换后的列列表
   transformed_columns = []
   for col_name, current_dtype in df2.dtypes:
       target_dtype = target_types[col_name]
       if current_dtype == target_dtype:
           # 类型匹配，直接保留原列
           transformed_columns.append(col_name)
       else:
           # 类型不匹配，执行转换并保留原列名
           transformed_columns.append(f.col(col_name).cast(target_dtype).alias(col_name))
   
   # 生成类型对齐后的新DataFrame
   df2_aligned = df2.select(*transformed_columns)
   

注意事项 #

• 部分类型转换存在数据风险：比如string转bigint时，若字符串包含非数字内容，转换后会变为null；double转bigint则会截断小数部分，建议转换后验证数据完整性。
• 该方案依赖列名完全匹配，只要df1和df2的列名一致（顺序不影响），就能正常执行对齐操作。

内容的提问来源于stack exchange，提问作者LKA