PySpark：如何高效合并列不一致的DataFrame列表？

问题分析 #

你之前用reduce(lambda x,y: x.unionByName(y, allowMissingColumns=True), list_of_dfs)效率提升有限，核心原因是逐次合并会重复执行列对齐、补空操作——每次合并都要校验两个DataFrame的schema，补全缺失列，当DataFrame数量较多时，这种重复操作会累积大量额外开销。

而reduce(Dataframe.unionByName, list_of_dfs)无法处理缺失列，是因为默认的unionByName没有开启allowMissingColumns=True参数，直接传递方法本身没法带上这个配置项。

更高效的实现方案 #

推荐先统一所有DataFrame的列集合，再一次性合并，具体步骤如下：

1. 收集所有DataFrame的列名并集
   先把所有DataFrame的列名汇总，取全量的列集合：

   from functools import reduce
   import pyspark.sql.functions as F
   
   # 获取所有列的并集
   all_columns = reduce(lambda cols, df: cols.union(set(df.columns)), list_of_dfs, set())
   all_columns = sorted(all_columns)  # 可选，固定列顺序，避免后续合并出现列顺序混乱
   

2. 定义列对齐函数
   让每个DataFrame都对齐到全量列，缺失的列用null填充：

   def align_to_full_columns(df):
       # 补全缺失列，注意类型匹配（如果不同DataFrame同列类型不一致，需要额外处理）
       for col_name in all_columns:
           if col_name not in df.columns:
               # 默认用string类型，也可以根据实际业务指定类型，比如从其他DataFrame取类型
               df = df.withColumn(col_name, F.lit(None).cast("string"))
       # 按全量列顺序重新排列，确保所有DataFrame列顺序一致
       return df.select(all_columns)
   

3. 批量对齐后合并
   把所有DataFrame对齐后，直接用union合并（此时列完全一致，union比unionByName更快）：

   # 批量处理所有DataFrame
   aligned_dfs = [align_to_full_columns(df) for df in list_of_dfs]
   # 合并所有对齐后的DataFrame
   output = reduce(lambda x, y: x.union(y), aligned_dfs)
   

为什么这个方法更高效 #

• 只做一次列收集和对齐操作，避免了逐次合并时重复的schema校验、列补全开销
• 对齐后的DataFrame列完全一致，用union比unionByName少了列名匹配的步骤，进一步提升效率

额外注意事项 #

• 如果不同DataFrame中同列名的字段类型不一致，需要在align_to_full_columns函数里添加类型统一逻辑，比如取优先级最高的类型，或者统一转换为字符串/其他通用类型
• 如果是Spark 3.0+版本，也可以用unionByName批量合并，但前提还是要先对齐列，否则还是会有逐次校验的开销

内容的提问来源于stack exchange，提问作者dangus poochie