PySpark多个DataFrame列表合并（Union）的最佳实践是什么？

处理多个PySpark DataFrame的合并，不用逐个链式写union，以下是两种高效简洁的实现方式：

情况1：所有DataFrame结构完全一致（列名、顺序、类型全匹配） #

直接用functools.reduce配合union方法，一行代码搞定：

from functools import reduce

df_list = [df1, df2, df3]  # 你的DataFrame列表
merged_df = reduce(lambda a, b: a.union(b), df_list)

这种写法和链式union执行效率一致，但代码更整洁，尤其当列表中DataFrame数量较多时。

情况2：列名相同但顺序不同，或需要按列名匹配合并 #

用unionByName替代union，它会按列名而非位置匹配数据，避免顺序差异导致的错误：

from functools import reduce

merged_df = reduce(lambda a, b: a.unionByName(b), df_list)

如果列表中部分DataFrame存在缺失列（Spark 3.1及以上版本支持），可以添加allowMissingColumns=True参数，缺失列自动补null：

merged_df = reduce(lambda a, b: a.unionByName(b, allowMissingColumns=True), df_list)

注意事项 #

• 提前检查所有DataFrame的列数据类型是否兼容，类型不匹配会触发运行时错误。
• 如果DataFrame列表为空，要提前处理（比如返回预先定义的空结构DataFrame），避免reduce报错。

内容的提问来源于stack exchange，提问作者mihagazvoda