PySpark：高效合并嵌套字典中存储的所有DataFrame

当嵌套字典中包含大量DataFrame时，链式调用union会产生多个中间对象，效率较低。可以通过提取所有DataFrame到列表，再借助reduce一次性合并，大幅优化操作流程：

实现步骤 #

• 提取所有DataFrame到列表：

  df_list = [item['df'] for item in dct.values()]
  

• 合并列表中的DataFrame：
  • 如果所有DataFrame列顺序完全一致，使用unionAll：

    from functools import reduce
    from pyspark.sql import DataFrame
    
    merged_df = reduce(DataFrame.unionAll, df_list)
    

  • 如果列顺序可能不同，需要按列名匹配合并，使用unionByName（Spark 2.3+支持）：

    from functools import reduce
    from pyspark.sql import DataFrame
    
    # 不允许缺失列的情况
    merged_df = reduce(lambda df1, df2: df1.unionByName(df2, allowMissingColumns=False), df_list)
    
    # 允许缺失列，缺失列填充null
    merged_df = reduce(lambda df1, df2: df1.unionByName(df2, allowMissingColumns=True), df_list)
    

效率优势 #

链式union每次仅合并两个DataFrame，会产生多次中间计算开销；而reduce配合批量合并方法，仅需一次完整合并操作，能显著减少Shuffle和中间对象的生成，在DataFrame数量较多时性能提升尤为明显。

内容的提问来源于stack exchange，提问作者chicagobeast12