Python如何将字典所有元素动态传递给接收可变参数的unionAll函数

你可以直接使用Python的可变参数解包语法*，将字典中存储的所有DataFrame对象一次性传入函数即可：

result = unionAll(*my_dict.values())

补充说明 #

• 如果你需要按指定顺序合并DataFrame，可以先对字典的key做排序后再取值，避免因字典遍历顺序不稳定导致合并顺序不符合预期：

# 示例：按df_1、df_2……后缀的数字顺序排序后合并
sorted_keys = sorted(my_dict.keys(), key=lambda x: int(x.split("_")[1]))
sorted_dfs = [my_dict[k] for k in sorted_keys]
result = unionAll(*sorted_dfs)

• 如果你使用的是较新版本的PySpark，DataFrame.unionAll已经被标记为弃用，你可以替换为unionByName保证按列名匹配合并，避免列顺序不一致导致的数据错位问题，修改后的函数参考如下：

from functools import reduce
from pyspark.sql import DataFrame

def unionAll(*dfs):
    # allowMissingColumns设为True可兼容两个表列名不完全一致的场景
    return reduce(lambda df1, df2: df1.unionByName(df2, allowMissingColumns=True), dfs)

内容的提问来源于stack exchange，提问作者user16798185