PySpark for循环中如何将多条件查询的DataFrame合并为一个

你当前的循环写法每次都会用新的查询结果覆盖df变量，最终只能得到最后一个条件对应的查询结果。要合并所有条件的结果，可参考以下两种实现方案：

方案1：拼接为单条SQL一次查询（性能最优） #

将所有条件对应的查询用UNION ALL拼接为一条SQL执行，仅触发一次任务调度，性能远高于多次单独查询：

# 生成每个条件对应的查询片段
query_parts = [f"SELECT col1, col2 FROM table WHERE {condition}" for condition in Conditions]
# 拼接为带UNION ALL的完整SQL，不需要去重用UNION ALL，需要去重则替换为UNION
full_query = " UNION ALL ".join(query_parts)
# 一次执行得到最终结果
final_df = spark.sql(full_query)

方案2：循环查询后合并（适用于需单独处理子查询的场景） #

如果每个子查询需要做额外的转换处理再合并，可以先把所有子查询的DataFrame存入列表，再统一合并：

from functools import reduce
from pyspark.sql import DataFrame

# 生成所有子查询的DataFrame列表
df_list = []
for condition in Conditions:
    sub_df = spark.sql(f"SELECT col1, col2 FROM table WHERE {condition}")
    # 这里可以对sub_df做单独的转换处理，比如新增列、过滤等
    df_list.append(sub_df)

# 合并所有DataFrame，不需要去重用unionAll，需要去重则替换为union
final_df = reduce(DataFrame.unionAll, df_list)

注意事项 #

• 合并前要确保所有子查询返回的列数量、列顺序、列数据类型完全一致，否则会触发合并异常
• 如果条件来自外部用户输入，需要做内容校验，避免SQL注入风险

内容的提问来源于stack exchange，提问作者user2260543