动态合并多个PySpark DataFrame：将静态列与各DataFrame的年度动态列整合

嘿，这个需求太典型了！你要的是把共享相同静态键列的多个窄表，合并成一个包含所有年度指标列的宽表对吧？用PySpark的join操作就能优雅搞定，而且还能写出扩展性强的代码，以后加新的年度DataFrame也不用大改。

先给你看针对当前3个DataFrame的直接实现，再给你一个通用的批量处理方案，适合以后加更多年度表的情况。

方案一：针对固定数量DataFrame的直接连接 #

因为三个DataFrame都有完全相同的colA、colB、colC作为关联键，我们可以直接基于这些列做连续的内连接（如果有些DataFrame可能缺失某些键，也可以用left_join，根据你的数据情况调整）：

# 假设你已经完成SparkSession初始化，且df1、df2、df3已存在
# 先合并df1和df2
df_combined = df1.join(df2, on=["colA", "colB", "colC"], how="inner")
# 再合并第三个DataFrame
df_final = df_combined.join(df3, on=["colA", "colB", "colC"], how="inner")

# 查看最终结果
df_final.show()

这样处理后，df_final就会包含你要的所有列：colA、colB、colC加上三个年度的薪资列，完全匹配你的输出要求。

方案二：通用批量处理方案（扩展性更强） #

如果以后要加更多年度的DataFrame（比如2023、2024的），硬编码连接就太麻烦了。我们可以用functools.reduce来批量处理一个DataFrame列表，自动完成所有连接：

from functools import reduce

# 把所有需要合并的DataFrame统一放进一个列表
df_list = [df1, df2, df3]

# 定义通用的连接函数：基于共享键列执行内连接
def join_dfs(df_left, df_right):
    return df_left.join(df_right, on=["colA", "colB", "colC"], how="inner")

# 用reduce批量执行连续连接
df_final = reduce(join_dfs, df_list)

# 验证最终列名
print(df_final.columns)
# 输出结果：['colA', 'colB', 'colC', 'avg_salary_y2020', 'avg_salary_y2021', 'avg_salary_y2022']

这个方案的优势在于，以后只要把新的年度DataFrame加到df_list里，代码不用做其他修改，直接就能生成包含新指标列的最终表。

几个关键注意事项 #

• 提前确认所有DataFrame的colA、colB、colC列数据类型完全一致，比如一个是字符串类型，另一个是整数类型的话，连接会出错，可提前用cast()方法统一类型。
• 如果部分DataFrame可能缺失某些键值对，把连接方式从how="inner"改成how="left"，这样会保留第一个DataFrame里的所有键，其他DataFrame缺失的对应列会自动填充null。
• 你的年度列名已经是唯一的（比如avg_salary_y2020、avg_salary_y2021），所以不用担心列名冲突的问题；如果以后列名有重复风险，可以在连接前给列添加专属前缀。

备注：内容来源于stack exchange，提问作者Jayron Soares