如何实现PySpark两DataFrame逐列对比并生成结果列？

需求说明 #

现有两个列数相等但列名不同的PySpark DataFrame，需要按列序逐列对比（第1列对第1列、第2列对第2列……），为每一组对比生成结果列，结果状态包括：

• match：两列值相等且都非空
• no_match：两列值都非空但不相等
• null_in_1st：第一个DataFrame的列值为空，第二个非空
• null_in_2nd：第二个DataFrame的列值为空，第一个非空

最终生成包含所有原列及对应结果列的DataFrame，且需通过循环实现，避免逐列硬编码。

完整实现代码 #

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, when

# 初始化Spark会话
spark = SparkSession.builder.appName("ColumnWiseComparison").getOrCreate()

# 构建示例DataFrame1
data1 = [("abc", 2), ("def", 4), ("xyz", None), ("mno", 5)]
df1 = spark.createDataFrame(data1, ["Column A", "Column B"])

# 构建示例DataFrame2
data2 = [("abc", 2), ("def", 3), ("xyz", 4), ("mno", None)]
df2 = spark.createDataFrame(data2, ["Column C", "Column D"])

# 获取两个DataFrame的列名列表
df1_cols = df1.columns
df2_cols = df2.columns

# 校验列数一致性（可选，提前排查错误）
if len(df1_cols) != len(df2_cols):
    raise ValueError("两个DataFrame的列数必须相等")

# 合并原列：此处假设行是按顺序一一对应，若有主键请用主键关联
result_df = df1.join(df2, how="cross")

# 循环处理每一对列
for idx in range(len(df1_cols)):
    col_name_1 = df1_cols[idx]
    col_name_2 = df2_cols[idx]
    result_col = f"{col_name_1}_result"
    
    # 定义对比逻辑
    compare_logic = when(col(col_name_1).isNull() & col(col_name_2).isNotNull(), "null_in_1st")\
                    .when(col(col_name_1).isNotNull() & col(col_name_2).isNull(), "null_in_2nd")\
                    .when(col(col_name_1) == col(col_name_2), "match")\
                    .otherwise("no_match")
    
    # 添加结果列到DataFrame
    result_df = result_df.withColumn(result_col, compare_logic)

# 查看最终结果
result_df.show()

代码解释 #

1. 列名与校验：提取两个DataFrame的列名列表，先校验列数是否一致，避免后续循环出现索引越界问题。
2. DataFrame合并：示例中使用cross join是因为假设两行DataFrame的行是严格按顺序一一对应的。如果实际场景中有唯一主键（如id列），请改用主键关联（例如df1.join(df2, on="id", how="full")），否则会产生笛卡尔积导致结果错误。
3. 循环生成结果列：
   • 遍历每一组对应列，生成结果列名（原列名后缀_result）
   • 通过when-otherwise链式判断优先级：先处理空值场景，再判断值是否相等，最后兜底为不匹配
   • 将生成的结果列追加到结果DataFrame中

注意事项 #

• 若对比的列是复杂数据类型（如数组、结构体），直接使用==无法正确对比，需要编写自定义UDF实现对应类型的对比逻辑。
• 若两个DataFrame的行不是按顺序对应，必须依赖主键进行关联，否则结果无意义。

内容的提问来源于stack exchange，提问作者ashu