Spark：如何用exceptAll对比CSV与Parquet生成的DataFrame？

直接调用exceptAll肯定会报错，因为这个方法要求两个DataFrame的列数、列名、数据类型完全匹配，你的场景里一个是6列、一个是2列，结构不对齐，自然无法直接使用。要想用exceptAll做对比，必须先对两个DataFrame做预处理，让它们的结构和数据格式对齐，具体步骤如下：

第一步：明确列的对应关系 #

先搞清楚Parquet文件的2列数据对应CSV文件里的哪些内容。从你给出的示例来看，Parquet的第一列包含Stephen、Tyler这类CSV里的姓名信息，大概率是CSV前两列（名+姓）的组合或格式化后的结果。你需要先确认这种映射逻辑，比如是简单拼接、还是带有特殊标记的转换（比如示例里的6[1]这类前缀）。

第二步：预处理两个DataFrame，对齐结构 #

根据第一步的对应关系，对两个DF做调整，让它们拥有完全一致的列：

• 如果Parquet的列是CSV多列的组合：把CSV的对应列按照同样的规则转换，生成和Parquet列名、类型一致的DF。比如CSV的John和Doe列拼接成PAR1列，还要处理引号、特殊字符的格式，和Parquet的格式对齐。
  示例代码（以PySpark为例）：

  # 处理CSV的DF，生成和Parquet匹配的列
  df_csv_processed = df_csv.withColumn(
      "PAR1",
      concat(col("John"), lit(" "), col("Doe"))  # 假设是简单拼接，实际要根据Parquet的格式调整
  ).select("PAR1")  # 只保留和Parquet一致的列
  
  # 如果Parquet有第二列，同样处理对应的CSV列
  

• 如果只需要对比部分共同数据：分别筛选出两个DF中需要对比的列，确保列名、顺序、类型完全一致。

第三步：调用exceptAll做对比 #

当两个DF结构完全对齐后，就可以正常调用exceptAll了：

# 获取两个DF的差异行
diff_df = df_csv_processed.exceptAll(df_parquet)

# 如果差异DF为空，说明数据完全一致
if diff_df.count() == 0:
    print("两个DataFrame数据完全一致")
else:
    print("存在差异行：")
    diff_df.show()

额外注意事项 #

• 数据类型对齐：CSV读取的列默认可能是字符串类型，要确认Parquet的列类型是否一致，不一致的话用cast()转换。
• 字符串清洗：CSV里的转义引号（比如"John""Da Man"""）、Parquet里的特殊标记（比如6[1]），要先确认是读取时的格式问题还是数据本身的差异，必要时做清洗（比如去掉多余引号、特殊前缀）。
• null值处理：确保两个DF的null值判断逻辑一致，比如CSV里的null字符串是否被解析为真正的null，Parquet里的空值是否对应相同的类型。

内容的提问来源于stack exchange，提问作者Jelly