Azure Databricks中DataFrame关联后过滤结果为空问题排查

以下是针对该问题的具体排查方向及验证操作：

• 字符串匹配异常（最常见原因）

  • 检查两个表的FileName是否包含不可见字符：比如首尾空格、全角空格、换行符等隐形差异，可通过长度对比验证：

    # 检查目标文件名的原长度与去除首尾空格后的长度
    filtered_result_df.select("FileName", length("FileName"), length(trim("FileName"))).show()
    # 同步检查Raw_Data中的对应记录
    spark.sql("SELECT FileName, length(FileName), length(trim(FileName)) FROM Raw_Data WHERE FileName LIKE 'z823021%'").show()
    

  • 大小写不一致：Spark默认区分大小写，关联时可统一转换为小写/大写规避：

    filtered_rawDF = raw_data_df.join(
        file_names_df,
        lower(raw_data_df.FileName) == lower(file_names_df.FileName),
        "inner"
    )
    

• 数据类型不匹配
  确认两张表的FileName字段类型是否一致（比如一个是string，另一个是binary），通过printSchema()查看：

  filtered_result_df.printSchema()
  raw_data_df.printSchema()
  

  若类型不同，先统一类型再关联，比如将二进制类型转为字符串：

  from pyspark.sql.types import StringType
  raw_data_df = raw_data_df.withColumn("FileName", col("FileName").cast(StringType()))
  

• Raw_Data表实际数据缺失

  • 直接验证Raw_Data中是否存在目标文件名：

    spark.sql("SELECT * FROM Raw_Data WHERE FileName = 'z823021-01-04f42s...'").show()
    

  • 若Raw_Data是分区表，可能分区过滤导致未扫描到目标数据，临时关闭分区裁剪验证：

    spark.conf.set("spark.sql.optimizer.dynamicPartitionPruning.enabled", "false")
    spark.sql("SELECT * FROM Raw_Data WHERE FileName = 'z823021-01-04f42s...'").show()
    

• 关联逻辑或去重错误

  • 检查FileNames的去重逻辑是否正确：确认是否用distinct()或dropDuplicates()正确提取了唯一文件名，避免保留无效重复项。
  • 改用左关联排查匹配情况：通过左关联查看哪些文件名在Raw_Data中无匹配：

    filtered_rawDF = file_names_df.join(
        raw_data_df,
        on="FileName",
        how="left"
    ).filter(col("Raw_Data.任意字段名").isNull())
    filtered_rawDF.show()
    

• 缓存或元数据过期

  • 清理DataFrame缓存，避免读取旧数据：

    filtered_result_df.unpersist()
    file_names_df.unpersist()
    raw_data_df.unpersist()
    

  • 刷新表元数据，确保读取最新的表结构和数据：

    spark.sql("REFRESH TABLE Raw_Data")
    spark.sql("REFRESH TABLE File_Processing_History")
    

内容的提问来源于stack exchange，提问作者simplezarg