Delta表存在对应文件但查询返回无数据的问题排查

1. 元数据不同步（最常见原因） #

你通过SQL创建的nx_bronze_raw表已注册到Databricks元数据目录（如Hive Metastore），但PySpark直接写入路径时，不会自动更新元数据目录中的表快照。此时查询注册的表时，Databricks会优先调用元数据里的旧信息，而非路径下的最新数据。

解决方法：

• 刷新表元数据：执行SQL语句 REFRESH TABLE nx_bronze_raw;，之后重新查询表。
• 直接查询路径验证数据：SELECT * FROM delta./mnt/Databricks/bronze/devices/``，若该查询能返回数据，即可确认是元数据同步问题。

2. Schema不匹配 #

SQL创建表时定义的Schema与PySpark DataFrame的Schema存在差异，可能导致数据写入后无法被表的元数据识别：

• 列名大小写差异：比如SQL表定义的是Device（首字母大写），而DataFrame的列是device（小写），在大小写敏感的配置环境下，会出现数据写入但查询不到的情况。
• 列类型不兼容：比如SQL表中Device是STRING类型，而DataFrame中是INT类型，即使写入无报错，也可能导致数据无法被正确映射。

解决方法：

• 对比两者Schema：
  • 查看SQL表Schema：DESCRIBE TABLE nx_bronze_raw;
  • 查看DataFrame Schema：在PySpark中执行df.printSchema()
• 确保Schema完全一致后重新写入；或在写入时指定mergeSchema=True参数（仅适用于兼容的Schema变更）：

  df.write.format("delta").mode("append").option("mergeSchema", "true").save("/mnt/Databricks/bronze/devices/")
  

3. Delta事务日志异常 #

尽管存储中有数据文件，但Delta的事务日志（路径下_delta_log目录中的JSON文件）可能未正确记录写入操作，导致表无法识别新数据。

解决方法：

• 检查_delta_log目录，确认是否存在对应写入操作的日志文件（如00000000000000000001.json）。
• 若日志缺失或损坏，可尝试重新写入数据；或在确认数据文件正常的前提下，执行OPTIMIZE delta./mnt/Databricks/bronze/devices/``修复表。

4. 分区配置不一致 #

如果SQL创建表时指定了分区（如PARTITIONED BY (Device)），但PySpark写入时未按分区规则写入，或分区列不匹配，会导致表的分区元数据未更新，查询时无法找到数据。

解决方法：

• 检查表的分区配置：SHOW PARTITIONS nx_bronze_raw;
• 写入时确保按分区列写入，或执行MSCK REPAIR TABLE nx_bronze_raw;刷新分区元数据。

内容的提问来源于stack exchange，提问作者khidir sanosi