Delta表分区文件已更新但日志未同步，读取数据报错原因咨询

一、代码逻辑错误导致的日志异常 #

从你提供的代码来看，存在两处明显的语法/逻辑错误，这可能直接导致Delta日志与实际Parquet文件不同步：

1. Merge条件的字段歧义
   在Merge的匹配条件中：

   s"stateTracking.tableName = updates.tableName and tableName = '$table_name'"
   

   后半段的tableName没有指定别名（stateTracking或updates），Spark无法确定该字段属于哪个数据集，会导致执行计划异常，可能出现部分写入成功但日志未正确记录的情况。正确的条件应该明确别名，比如：

   s"stateTracking.tableName = updates.tableName and stateTracking.tableName = '$table_name'"
   

2. InsertExpr中的字段名错误
   在whenNotMatched的插入表达式中：

   insertExpr(Map("tableName" -> "updates.table_name","path"->"updates.path"))
   

   你的new_df列名是tableName（驼峰格式），但这里写的是updates.table_name（下划线格式），这会导致Spark找不到对应字段，触发插入失败。虽然Parquet文件可能被意外创建，但Delta日志会因为插入异常而未正确记录该文件，最终读取时日志中无此文件的记录，提示文件不存在。修正后的代码应该是：

   insertExpr(Map("tableName" -> "updates.tableName","path"->"updates.path"))
   

二、其他可能的原因 #

除了代码问题，以下场景也会导致Delta日志与实际文件不同步：

• Delta日志写入失败：执行Merge操作时，Parquet文件写入成功，但后续的Delta元数据日志（存储在_delta_log目录下的JSON文件）因磁盘空间不足、权限不足、分布式存储网络延迟等原因写入失败，导致元数据未更新，读取时依赖日志就会提示文件不存在。
• 并发操作冲突：多个进程或Spark会话同时对同一Delta表执行写入操作，未通过Delta的乐观并发控制机制正确处理，导致日志被覆盖或部分写入，出现元数据与实际文件的不一致。
• 手动修改分区文件：如果直接手动修改了分区目录下的Parquet文件（比如手动上传/删除），而非通过Delta API操作，Delta日志不会记录这些变更，读取时日志中无对应文件记录，就会提示文件不存在。
• 存储系统一致性问题：若使用S3、HDFS等分布式存储，存在最终一致性特性，Parquet文件已经在节点上可见，但Delta日志的写入还未同步到所有节点，导致读取时无法获取最新的日志信息。
• Spark配置异常：错误配置了Delta相关参数，比如delta.log.cacheSize设置过小导致日志缓存未更新，或者delta.commitInfo.enabled未开启，影响日志的正常同步和读取。

内容的提问来源于stack exchange，提问作者Sathwika J