Databricks AutoLoader疑问：替换CSV后无法写入表需删除检查点

• 检查点的文件追踪元数据残留：AutoLoader会把已处理过的文件路径记录在检查点的文件追踪目录中。你替换的新CSV和旧文件文件名完全一致，即便内容更新，AutoLoader依然会认为这些文件已经完成处理，不会触发新的写入流程——它默认以文件路径/名称作为唯一识别标记，而非文件内容。

• 流写入的幂等性校验冲突：Databricks流任务依赖检查点保证Exactly-Once语义，检查点中存储了每个处理批次的偏移量、写入状态等核心元数据。当你替换同名文件后，流任务读取到新数据，但检查点里的批次状态仍对应旧文件的写入记录，两者状态不匹配会触发幂等校验失败，导致写入阻塞。

• 文件状态识别的局限性：部分存储系统的元数据（如文件修改时间、大小）同步存在延迟，或者你未开启AutoLoader的文件内容指纹校验，导致AutoLoader无法识别到同名文件已被替换，依然沿用检查点中的旧状态判断。

删除检查点相当于完全重置了流任务的处理状态，让AutoLoader重新扫描目标路径下的所有文件，自然就能正确处理新上传的CSV文件了。

内容的提问来源于stack exchange，提问作者peace