Databricks Autoloader写入失败后，下次流运行会重复处理文件吗？

Databricks Autoloader的流作业依赖检查点（Checkpoint）追踪处理进度，核心规则是：只有当数据被成功写入下游目标后，对应的文件处理偏移量才会被持久化到检查点中。

针对你遇到的场景，具体处理逻辑如下：

• 如果写入失败导致流作业终止，且未成功提交该批次的检查点记录，下次重启作业时，Autoloader会从检查点记录的最后成功位置重新开始处理，包含那些已经读取但写入失败的文件。
• Autoloader维护的文件追踪元数据会和检查点绑定，只有当「读取-转换-写入」全流程完成时，文件才会被标记为“已处理”，不会被重复读取；反之，只要流程未闭环，文件就会在重启后被重新处理。
• 若出现部分数据写入失败（比如单条数据错误导致批次部分失败）：
  • 若作业配置了failOnDataLoss=false，会跳过错误数据继续执行，但未成功写入的对应数据片段，重启后仍会被重新处理；
  • 若作业因写入失败直接终止，未完成的批次进度不会被检查点保存，重启后会重新处理该批次的全部文件。

优化建议 #

• 确保下游写入操作的幂等性：比如使用merge替代append，或给数据添加唯一标识实现去重，避免重复处理导致的数据重复；
• 配置写入重试机制：在写入阶段设置合理的重试次数，覆盖临时网络、资源不足等故障场景；
• 检查检查点目录的权限与可用性：保证作业能正常写入检查点，避免因检查点无法更新导致的重复处理。

内容的提问来源于stack exchange，提问作者Harish