如何在PostgreSQL中持续追踪BackBlaze预签名文件上传记录

针对BackBlaze S3兼容API无上传完成事件、客户端确认不可靠导致的悬空文件/孤立记录问题，以下是几个可落地的高层面方案：

1. 定时对账同步机制 #

• 定期（比如每小时/每天，根据业务量调整）执行对账任务：
  • 调用BackBlaze的ListObjectsV2 API拉取指定存储桶内的文件（可按前缀分批拉取，避免性能瓶颈）。
  • 将拉取到的文件信息与PostgreSQL中的文件记录做比对：
    • 若数据库中标记为「待上传」但对象存储已存在该文件，直接将数据库记录更新为「上传完成」。
    • 若对象存储中存在文件但数据库无对应记录，标记为悬空文件，后续可手动或自动清理。
• 优化点：生成预签名URL时，为文件设置唯一的x-amz-meta-record-id自定义元数据（关联数据库记录ID），对账时可通过HeadObject API读取该元数据快速匹配，无需全量比对文件名。

2. 增强客户端确认可靠性 #

• 给客户端的上传确认请求添加幂等性保障：用数据库记录ID作为幂等键，服务端收到请求时先检查记录状态，若已标记完成则直接返回成功，避免重复处理。
• 客户端实现指数退避重试：上传完成后若发送确认请求失败（超时/错误），自动重试3-5次，每次间隔按1s、2s、4s递增，减少网络波动导致的确认丢失。
• 客户端前置校验：上传完成后先调用BackBlaze的HeadObject API验证文件存在且元数据正确，确认无误后再发送完成请求到服务端。

3. 业务流程中被动补全校验 #

• 在业务访问文件的环节增加校验逻辑：若数据库记录显示「待上传」，但实际能从BackBlaze获取到文件，自动将数据库记录更新为「上传完成」。
• 针对长期处于「待上传」状态的记录（比如超过24小时），触发主动校验任务：调用HeadObject检查文件是否存在，同步更新对应状态。

4. 悬空文件自动清理 #

• 结合对账结果，给悬空文件打标记，通过BackBlaze生命周期规则自动清理：
  • 对账后给无对应数据库记录的文件添加自定义元数据x-amz-meta-orphaned=true。
  • 设置存储桶生命周期规则，删除标记为orphaned且超过7天的文件（时间可按需调整）。

内容的提问来源于stack exchange，提问作者Arkam Fahry