如何为新建的Hadoop备份文件添加自定义未验证标记？

三种标记方案的优劣对比 #

• 方案1：重命名为file.bak.unverified
  • 硬伤：修改了文件扩展名，若有工具依赖.bak后缀会直接失效，后续取消标记还需批量重命名，维护成本高。
• 方案2：重命名为file.unverified.bak
  • 问题：虽保留了.bak后缀，但文件名结构被修改，后续移除标记仍需调整文件名，灵活性不足。
• 方案3：在file.bak同目录创建.unverified隐藏标记文件
  • 最优解：完全不改动备份文件本身，后续取消标记仅需删除隐藏文件，对现有依赖备份的流程零侵入，灵活度拉满。

实现顺序的正确姿势 #

你担心的「先写备份再建标记，万一任务失败导致标记缺失」确实是个风险，正确的执行顺序应该反过来：

1. 先创建标记文件：在启动备份写入前，先在目标目录创建空的.unverified隐藏文件（避免干扰正常目录操作）。
2. 写入并提交备份：完成file.bak的写入和提交流程。
3. 验证通过后删除标记：等备份文件的完整性、校验和都验证无误后，再删掉.unverified文件。

为什么这么做更可靠？ #

• 若备份写入失败，.unverified文件会留存，后续清理或检查任务能直接识别出这是未完成/未验证的备份，不会误判。
• 反过来的话，万一备份成功但标记创建失败，这个备份会被当成已验证状态，风险远高于「标记存在但备份失败」——前者是误判有效，后者是误判无效，显然后者更容易修正。

额外小建议 #

• 可以在.unverified文件里写入简单元数据，比如备份时间戳、任务ID，后续排查问题时能快速定位到对应的备份任务。

内容的提问来源于stack exchange，提问作者Aviral Srivastava