使用Google Storage Transfer Service复制ADLS文件时遇错误

错误原因 #

这个Error The condition specified using HTTP conditional header(s) is not met.错误本质是：Google存储传输作业在复制文件时，会先获取ADLS文件的ETag或Last-Modified值作为校验条件，传输过程中如果文件正在被写入/更新，这些标识值会发生变化，导致条件校验失败，进而中断该文件的传输。

可行解决方案 #

• 配置针对性重试策略
  在传输作业的设置里，针对HTTP 412状态码（对应条件不满足错误）增加重试次数（建议3-5次），并设置指数退避间隔（比如第一次等10秒，第二次20秒，以此类推）。这样当文件还在写入时，作业会自动重试，等文件写入完成后就能成功复制。

• 通过文件后缀过滤待传输文件
  让ADLS端的写入进程先将文件写入为临时后缀（比如.tmp），完全写入完成后再重命名为正式后缀（比如.data）。然后配置Google传输作业只同步带有正式后缀的文件，从源头上避免抓取正在写入的不完整文件。

• 谨慎禁用条件请求校验
  如果你的场景能接受偶尔传输不完整文件，或者后续可以通过覆盖更新修正，可以修改传输作业配置，关闭ETag或Last-Modified的条件校验。但注意，这会失去传输的一致性校验，可能导致重复传输或无效传输，需评估风险后使用。

• 增量传输结合时间戳过滤
  将作业设置为增量传输模式，仅同步上次传输后新增或修改的文件。同时添加过滤规则，只处理修改时间戳早于当前时间5-10分钟的文件，确保文件已经完成写入，不再被修改。

内容的提问来源于stack exchange，提问作者Ankit Srivastava