基于动态日期高水位线的Data Factory复制任务：解决HWM循环问题

针对你遇到的周末无数据导致HWM日期循环的问题，可以通过添加目录存在性校验+循环递增日期的逻辑来实现动态查找下一个有效目录，具体步骤如下：

1. 重构管道起始逻辑 #

• 保留原有读取HWM的逻辑（从数据库/存储获取上次的高水位线日期），将其存入变量currentCheckDate。
• 添加Until活动，设置循环终止条件为：@equals(activity('Check_Directory_Exists').exists, true)——直到找到存在的目录才停止循环。

2. 实现循环内的日期递增与目录校验 #

在Until活动内部按顺序添加以下组件：

• Get Metadata活动（命名为Check_Directory_Exists）：
  配置目录路径为@concat('topic/', formatDateTime(variables('currentCheckDate'), 'yyyy/MM/dd'))，勾选Exists选项，用于验证当前日期对应的目录是否存在。
• If Condition活动：
  判断条件设为@equals(activity('Check_Directory_Exists').exists, false)：
  • 分支1（目录不存在）：添加Set Variable活动，将currentCheckDate更新为@addDays(variables('currentCheckDate'), 1)，继续循环检查下一天的目录。
  • 分支2（目录存在）：不做任何操作，直接退出Until循环。

3. 执行数据复制并更新HWM #

• 退出Until循环后，使用currentCheckDate对应的目录路径执行数据复制操作（复用你原有的复制逻辑即可）。
• 复制成功后，将HWM值更新为@addDays(variables('currentCheckDate'), 1)——确保下一次管道启动时从当前处理日期的次日开始检查，而非原HWM直接加1。

4. 边界情况处理 #

• 给Until活动设置最大循环次数（比如设为7，覆盖一周的日期范围），避免因长期无数据导致无限循环。
• 如果达到最大循环次数仍未找到有效目录，可添加Fail活动抛出告警，或写入日志记录后结束管道。

关键配置注意点 #

• 日期格式必须严格匹配你的目录结构：yyyy/MM/dd（注意月份是大写MM，避免和分钟格式混淆）。
• 确保Get Metadata活动的数据源指向正确的存储账户容器，权限配置正常，能读取目录元数据。

内容的提问来源于stack exchange，提问作者WildJester