如何将两个轮换Azure存储容器的文件复制摄取到目标容器

• 源端：Azure StorageV2账户，下设A、B两个容器，所有Blob文件平铺存储在容器根目录
• 目标端：Azure Data Lake Gen2（搭载单个目标容器的Azure存储账户）

• 容器轮换逻辑：奇偶月交替使用对应源容器，1月使用Container A、2月使用Container B、3月使用Container A，单月仅存在1个活跃容器
• 同步要求：每月初需将当前活跃源容器内全量文件复制至目标容器；当月剩余时段，活跃源容器内所有新增、覆写文件需同步摄取
• 现有容器自动切换逻辑：已在Azure Data Factory中通过动态表达式实现自动切换，表达式如下：

@if(equals(mod(int(formatDateTime(utcnow(),'%M')), 2), 0), 'containerB', 'ContainerA')

• 数据规模：涉及文件总量约20000个，总大小约2GB

此前参考官方教程搭建了基于Tumbling Window（滚动窗口）的复制管道，配置每日运行触发器，通过文件LastModifiedDate属性识别新增/变更文件实现增量复制，存在明确缺陷：

• 每月待切换的活跃容器会在换月前提前预置完成，月初需要摄取的存量文件LastModifiedDate早于触发器的时间窗口起始值，导致这部分存量文件无法被复制，仅触发器启动后新增/变更的文件可被正常捕获
• 手动硬编码更早的起始时间触发任务后，当月后续新增文件可正常完成增量同步，但该操作需要人工介入，无法实现全流程自动化

不需要调整现有触发器配置，仅通过管道内的逻辑判断即可自动兼容月初全量、日常增量的同步需求，全程无人工干预：

1. 管道初始化阶段新增两个变量
   • currentActiveContainer：直接复用现有容器切换表达式赋值，存储当月活跃容器名称
   • syncStartTime：存储本次同步需要筛选的文件修改时间起始阈值
2. 新增Lookup活动作为管道第一个执行节点
   • 配置Lookup读取目标容器自定义元数据路径（如sys/sync_checkpoint/）下，和currentActiveContainer同名的标记文件，文件内仅存储上次同步成功的时间戳
   • 如果Lookup返回空结果（即当月第一次运行对应活跃容器的同步任务，对应月初全量同步场景），直接将syncStartTime赋值为1970-01-01T00:00:00Z，该时间早于所有预置文件的上传时间，可覆盖容器内全部存量文件
   • 如果Lookup成功读取到历史时间戳，直接将syncStartTime赋值为读取到的时间值，走常规增量同步逻辑
3. 配置复制活动的源端筛选规则
   • 筛选条件设置为LastModifiedDate >= 变量syncStartTime且LastModifiedDate < 当前滚动窗口的结束时间，将符合条件的文件复制到目标端对应路径
4. 复制活动完成后新增写入活动
   • 将本次滚动窗口的结束时间，覆盖写入到sys/sync_checkpoint/路径下对应活跃容器的标记文件中，作为下次同步的时间起点

方案说明 #

• 该方案完全规避了滚动窗口默认起始时间的限制，月初自动触发全量同步、日常自动触发增量同步，不需要人工调整参数
• 2万文件、2GB总规模的数据量下，即使月初全量扫描复制，整体耗时也在ADF可承载的性能范围内，不会出现超时或资源不足问题
• 自带断点容错能力，如果某次同步任务失败，下次重跑会自动从上次成功记录的时间点开始筛选文件，不会出现漏数或重复复制问题
• 全部使用ADF原生活动实现，不需要额外接入其他服务，后续维护成本极低

内容的提问来源于stack exchange，提问作者BassGod