使用Azure Data Factory增量加载AWS S3的CSV文件到Azure Blob存储

针对你的场景（S3文件命名为TableA_YYYYMMDD.csv，每日接收/次日更新对应日期文件），推荐以下几种高效方案，避开Get Metadata获取修改时间的坑：

方案1：利用文件名日期规则直接定位（最推荐） #

因为文件名本身包含明确的日期标识，完全不用依赖文件修改时间，直接通过动态表达式生成目标文件名，精准复制：

• 在ADF管道中添加复制活动，源数据集的文件路径直接用动态表达式生成：

  @concat('TableA_', adddays(utcnow(), -1, 'yyyyMMdd'), '.csv')
  

  （注：如果是每日加载当日文件，把-1改成0；如果业务逻辑是次日加载前一天的更新文件，保留-1即可）
• 若需要处理文件更新（次日同日期文件被替换），可以直接覆盖Blob中同名称的文件，或者在Blob存储中维护一个已处理日期的清单（比如用txt文件记录），每次运行前用Lookup活动读取清单，判断当前日期是否已处理，未处理则执行复制并更新清单。

方案2：修复Get Metadata获取修改时间的问题 #

如果一定要基于文件修改时间做增量，先排查权限和配置问题：

• 确保ADF连接S3的服务主体拥有s3:GetObject和s3:GetObjectVersion权限，这是获取文件最后修改时间的前提。
• 配置Get Metadata活动时，勾选Last Modified字段，在输出中就能拿到每个文件的修改时间。
• 用Filter活动过滤出上次运行时间之后修改的文件：
  • 先通过变量或外部存储（比如Azure SQL表、Blob的记录文件）保存上次管道运行的时间戳。
  • Filter活动的条件设为：

    @greater(item().lastModified, pipeline().parameters.lastRunTime)
    

• 遍历过滤后的文件列表执行复制，完成后更新上次运行时间戳。

方案3：使用ADF增量复制策略 #

如果你的S3数据集支持，可以配置增量复制：

• 源数据集的增量列选择文件的LastModified属性，或者利用文件名中的日期作为逻辑增量列。
• 在复制活动中启用增量复制，ADF会自动跟踪已复制的文件，避免重复加载。

内容的提问来源于stack exchange，提问作者Eric S