如何通过Azure Data Factory v2实现本地文件服务器到Azure Data Lake的增量加载

这儿有一套完整的方案来实现你要的本地文件到Azure Data Lake的增量加载需求，我给你拆解成几个关键步骤，跟着做就能搞定：

1. 先搞定本地文件服务器的连接 #

• 首先得在ADF里创建一个自托管集成运行时（Self-hosted Integration Runtime），毕竟要访问本地资源，这个运行时得部署在能直接访问你的本地文件服务器的机器上，安装配置好后就能打通ADF和本地环境的连接。
• 接着创建一个文件系统链接服务，类型选「File System」，关联刚才部署的自托管IR，然后配置本地文件服务器的路径、认证方式（比如用Windows认证的话，填好对应的用户名和密码就行）。

2. 设计增量捕获的核心逻辑 #

要只抓新的未处理文件，有两种实用方式，你可以根据自己的场景选：

方式一：基于文件最后修改时间（简单易上手） #

• 在ADF管道里先加个Get Metadata活动，把本地目标文件夹里所有文件的元数据（重点是最后修改时间）拉出来。
• 再添加Filter活动，把最后修改时间晚于上次管道运行时间的文件筛选出来。这里直接用ADF的内置变量 @pipeline().TriggerTime 当参考时间就行——因为是按固定间隔触发的管道，这个变量就是每次触发管道的时间，对比文件的lastModified属性就能筛出新增的文件。
• 把筛选后的文件列表传给Copy活动，源设置为本地文件服务器的路径（用动态内容指定具体的文件路径），目标就是你的Azure Data Lake Storage Gen2的容器或者指定文件夹。

方式二：基于文件标记（适合复杂场景） #

如果你的文件有特定命名规则，或者允许处理后修改状态，就可以用这种方式：

• 同样先用Get Metadata活动获取文件列表，然后筛选出未标记的文件（比如文件名里没有_processed后缀，或者不在「已处理」子文件夹里的文件）。
• 文件处理完成后，加个Move活动或者Rename活动，把已处理的文件移到专门的「已完成」子文件夹，或者给文件名加个处理标记，这样下次管道运行时就不会重复抓取了。

3. 配置管道的自动触发 #

• 创建一个Schedule trigger（计划触发器），设置好日间固定的运行间隔——比如每2小时跑一次，或者每天上午9点、12点、下午3点这些特定时间点，完全根据你的业务需求来调整频率。
• 把这个触发器关联到你刚才设计的增量加载管道，这样管道就会按时自动运行，不用手动触发啦。

4. 一些优化和注意事项 #

• 可以在管道里加个日志记录的环节，比如用Web活动或者把日志写到Azure SQL数据库里，记录每次处理的文件列表、处理时间，后续排查问题会方便很多。
• 如果要处理的文件数量特别大，记得在Copy活动的设置里调整并行复制的度，提升加载效率。
• 自托管IR的机器一定要保持稳定运行，要是机器离线了管道就会失败，有条件的话可以配置IR的高可用集群，避免单点故障。

内容的提问来源于stack exchange，提问作者Koushik