如何在ADF中针对ADLS文件夹场景实现增量加载

针对ADLS源端、目标端各2个文件夹（源文件夹共4个文件，目标文件夹共3个文件）的增量加载需求，可通过以下ADF活动组合完成：

具体执行步骤 #

• 并行运行Get Metadata活动：分别对源端的2个文件夹、目标端的2个文件夹执行该活动，获取每个文件夹的Child Items属性值（即文件夹内的完整文件列表）。这一步的核心是收集源与目标两侧的所有文件信息，作为增量判断的基础数据。
• 并行运行Set Variable活动：将Get Metadata返回的源文件列表存入一个数组变量（比如var_source_file_list），目标文件列表存入另一个数组变量（比如var_dest_file_list），方便后续逻辑中直接调用这些文件集合。
• 遍历源文件并判断增量：先使用For Each活动遍历var_source_file_list中的每个文件，在For Each内部添加If Condition活动，设置判断条件为：

  @not(contains(variables('var_dest_file_list'), item().name))
  

  当条件成立时（即当前源文件不存在于目标文件夹中），触发Copy Activity，将该文件从对应的源文件夹同步到目标文件夹。

补充说明：如果需要按文件夹维度批量同步差异文件，也可以通过集合运算（比如使用union或except函数）直接找出源与目标的文件差异集合，再批量传递给Copy Activity处理，这种方式适合文件数量较多的场景。

内容的提问来源于stack exchange，提问作者Anubhav