如何自动比对源文件夹与SQL配置表的待上传Azure Blob文件名

核心逻辑是将配置表作为唯一的规则来源，管道只做通用的集合交集计算，配置表的文件名清单更新时无需修改任何管道代码，自动适配匹配规则。

具体实现步骤（基于Azure Data Factory，适配绝大多数常规文件量场景） #

• 读取SQL配置表的目标文件清单
  新增Lookup活动连接对应SQL数据库，配置查询语句为SELECT 待匹配文件名字段名 FROM 你的配置表名，关闭活动设置里的「仅返回第一行」选项，执行后会拿到全量配置文件名的JSON数组，结果存储在活动输出的value字段中。
• 获取源文件夹全量文件清单
  保留原有的Get Metadata活动，数据集指向待扫描的源文件夹，返回字段勾选「子项」，执行后拿到源路径下所有文件/文件夹的属性列表，结果存储在活动输出的childItems字段中。
  注意：如果源文件夹下文件数量超过10000，不要直接用Get Metadata拉全量，换成存储SDK/List Blob API分页拉取清单，避免活动输出大小超限。
• 动态筛选匹配文件（无任何硬编码）
  新增Filter活动，输入项绑定Get Metadata输出的childItems数组，筛选条件填写以下动态表达式，不需要写死任何文件名：

  @contains(
      array(select(activity('读取SQL配置表').output.value, x => x.待匹配文件名字段名)),
      item().name
  )
  

  表达式逻辑：先把Lookup拿到的配置表记录提取为纯文件名字符串数组，再逐一判断源文件夹的文件名是否存在于配置数组中，匹配结果就是需要上传到Blob Storage的目标文件列表。
• 批量执行上传
  将Filter活动的输出结果传入ForEach活动，ForEach内部配置Copy活动，源文件路径动态拼接当前遍历项的name字段，目标数据集指向Azure Blob Storage对应容器，即可批量完成匹配文件的上传。

大文件量场景优化方案 #

如果源文件夹文件量级达到10万以上，ADF内存层面的数组筛选会有性能瓶颈，可将比对逻辑下推到数据库层执行：

• 拉取到源文件夹全量文件名后，通过脚本活动将清单批量写入SQL临时表
• 执行存储过程对临时表和正式配置表做内连接查询，直接返回匹配成功的文件名清单
• 用查询返回的结果直接驱动Copy活动，性能远高于内存筛选，也不会触发ADF的活动数据量限制。

内容的提问来源于stack exchange，提问作者Vas