如何在ADF(V2)管道复制活动源中使用变量复制最新文件夹

问题场景 #

创建ADF(V2)管道，需基于日期时间找到a/b/c下的最新文件夹（如示例中的20221021030000），将其中所有文件复制到同路径的目标位置。已成功获取最新文件夹并设置变量，但在复制活动源中使用该变量时，管道运行成功却无文件复制。当前复制阶段配置如下：

{
    "source": {
        "type": "BinarySource",
        "storeSettings": {
            "type": "AzureBlobFSReadSettings",
            "fileListPath": "a/b/c/20221021030000/",
            "deleteFilesAfterCompletion": false
        },
        "formatSettings": {
            "type": "BinaryReadSettings"
        }
    },
    "sink": {
        "type": "BinarySink",
        "storeSettings": {
            "type": "AzureBlobFSWriteSettings"
        }
    },
    "enableStaging": false
}

排查及解决步骤 #

• 变量引用格式检查
  确认复制活动中路径配置是否用对了变量引用语法，比如@variables('LatestFolderName')。如果是拼接路径，要确保逻辑正确，比如@concat('a/b/c/', variables('LatestFolderName'), '/')，注意末尾斜杠不要漏写，同时ADLS Gen2路径区分大小写，要保证路径和存储中实际文件夹完全匹配。

• 变量值验证
  运行管道后查看变量输出值，确认是否确实是最新的文件夹名称，有没有额外空格、特殊字符，拼接后的完整路径是否和存储中实际存在的文件夹一致。

• 核心错误：fileListPath的误用
  fileListPath的作用是指向包含文件路径列表的.txt文件，不是直接指向文件夹路径！这是导致无文件复制的关键原因。如果要复制整个文件夹下的所有文件，应该用wildcardPath配合递归配置，示例配置如下：

  {
      "source": {
          "type": "BinarySource",
          "storeSettings": {
              "type": "AzureBlobFSReadSettings",
              "wildcardPath": "a/b/c/20221021030000/*",
              "recursive": true
          },
          "formatSettings": {
              "type": "BinaryReadSettings"
          }
      },
      "sink": {
          "type": "BinarySink",
          "storeSettings": {
              "type": "AzureBlobFSWriteSettings",
              "copyBehavior": "PreserveHierarchy"
          }
      },
      "enableStaging": false
  }
  

  用变量的话，wildcardPath可写成@concat('a/b/c/', variables('LatestFolderName'), '/*')。

• 目标路径配置检查
  确认sink的路径是否正确设置，比如要复制到a/b/c/[最新文件夹]，可以在数据集里设置根路径，然后在复制活动的sink中用@concat('a/b/c/', variables('LatestFolderName'))指定目标文件夹，或者直接在数据集参数中引用变量。

• 查看运行日志
  打开管道运行的详细日志，查看复制活动的「源」部分输入输出，确认实际读取的路径是什么，是否有文件被扫描到。如果日志显示「读取到0个文件」，说明路径匹配存在问题。

内容的提问来源于stack exchange，提问作者user10360768