Azure Data Factory管道构建求助：从ADLS CSV提取指定列失败

步骤1：通过Lookup活动获取目标列名 #

• 配置Lookup活动连接到Azure SQL的配置表，仅查询存储列名的字段（例如字段名为ColumnName）。
• 确保Lookup输出为包含所有目标列名的数组，示例输出格式：[{"ColumnName":"Col1"},{"ColumnName":"Col2"},...,{"ColumnName":"Col10"}]

步骤2：拼接列名字符串 #

• 创建字符串类型变量TargetColumns。
• 在Set Variable活动中使用join()函数，将Lookup返回的列名数组拼接为逗号分隔的字符串：

  join(activity('Lookup配置表').output.value, ',')
  

  最终得到Col1,Col2,...,Col10格式的字符串。

步骤3：配置Copy活动的源查询 #

• 打开Copy活动的源设置，在源选项的查询字段中输入动态表达式：

  @concat('SELECT ', variables('TargetColumns'), ' FROM OPENROWSET(BULK ''', dataset('ADLS_CSV').folderPath, dataset('ADLS_CSV').fileName, ''', FORMAT = ''CSV'', HEADER_ROW = TRUE) AS [result]')
  

  该表达式会动态生成SQL查询，直接从ADLS的CSV文件中提取指定列。
• 注意：需确保ADLS Gen2的Linked Service权限充足，OPENROWSET路径格式符合要求（如abfss://container@account.dfs.core.windows.net/folder/file.csv）。

步骤4：可选——动态生成映射规则 #

• 若不想使用SQL查询，可在Copy活动的映射标签中启用动态内容，用表达式自动生成源列到目标列的映射：

  @createArray(
    foreach(item in activity('Lookup配置表').output.value, 
      createObject(
        'source', createObject('name', item.ColumnName),
        'sink', createObject('name', item.ColumnName)
      )
    )
  )
  

原方案失效原因 #

你之前的ForEach循环会让每个Copy活动仅提取单一列，最终生成10个独立数据集，而非合并的10列数据。正确逻辑是一次性提取所有目标列，而非循环单列操作。

内容的提问来源于stack exchange，提问作者Manushi