ADF复制活动更新问题：Excel任意列指定字符串替换（禁用数据流）

由于无法使用数据流，以下是三种可行的实现方案，适配不同场景：

方案1：复制活动+动态列映射（适合列数可枚举的场景） #

• 先添加获取元数据活动，连接源Excel数据集（配置自托管集成运行时访问文件存储），勾选列选项以获取所有列名。
• 创建复制活动，源和目标均配置为Excel数据集（目标可指定新文件路径避免覆盖源文件）。
• 在复制活动的「映射」标签，启用动态内容，使用以下表达式生成自动替换的列映射：

  @json(concat('{', string(join(map(activity('Get Metadata').output.columns, 
  (col) => concat('"', col.name, '": "@replace(', col.name, ', ''apple'', ''orange'')"')), ',')), '}'))
  

  该表达式会遍历所有源列，自动为每一列生成replace替换逻辑。
• 运行管道，复制活动将完成所有列的字符串替换并输出文件。

方案2：自定义活动（适配完全动态列/复杂逻辑场景） #

利用自托管VM的本地脚本能力，直接处理Excel文件：

1. 在自托管VM上编写处理脚本，示例Python脚本（依赖openpyxl库）：

   from openpyxl import load_workbook
   import sys
   
   # 接收ADF传入的输入输出路径参数
   input_file = sys.argv[1]
   output_file = sys.argv[2]
   
   # 加载Excel文件并遍历替换
   wb = load_workbook(input_file)
   for sheet_name in wb.sheetnames:
       worksheet = wb[sheet_name]
       for row in worksheet.iter_rows(values_only=False):
           for cell in row:
               if isinstance(cell.value, str) and 'apple' in cell.value:
                   cell.value = cell.value.replace('apple', 'orange')
   wb.save(output_file)
   

2. 在ADF中创建自定义活动，指定自托管集成运行时，配置脚本路径（VM本地路径），并在「命令参数」中传入输入输出文件路径（可通过数据集参数动态传递）。
3. 运行管道，自定义活动将触发VM上的脚本完成替换。

方案3：Azure SQL存储过程+复制活动（适合Excel存储在Azure云存储的场景） #

通过SQL外部表连接Excel并执行替换：

• 在Azure SQL数据库中创建外部数据源，指向存储Excel的Azure Blob容器，配置外部表映射Excel的结构（若列数动态，可使用动态SQL生成外部表）。
• 创建存储过程，使用REPLACE函数遍历所有列完成替换，示例动态SQL逻辑：

  DECLARE @sql NVARCHAR(MAX) = ''
  SELECT @sql += 'UPDATE [ExternalExcelTable] SET [' + name + '] = REPLACE([' + name + '], ''apple'', ''orange'');'
  FROM sys.columns WHERE object_id = OBJECT_ID('[ExternalExcelTable]')
  EXEC sp_executesql @sql
  

• 在ADF中添加存储过程活动调用上述存储过程，再用复制活动将处理后的数据从SQL表导出为Excel文件。

内容的提问来源于stack exchange，提问作者Being Real