Azure Synapse中使用ForEach活动增量摄取MySQL多表的参数传递问题

核心实现思路 #

通过Synapse的表达式动态拼接SQL查询语句，将ForEach迭代的@item（表名变量）嵌入到SELECT语句中，适配ODBC连接的MySQL数据源。

具体操作步骤 #

1. 确认ForEach迭代配置
   确保你定义的字符串数组变量已正确关联到ForEach Activity的Items属性，比如变量名为TablesToIngest，则Items属性设为@variables('TablesToIngest')。

2. 配置Copy Activity的动态查询
   在Copy Activity的源设置中，选择查询作为数据检索模式，在查询输入框中用以下表达式拼接动态SQL：

   @concat('SELECT * FROM `', item(), '`')
   

   • 用`（反引号）包裹表名，避免MySQL中表名含特殊字符或关键字时出错；
   • item()等价于@item，代表ForEach当前迭代的表名变量。

   如果是增量摄取，需要添加增量条件（比如基于时间戳字段），可以扩展表达式：

   @concat('SELECT * FROM `', item(), '` WHERE last_updated > ', variables('LastIngestionTime'))
   

3. ODBC连接适配要点

   • 确保ODBC驱动版本兼容目标MySQL版本，避免动态SQL解析报错；
   • 表名需和MySQL数据库中的实际表名大小写完全匹配，表达式中无需额外转换（除非你的变量存储的表名大小写与库中不一致）。

验证方式 #

先测试单个表的查询逻辑是否正常，再启动ForEach运行，查看每个迭代的Copy Activity日志中的执行SQL，确认表名已正确替换。

内容的提问来源于stack exchange，提问作者ClockWork