Azure Synapse与DevOps同步问题及REST API脚本获取故障排查

问题描述 #

配置PL_Fetch管道通过Copy Data活动，借助REST API链接服务从Azure Synapse Analytics获取SQL脚本，将结果以JSON格式写入存储容器的SQLScripts.json文件。首次运行获取Pr_Config_Curated后，新增Pr_Config_Analysis、Pr_Config_Staged、Pr_Config_Raw三个存储过程脚本，提交并发布后再次运行管道，SQLScripts.json未更新，仅保留首个脚本。

解决方案 #

• 检查REST API查询结果：
  调用Synapse的存储过程列表API（如GET https://<workspace>.dev.azuresynapse.net/sql/warehouses/<warehouse>/databases/<db>/storedprocedures?api-version=2021-06-01），验证响应是否包含所有4个存储过程。如果仅返回第一个，需调整API的过滤条件或确认存储过程已正确创建在指定数据库中。
• 调整Copy Data活动的写入逻辑：
  默认Copy Data活动写入JSON文件时会用新数据覆盖原有内容，若API返回的是单个存储过程对象而非完整数组，就会只保留最后一次获取的结果。改为以下流程：
  1. 用Lookup活动读取现有SQLScripts.json的内容（若文件不存在则返回空数组）。
  2. 用Copy Data活动从REST API获取所有存储过程的完整数组数据。
  3. 用Append Variable活动将现有数据与新获取的数据合并为一个去重的数组（避免重复脚本）。
  4. 用Copy Data活动将合并后的数组写入SQLScripts.json，覆盖原有文件。

问题描述 #

配置PL_Config_Databases管道执行上述存储过程时，链接无服务器原始数据库后无法找到Pr_Config_Raw，手动指定后发布至Azure DevOps，运行管道时报错：无法找到外部数据源"eds_datalake_analysis"，疑似无法定位Pr_Config_Analysis脚本。

解决方案 #

• 确认外部数据源存在于目标数据库：
  在Synapse Studio中查看无服务器数据库的External Data Sources，确认eds_datalake_analysis已创建。若未创建，执行以下SQL语句创建：

  CREATE EXTERNAL DATA SOURCE eds_datalake_analysis
  WITH (LOCATION = 'abfss://<container-name>@<storage-account>.dfs.core.windows.net/');
  

• 检查存储过程的数据源引用：
  查看Pr_Config_Analysis的定义，确保它使用了完全限定名引用外部数据源（如[<database-name>].[<schema>].[eds_datalake_analysis]），避免因数据库上下文切换导致找不到对象。
• 验证DevOps发布的完整性：
  确认Azure DevOps发布管道中包含了eds_datalake_analysis的部署脚本或ARM模板，确保该对象与存储过程一起发布到目标环境的无服务器数据库中。
• 检查管道执行的数据库上下文：
  确认PL_Config_Databases管道中的Stored Procedure活动使用的链接服务指向了包含所有存储过程和外部数据源的数据库，避免因链接服务指向错误数据库导致对象找不到。

内容的提问来源于stack exchange，提问作者Joan