SYNAPSE复制活动：从文件传日期参数至REST API源并加载至SQL

核心任务概述 #

从Blob存储的dates.csv读取日期列表，将每个日期作为keydate参数调用指定REST API，生成带对应日期后缀的CSV文件，最终将所有CSV加载至SQL数据库。

分步实现方案 #

1. 读取Blob存储中的日期列表 #

• 从Blob存储路径下读取dates.csv文件，文件内容为逗号分隔的日期：2024-01-31,2024-02-29,2024-03-31,2024-04-30
• 将读取内容分割为单个日期字符串列表，用于后续循环调用API

2. 循环调用REST API并生成CSV文件 #

• 遍历每个日期，构造完整API请求地址：

  /RESTAdapter/XYZ/Dashboard/Advances?$top=1000&$skip=0&$keydate={当前日期}
  

• 调用API获取返回数据，将数据格式化为CSV格式
• 按规则命名CSV文件：Advances{当前日期}.csv（示例：Advances2024-01-31.csv）
• 将生成的CSV文件临时存储（可选择本地或Blob存储临时目录）

3. 将CSV文件加载至SQL数据库 #

• 针对每个生成的CSV文件，使用SQL批量导入工具（如bcp命令、SSIS包或编程语言SQL客户端库）完成数据加载
• 确保导入时匹配SQL表字段结构，处理字段映射、数据类型转换及异常情况

关键注意事项 #

• API分页处理：当前API用$top=1000&$skip=0，若单日期数据量超1000条，需实现分页逻辑（递增$skip值）保证数据完整获取
• 异常重试机制：调用API或生成CSV时添加重试逻辑，处理网络波动、API限流等异常
• 数据校验：加载至SQL前校验CSV数据的完整性和格式正确性，避免脏数据入库

内容的提问来源于stack exchange，提问作者Ivan Nel