如何提升Azure Synapse中Copy Data活动的运行性能与速度

先解决DUI不生效的问题 #

你手动设置DUI为8但实际只用了4，大概率是以下原因，先排查：

• 检查REST API的并发限制：很多API会限制同时请求的数量，Synapse检测到后会自动降低DUI。去看API文档或者联系提供者确认并发上限。
• 核对集成运行时配置：如果用的是自助托管运行时，默认硬件（比如2vCPU/8GB）撑不起8个DUI（每个DUI至少需要1vCPU+4GB内存），得升级硬件；如果是Azure托管运行时，要选通用型（消耗/弹性），专用型的DUI上限可能被锁死。
• 确认数据量大小：单次拉取的数据太少的话，Synapse会自动降DUI避免资源浪费，试试把时间窗口调回1小时再看DUI能不能上去。

核心提速方案（不计成本） #

1. 拉满并行处理能力 #

• 升级集成运行时
  • 自助托管场景：直接把机器配置升到8vCPU+32GB以上，同时在运行时设置里把Maximum parallel executions per node调到8以上。成本就是服务器/VM开销，Azure上D8s_v5实例约$0.76/小时（按需计费）。
  • Azure托管弹性运行时场景：直接将DUI设到最大上限（当前支持到256），运行时会自动扩容资源。成本按DUI小时计费，单个DUI约$0.07/小时，256个DUI的话就是$17.92/小时。
• 拆分数据分片并行拉取
  • 把1小时的时间窗口拆成更小的分片（比如10分钟一个），用For Each活动循环调用Copy Data，每个分片并行执行。这样能绕开API的单请求并发限制，让Synapse充分利用更多DUI。注意要确保API支持按分片时间查询，且不会重复拉取数据（用精确时间戳过滤）。

2. 优化REST API请求效率 #

• 启用批量数据请求
  • 检查API是否支持一次拉取更大时间范围的数据，或者通过分页参数一次性拉取更多页内容。减少请求次数能大幅降低网络开销和API响应等待时间。
• 开启压缩传输
  • 在请求头中添加Accept-Encoding: gzip, deflate，让API返回压缩后的响应，Synapse会自动解压处理，能显著减少网络传输的数据量。

3. 优化ADLS Gen2写入性能 #

• 升级存储性能层级
  • 确保ADLS Gen2账户开启了分层命名空间，然后将存储层级切换为高级（Premium_LRS），它的吞吐量和IOPS是标准存储的10倍以上，写入Parquet的速度会大幅提升。成本方面，高级存储容量费约$0.16/GB/月，事务费约$0.02/10k事务，比标准存储贵，但性能提升明显。
• 调整Parquet写入参数
  • 在Copy Data活动的输出设置中，将Block size设为最大值（100MB），减少写入ADLS的块数量；同时启用Enable write batch，设置批量大小为10000条左右，提升写入效率。

4. 替代方案：用Synapse Spark批量处理 #

如果API支持批量导出，直接用Synapse Spark集群拉取数据并写入ADLS Gen2，Spark的并行处理能力远强于Copy Data活动，尤其适合大体积数据场景。

• 配置大规格Spark池：选用**Large（8vCPU/32GB）**或更大的节点，节点数设置为8-16个。成本约$0.52/节点/小时，16节点的话就是$8.32/小时。
• 简单PySpark示例：

  import requests
  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder.appName("RESTtoADLS").getOrCreate()
  
  # 调用API拉取数据
  response = requests.get("https://your-api-url.com/data?start_time=2024-05-20T00:00:00&end_time=2024-05-20T01:00:00", headers={"Authorization": "Bearer YOUR_TOKEN"})
  data = response.json()
  
  # 转换为DataFrame并写入ADLS Gen2
  df = spark.createDataFrame(data)
  df.write.mode("append").parquet("abfss://container@storageaccount.dfs.core.windows.net/path/to/data")
  

优先级建议 #

先解决DUI不生效的问题，再升级集成运行时，接着优化API请求和存储配置，最后考虑切换到Spark方案。

内容的提问来源于stack exchange，提问作者Mateo Estrada