Azure Synapse copy activity读Blob CSV通过serverless pool视图时动态范围分区的作用

核心结论 #

针对你描述的场景，开启 Partition - Dynamic range 选项不会产生实际效用

具体原因 #

• Dynamic range 分区的生效前提是源端数据源支持查询谓词下推，Copy Activity 会将生成的分区范围过滤条件传递给源端引擎，由源端完成数据分片后并行拉取，进而提升整体同步效率。该能力仅适配具备结构化查询能力、支持分区谓词执行的数据源，例如 Synapse 专用 SQL 池、商用关系型数据库等。
• Serverless SQL Pool 的视图本质是元数据封装层，你当前场景下底层对应的是 Blob 存储中的单个 CSV 文件，既不存在预分区结构，也不支持 Copy Activity 的动态分区谓词下推：Copy Activity 生成的分区参数无法穿透 Serverless SQL Pool 传递到存储层做单文件分片切割，所有读取请求还是以单任务的形式由 Serverless SQL Pool 扫描全量 CSV 文件返回，开启分区不会带来性能提升，也不会减少查询开销。

可选优化方案 #

如果需要提升该场景的同步效率，可采用两种适配方案：

• 跳过 Serverless SQL Pool 视图，直接将 Copy Activity 源端设置为 Blob 存储的目标 CSV 文件，开启Copy Activity的文件拆分功能，单大文件可按指定大小/行数拆分为多个分片并行读取，1000万行规模的CSV同步效率可提升3~5倍。
• 若业务逻辑要求必须通过 Serverless SQL Pool 视图读取，可提前对底层CSV做分区存储（如按主键哈希、日期维度拆分为多个小文件，同时在视图定义中新增分区列的元数据声明），Copy Activity 配置按分区列做并行读取，此时可充分利用 Serverless SQL Pool 的并发查询能力，同步效率会有明显提升。

内容的提问来源于stack exchange，提问作者BackInBlack