如何在Azure Synapse Analytics中用管道参数修改接收器数据集Blob路径

1. 确认管道日期参数 #

确保你的管道已创建字符串类型的日期参数（例如命名为pipelineRunDate），建议使用yyyy-MM-dd这类标准日期格式，便于后续路径拼接。

2. 给接收器数据集添加参数 #

打开你的Parquet接收器数据集（存储目标为Blob/ADLS Gen2）：

• 切换到参数选项卡，添加一个字符串类型参数，比如命名为datasetRunDate，用于接收管道传递的日期值。

3. 配置数据集的动态Blob路径 #

进入数据集的连接选项卡：

• 点击Blob路径输入框旁的「添加动态内容」按钮，使用表达式拼接路径，示例如下：

  concat('your-container/parent-folder/', parameters('datasetRunDate'), '/output.parquet')
  

  如果需要按日期拆分分区目录，可使用子串表达式细化路径：

  concat(
      'your-container/parent-folder/year=', substring(parameters('datasetRunDate'), 0, 4),
      '/month=', substring(parameters('datasetRunDate'), 5, 2),
      '/day=', substring(parameters('datasetRunDate'), 8, 2),
      '/output.parquet'
  )
  

4. 在Copy Activity中传递参数 #

打开管道内的Copy Activity，切换到接收器选项卡：

• 点击数据集旁的铅笔图标打开参数配置窗口，将datasetRunDate的取值设置为管道参数的动态表达式：

  @pipeline().parameters.pipelineRunDate
  

• 保存配置后，管道运行时会自动将日期参数值传入数据集，生成对应的Blob存储路径。

验证方法 #

调试运行管道并指定日期参数值，查看Blob存储中生成的文件路径是否符合预期；也可在Copy Activity的运行详情中，检查路径的渲染结果是否正确。

内容的提问来源于stack exchange，提问作者Gabriel Padilha