Azure Data Factory动态创建文件夹并生成JSON文件方案咨询

核心实现思路 #

你可以通过变量+Copy Activity的组合完成需求，无需额外的文件夹创建活动——Copy Activity会自动生成不存在的目标路径，以下是具体步骤：

1. 生成动态文件夹名称 #

先通过管道变量定义自动生成的文件夹路径，支持两种常见场景：

• 时间戳命名：创建字符串变量dynamicFolderPath，值设为：

  @concat('root/', utcnow('yyyyMMddHHmmss'), '/')
  

  这样会生成root/20240520143022/这类带精确时间戳的子文件夹。
• 基于SQL字段命名：如果需要按业务字段（比如订单日期）生成文件夹，先添加Lookup Activity执行SQL查询（如SELECT CONVERT(varchar(8), OrderDate, 112) AS OrderDate FROM YourTable LIMIT 1），再把变量值设为：

  @concat('root/', activity('Lookup_OrderDate').output.firstRow.OrderDate, '/')
  

2. 配置Copy Activity导出SQL数据为JSON #

源端配置

• 选择SQL Server数据集，编写查询语句（如SELECT * FROM YourBusinessTable），如果需要拆分多个JSON文件，可在查询里按字段分区，或后续在Copy Activity设置中拆分。

目标端配置

• 选择Blob Storage/ADLS Gen2数据集，在文件路径处选择「动态内容」，引用之前定义的变量：

  @pipeline().variables.dynamicFolderPath
  

• 文件名同样支持动态生成，比如：

  @concat('data_', utcnow('HHmmss'), '.json')
  

• 在数据集的格式选项中选择JSON，根据需求设置为「每行一个对象」或「JSON数组」。

拆分多个JSON文件

如果需要生成多个JSON文件，在Copy Activity的设置标签中：

• 找到「文件选项」，设置「分块大小」（比如按行数拆分，输入10000表示每1万行生成一个文件）；
• 或选择「分区选项」，基于SQL源的字段（如OrderId）进行分区拆分。

3. 关键注意事项 #

• 无需手动创建文件夹：Copy Activity写入目标路径时，若文件夹不存在会自动创建；
• 权限配置：确保ADF的托管身份/服务主体拥有SQL Server的读取权限，以及存储账户的Storage Blob Data Contributor权限；
• 调试验证：先单独测试变量生成的路径是否符合预期，再运行完整管道检查文件写入结果。

内容的提问来源于stack exchange，提问作者willy sepulveda