Azure Data Factory能否无需暂存区，一步解压多CSV压缩包并分导至Azure SQL表？

完全可以不用暂存区，直接通过Azure Data Factory的复制活动读取压缩包内的指定CSV文件，同步到对应的Azure SQL表，核心是利用数据集参数化和ADF原生的压缩文件读取能力，具体步骤如下：

1. 参数化源Blob数据集和目标SQL数据集 #

• 源Blob数据集：
  • 创建Blob存储数据集，配置指向存放zipped.zip的容器路径
  • 添加字符串参数TargetCsvFile，用于指定要读取的压缩包内的CSV文件名（如Clients.csv）
  • 在数据集「文件设置」中，将「压缩类型」设为Zip，「文件名」设为zipped.zip，「文件筛选」设为@{dataset().TargetCsvFile}——ADF会直接从压缩包内定位并读取该CSV文件，无需解压到暂存区
• 目标SQL数据集：
  • 创建Azure SQL数据集，连接到目标数据库
  • 添加字符串参数TargetSqlTable，用于指定目标表名（如dbo.Client）
  • 在数据集「表名」字段中填入@{dataset().TargetSqlTable}

2. 构建流水线逻辑 #

固定对应关系场景（如题目中的3组文件-表映射） #

直接在流水线中添加多个复制活动，每个活动对应一对CSV文件和SQL表：

• 源端选择参数化的Blob数据集，传入对应的TargetCsvFile值（如Clients.csv）
• 目标端选择参数化的SQL数据集，传入对应的TargetSqlTable值（如dbo.Client）
• 在复制活动的「映射」标签中配置列对应关系，确保CSV列与SQL表列匹配

批量规律映射场景（如XXX.csv对应dbo.XXX） #

用Foreach活动实现自动化批量处理：

• 先用Lookup活动读取压缩包内的CSV文件列表：Lookup的源数据集指向zipped.zip，压缩类型选Zip，文件筛选设为*.csv，返回所有CSV文件名
• 将Lookup的输出作为Foreach的输入，循环处理每个文件
• 在Foreach内部的复制活动中，用动态表达式自动生成参数值：
  • 源数据集TargetCsvFile设为@{item().name}
  • 目标数据集TargetSqlTable设为@{concat('dbo.', replace(item().name, '.csv', ''))}

关键注意事项 #

• 确保压缩包内CSV文件的编码、分隔符与源数据集设置一致，避免读取错误
• 若SQL表结构与CSV列不完全匹配，需手动在复制活动的「映射」标签中调整列对应关系
• 压缩包内的CSV文件名需唯一，否则ADF只会读取第一个同名文件

内容的提问来源于stack exchange，提问作者Jen