如何在Azure Synapse中通过ADF、参数文件将Blob多CSV导出为Parquet至Data Lake
可直接复用的ADF CSV转Parquet全流程参数配置
注:不需要额外在Blob/ADLS中存放独立的参数json/csv文件,以下配置全部在ADF工作室的可视化面板内完成,配置好后即可直接被复制活动调用,调试时不需要反复上传参数文件。
1. 双数据集的核心参数定义(复制活动的入参基础)
- 源数据集(绑定Azure Blob存储,识别CSV文件)
- 链接服务:绑定已完成授权的Blob存储连接,无需额外参数
- 数据集参数页新增两个字符串类型参数:
sourceContainer:无默认值sourceBlobPath:无默认值
- 连接路径页绑定参数:
- 容器字段:
@dataset().sourceContainer - 目录字段:
@split(dataset().sourceBlobPath, '/')[0] - 文件名字段:
@split(dataset().sourceBlobPath, '/')[1] - 打开
Recursively递归遍历开关,支持多层目录下的文件扫描
- 容器字段:
- 格式配置:选择DelimitedText格式,开启“首行作为列名”识别,编码默认UTF-8
- 目标数据集(绑定Azure Data Lake Storage Gen2,写入Parquet文件)
- 链接服务:绑定已完成授权的ADLS Gen2连接,无需额外参数
- 数据集参数页新增两个字符串类型参数:
targetContainer:默认值填你计划存放Parquet文件的ADLS容器名,比如parquet-outputtargetBlobPath:无默认值
- 连接路径页绑定参数:
- 容器字段:
@dataset().targetContainer - 目录字段:
@split(dataset().targetBlobPath, '/')[0] - 文件名字段:
@concat(split(dataset().targetBlobPath, '/')[1], '.parquet')(自动把原CSV文件名后缀替换为.parquet)
- 容器字段:
- 格式配置:选择Parquet格式,压缩等级默认snappy
2. 元数据活动的可直接套用配置
- 活动命名:
GetBlobCSVList - 超时与重试配置:超时1小时,重试3次,单次重试间隔10秒
- 数据集绑定:选择上述Blob源数据集,入参固定填值:
sourceContainer:填存放原始CSV文件的Blob容器名,比如csv-inputsourceBlobPath:留空(触发递归扫描逻辑)
- 字段采集配置:仅勾选
Child Items,其余采集项全部取消勾选,减少活动执行耗时 - 排除规则配置:在排除前缀栏填入
.pdf,.jpg,.json,避免非CSV类文件被纳入遍历范围
3. For Each活动的绑定配置(此前易出错的核心节点)
- 活动命名:
LoopEachCSVFile - 核心参数配置:
- 遍历项Items:
@activity('GetBlobCSVList').output.childItems(不要额外添加.value后缀,该字段本身就是文件路径数组,加后缀会触发“找不到数组”类报错) - 执行模式:打开
Sequential顺序执行开关,避免并发过高触发存储端限流 - 批处理数量:设置为5,不要使用默认20的高并发值,容易被Blob/ADLS拒绝请求
- 遍历项Items:
4. 内部复制活动的参数映射(可直接填值运行)
在For Each活动的内嵌流程中拖入复制活动,完成以下绑定:
- 源端绑定:
- 选择上述Blob CSV数据集,入参赋值:
sourceContainer:固定填CSV源文件所在的Blob容器名sourceBlobPath:@item().name
- 选择上述Blob CSV数据集,入参赋值:
- 目标端绑定:
- 选择上述ADLS Parquet数据集,入参赋值:
targetContainer:固定填Parquet输出的ADLS容器名targetBlobPath:@item().name(依赖目标数据集的内置逻辑自动处理文件名后缀替换,不需要手动拼接)
- 选择上述ADLS Parquet数据集,入参赋值:
- 映射规则:选择自动映射,ADF会自动对齐CSV的列头与Parquet的列结构,不需要手动配置每一列的对应关系
- 性能配置:数据集成单元设为8,单文件大小不超过1GB时该配置可稳定运行
常见流程中断的排查方向
- 遍历项配置错误:错误使用
@activity('GetBlobCSVList').output.value作为For Each的输入,ADF新版本中元数据活动的文件列表输出固定在childItems字段下 - 递归开关遗漏:Blob源数据集未打开递归遍历开关,导致子目录下的CSV文件无法被元数据活动采集
- 路径解析错误:拆分文件路径时没有考虑目录层级,导致活动找不到指定路径下的文件
- 限流触发:For Each的批处理值设置过高,导致Blob/ADLS触发接口限流,中断复制流程
内容的提问来源于stack exchange,提问作者Mohamed
相关产品推荐
相关产品推荐

