如何在Azure datafactory中实现csv转parquet的优雅方案
Azure Data Factory 实现CSV转Parquet的非Databricks Notebook方案
相比创建Databricks Notebook、编写转换逻辑后在ADF中调用执行的朴素思路,以下基于ADF原生能力的实现方式运维成本更低、链路更短,不需要额外维护Notebook代码和独立计算集群:
方案1:复制活动内置格式转换
这是链路最短、配置最简便的实现方式:
- 直接在ADF管道中创建复制活动,源端绑定存储在Blob/ADLS Gen2中的CSV数据集,正确配置CSV的解析参数(
分隔符、表头行、文本编码、转义符等) - 目标端直接选择同存储下的Parquet类型数据集,指定输出路径、Parquet压缩算法(
Snappy/Gzip等)即可,中间不需要配置任何额外转换节点 - 执行过程中ADF会在数据传输环节自动完成格式编解码,不会生成多余的临时中间文件,适合中小规模的单文件、定时批量文件转换场景
方案2:Mapping Data Flow 可视化转换
适合需要叠加字段清洗、类型映射、数据过滤逻辑的转换场景:
- 完全拖拽式无代码配置:源端配置CSV读取规则后,可按需搭配内置的
派生列、类型转换、筛选组件处理CSV中的脏数据,最后对接Parquet格式的目标端完成写入 - 底层计算资源由ADF全托管,不需要用户自行创建、维护Databricks集群,也不需要编写任何Notebook代码,转换逻辑的版本配置、权限管控完全在ADF平台内完成
- 支持配置Parquet的
行组大小、列压缩规则,适配后续下游数仓、查询引擎的性能要求
方案3:ADLS Gen2 原生转换能力搭配ADF触发
针对TB级以上的超大规模历史批量文件转换场景:
- 不需要消耗ADF的管道计算资源,直接通过ADF的活动调用ADLS Gen2内置的格式转换能力,将存储中的CSV文件批量转换为Parquet格式落地
- 转换过程由存储层原生完成,不需要额外跳转其他计算服务,成本远低于独立集群的转换方案
选型参考
- 纯格式转换无额外逻辑:优先用复制活动内置能力,冷启动快、配置量最小
- 需要叠加数据清洗规则:选Mapping Data Flow,零代码实现全链路转换
- 超大规模存量文件批量转换:搭配存储原生能力,最大化降低转换成本
内容的提问来源于stack exchange,提问作者Lilly
相关产品推荐
相关产品推荐

