如何对数据湖中大文件做差异比对并集成到Azure Data Factory

前置准备 #

• 部署csv-diff运行环境：根据你的文件体积选择适配的计算资源，单文件体积小、每日总处理量低于1TB可以选Azure Function（消耗型计费，成本更低），数TB大文件场景选Azure Batch（支持高并发、大资源池调度），在计算环境中预先安装csv-diff依赖，配置存储账户访问密钥或托管身份，确保可以读写存储CSV文件的Blob容器。
• 在Azure Data Factory中创建对应链接服务：分别创建存储账户链接服务、你选用的计算资源（Azure Function/Azure Batch）的链接服务，完成连通性测试。

管道配置流程 #

1. 文件路径校验获取
   通过ADF的Get Metadata活动，分别获取当日日期文件夹下的待比对CSV文件列表、前一日日期文件夹下的基准CSV文件列表，先校验两个版本的对应CSV文件都存在，避免后续比对报错。
2. 差异比对任务执行
   调用对应计算资源的自定义活动，向活动传入4个参数：前一日基准CSV的Blob路径、当日待比对CSV的Blob路径、该文件的比对主键、差异结果文件输出路径。
   计算侧的执行逻辑如下：

• 先将两个待比对的CSV文件从Blob存储拉取到本地（大文件场景建议直接用BlobFuse挂载，无需全量下载）
• 执行csv-diff命令生成差异结果，示例命令如下：

csv-diff 基准文件路径 当日文件路径 --key=比对主键 --json > 差异结果本地路径

• 将生成的差异JSON文件上传到指定的Blob存储路径，一般可以单独建立delta目录按日期分类存储。

3. 差异结果对接数仓
   差异结果生成后，直接用你现有ADF数仓管道的逻辑处理即可：

• added节点下的记录直接做插入操作
• removed节点下的记录按主键做删除操作
• changed节点下的记录按主键匹配后，对应字段做更新操作

优化建议 #

• 大文件场景可以预先将CSV按比对主键做哈希分片，多实例并行比对，降低单任务处理时长
• 原始CSV文件可以设置生命周期管理规则，生成差异文件后自动归档到冷存储或者删除，能节省90%以上的存储成本

内容的提问来源于stack exchange，提问作者Koen