You need to enable JavaScript to run this app. Azure Data Factory:同Blob容器如何创建多数据集做差异化处理
优惠活动
大模型
产品
解决方案
定价
更多

Azure Data Factory:同Blob容器如何创建多数据集做差异化处理

Azure Data Factory 同容器多格式CSV管道配置疑问

业务场景说明

  • 所有来自不同数据源、具备不同格式与模板的CSV文件,统一存储在单个Azure Blob容器中,最终目标是将文件内数据提取写入SQL数据库
  • 不同文件的格式存在差异,需要在推送数据到SQL前,为每个文件匹配对应的处理规则;格式标识直接标注在文件名中,典型文件名格式为Myfile-formatA-20201201.csv

已尝试方案的卡点

  • 最初方案:为每种CSV格式单独创建对应的输入数据集,始终找不到基于文件名命名规则,让同容器内文件自动关联对应差异化数据集的实现方法
  • 调整后的复用方案:创建单个通用输入数据集,在管道中通过文件名规则筛选文件,搭配不同的复制活动复用该输入数据集,但这种方式仅能适配编码、列分隔符等参数配置一致的文件,遇到配置不匹配的文件会直接处理失败
  • 目前没有检索到官方指引说明如何从同一容器内的文件出发创建多数据集逻辑,不清楚这类实现的可行性

核心待确认问题

  • 从同一Blob容器内的文件出发,基于文件名命名规则动态匹配不同格式的数据集配置,这类操作在ADF中是否可行?
  • 是否必须将不同格式的文件拆分存储到不同容器或不同目录下,才能实现差异化的处理逻辑?

内容的提问来源于stack exchange,提问作者cauchy

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.06 06:54:05