ADF pipeline默认分配的资源是多少?能否查看及调整对应配置?
Azure Data Factory Pipeline 资源分配相关解答
核心逻辑说明
ADF Pipeline本质是逻辑编排容器,本身不直接承载数据移动、数据处理的计算逻辑,仅负责内部活动的调度、触发、状态跟踪,所以没有独立的服务器规格配置项,所有资源分配都绑定到Pipeline内运行的具体活动类型上。
不同活动的资源分配规则
- 数据流活动:和你已知的规则一致,支持手动指定核心数、计算类型等服务器规格,资源完全按照你配置的参数分配,运行在ADF托管的Spark集群上。
- 数据移动类(复制活动):默认运行在ADF托管的Azure集成运行时(IR)上,资源由Azure平台按需分配,单复制活动默认分配的数据集成单元(DIU)为4,你可以在复制活动的配置界面手动调整DIU上限,最高支持设置为256。如果使用自托管IR,资源就是你自行部署的IR节点的硬件规格,由你自己控制。
- 其他通用活动(存储过程活动、Web活动、Azure Function调用活动等):活动的业务计算逻辑完全运行在你对接的外部服务侧,ADF Pipeline仅负责发送调用请求、监听运行状态,不会占用额外的计算资源处理这类活动的业务逻辑。
资源查看与调整方式
- 你可以在Pipeline运行完成后,进入对应活动的运行详情页,查看DIU消耗、运行耗时等资源相关指标;如果使用自托管IR,也可以直接在IR的监控面板查看节点的CPU、内存、磁盘使用率等实时资源数据。
- 目前除了复制活动可手动调整DIU上限、数据流活动可自定义计算规格外,Pipeline调度侧的相关资源完全由Azure平台自动管理,不支持用户手动调整。平台会根据租户下的ADF运行负载动态扩容调度资源,不会限制正常的Pipeline调度需求。
内容的提问来源于stack exchange,提问作者wilson_smyth
相关产品推荐
相关产品推荐

