You need to enable JavaScript to run this app. ADF pipeline默认分配的资源是多少?能否查看及调整对应配置?
优惠活动
大模型
产品
解决方案
定价
更多

ADF pipeline默认分配的资源是多少?能否查看及调整对应配置?

Azure Data Factory Pipeline 资源分配相关解答

核心逻辑说明

ADF Pipeline本质是逻辑编排容器,本身不直接承载数据移动、数据处理的计算逻辑,仅负责内部活动的调度、触发、状态跟踪,所以没有独立的服务器规格配置项,所有资源分配都绑定到Pipeline内运行的具体活动类型上。

不同活动的资源分配规则

  • 数据流活动:和你已知的规则一致,支持手动指定核心数、计算类型等服务器规格,资源完全按照你配置的参数分配,运行在ADF托管的Spark集群上。
  • 数据移动类(复制活动):默认运行在ADF托管的Azure集成运行时(IR)上,资源由Azure平台按需分配,单复制活动默认分配的数据集成单元(DIU)为4,你可以在复制活动的配置界面手动调整DIU上限,最高支持设置为256。如果使用自托管IR,资源就是你自行部署的IR节点的硬件规格,由你自己控制。
  • 其他通用活动(存储过程活动、Web活动、Azure Function调用活动等):活动的业务计算逻辑完全运行在你对接的外部服务侧,ADF Pipeline仅负责发送调用请求、监听运行状态,不会占用额外的计算资源处理这类活动的业务逻辑。

资源查看与调整方式

  • 你可以在Pipeline运行完成后,进入对应活动的运行详情页,查看DIU消耗、运行耗时等资源相关指标;如果使用自托管IR,也可以直接在IR的监控面板查看节点的CPU、内存、磁盘使用率等实时资源数据。
  • 目前除了复制活动可手动调整DIU上限、数据流活动可自定义计算规格外,Pipeline调度侧的相关资源完全由Azure平台自动管理,不支持用户手动调整。平台会根据租户下的ADF运行负载动态扩容调度资源,不会限制正常的Pipeline调度需求。

内容的提问来源于stack exchange,提问作者wilson_smyth

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.19 22:54:09