Google Data Fusion部署下游流水线配额不足修改配置失败问题

根因说明 #

你收到的报错是Data Fusion运行时自动创建下游Dataproc集群时，申请的资源超过了当前GCP项目的配额上限，涉及三类配额不足：单区域CPU配额、全局CPU配额、公网IP配额。
原始报错日志：

PROVISION task failed in REQUESTING_CREATE state for program run program_run:default.ListaNomi1_v3.-SNAPSHOT.workflow.DataPipelineWorkflow.182bbf2c-576b-11ec-8095-da8d4f8ab0b3 due to Dataproc operation failure: INVALID_ARGUMENT: Multiple validation errors: - Insufficient 'CPUS' quota. Requested 10.0, available 3.0. - Insufficient 'CPUS_ALL_REGIONS' quota. Requested 10.0, available 7.0. - Insufficient 'IN_USE_ADDRESSES' quota. Requested 3.0, available 1.0. - This request exceeds CPU quota. Some things to try: request fewer workers (a minimum of 2 is required), use smaller master and/or worker machine types (such as n1-standard-2)..

无需调整配额的优化方案 #

按优先级依次尝试以下操作：

• 调整集群配置到最低可用规格
  之前调整失败大概率是没有同步修改节点数量和实例规格的组合，按以下参数设置：
  • Master节点：选择最小支持规格n1-standard-2（2核），采用单Master部署
  • Worker节点：仅保留要求的最低2个worker，规格同样选择n1-standard-2（2核），总CPU消耗为2+2*2=6核，低于你当前全局可用的7核配额
  • 关闭抢占式Worker节点配置，避免额外的配额占用
• 关闭公网IP分配
  在流水线的计算配置页开启仅使用内部IP选项，不需要申请公网地址，直接绕开IN_USE_ADDRESSES公网IP配额不足的问题，Data Fusion与Dataproc的内网通信不受影响。
• 复用固定Dataproc集群
  提前在对应区域创建一个符合当前配额上限的小型Dataproc集群，在Data Fusion流水线配置中选择使用已有Dataproc集群，代替默认的每次运行动态创建集群的模式，跳过每次启动的配额校验步骤，还能减少流水线启动耗时。
• 调整并发和部署区域
  • 调低流水线的并发运行数到1，避免多个任务同时启动抢占配额
  • 更换到其他CPU配额充足的区域部署运行流水线，避开当前单区域CPU配额不足的限制

内容的提问来源于stack exchange，提问作者Robs