启动data flow job耗时过长 等待超30分钟未分配实例问题咨询

• 资源配额不足：当前项目下Dataflow任务目标运行区域的CPU、持久化磁盘、公网IP等Compute Engine资源配额已达上限，尤其是同时运行大量其他GCE资源或Dataflow任务时，会无法分配新实例。你可以执行gcloud compute regions describe [目标区域名]查看对应区域的配额使用情况。
• 区域资源库存短缺：你选择的区域/可用区没有足够的目标机型空闲库存，如果你指定了特殊规格的实例类型，更容易出现该问题。可尝试更换同地域下的其他可用区，或调整为库存更充足的通用机型。
• 网络配置异常：Dataflow工作节点所属的VPC配置存在问题，比如未开启Private Google Access、防火墙规则限制了节点与Dataflow控制面的通信、VPC peering配置失效，都会导致分配的实例无法通过健康检查被反复回收，表现为长时间等待实例分配。
• 任务配置不合理：如果配置的初始工作节点数量过大、指定了资源极少的特殊定制机型，都会拉长调度时长；另外若开启了*灵活资源调度（FlexRS）*优惠模式，任务会被放入队列等待折扣空闲资源，最长等待时长可达数小时。
• 权限配置错误：Dataflow服务账号或任务启动账号缺少compute.instances.create、dataflow.jobs.create等必要权限，调度过程中鉴权失败反复重试，也会表现为长时间无响应，可在任务错误日志中查看是否有鉴权相关报错。

内容的提问来源于stack exchange，提问作者Naoki Hyu