如何通过gcloud命令行修改Dataflow模板批处理作业区域?
配置不生效原因
经典Dataflow模板的调度区域是作业创建请求的顶层路径参数,不属于作业自定义参数、环境配置参数的范畴。你之前的配置存在核心位置错误:把region放在请求体parameters字段、仅在environment中指定zone,这类配置不会覆盖模板默认绑定的区域,因此作业仍会调度到默认的us-central1区域,无法规避该区域的资源池耗尽问题。
无需重建模板的解决方法
不需要重新创建模板,通过以下两种方式都可以直接调整作业运行区域:
- 修正Cloud Scheduler的API触发配置
把目标区域直接配置在API请求路径中,不要放在请求体内。正确的请求路径格式为https://dataflow.googleapis.com/v1b3/projects/<你的项目ID>/locations/<目标区域>/templates:launch,如果要调度到us-east1,就把路径中locations后的字段值设为us-east1,请求体内不需要额外传region参数。environment下的zone字段需要填写所选区域下的可用区(比如us-east1-b),不要跨区域填写。 - 用gcloud命令行触发作业
直接在gcloud命令中通过顶层--region参数指定运行区域即可,不需要修改模板,示例命令如下:
如果需要保留定时触发能力,可以把Cloud Scheduler的执行目标改为调用上述gcloud命令(比如通过Cloud Function代理、或使用Scheduler支持的gcloud执行类型),全程不需要重建模板。gcloud dataflow jobs run <自定义作业名> \ --gcs-location gs://<模板文件存储路径>/<模板文件名> \ --region us-east1 \ --zone us-east1-b \ --max-workers 10 \ --temp-location gs://tempLocation/temp \ --parameters autoscalingAlgorithm=THROUGHPUT_BASED
补充:Flex模板的区域参数规则和经典模板完全一致,区域参数必须在API请求路径或gcloud命令顶层指定,放在请求体
parameters内的region字段会被识别为普通用户自定义参数,不会被Dataflow服务当作调度区域配置生效。
内容的提问来源于stack exchange,提问作者Carmad94
相关产品推荐
相关产品推荐

