如何为Dataflow模板化作业禁用自动扩缩容?
Dataflow模板作业配置等效方案
1. 禁用自动扩缩容
模板化作业无法通过autoscaling_algorithm=NONE禁用自动扩缩容,替代方案是将num_workers和max_num_workers设置为相同数值,固定Worker数量,以此实现禁用自动扩缩容的效果:
- 启动模板时添加参数:
例如设置固定5个Worker:--num_workers=固定数量 --max_num_workers=固定数量--num_workers=5 --max_num_workers=5
2. 设置Worker SSD磁盘
经典Dataflow模板不识别完整资源路径格式的磁盘类型配置,直接使用简化的pd-ssd标识即可:
- 启动模板时添加参数:
--worker_disk_type=pd-ssd
内容的提问来源于stack exchange,提问作者user30237673
相关产品推荐
相关产品推荐

