Dataflow Flex Template运行时如何指定多个实验参数(含GPU)?
解决Dataflow Flex Template同时指定多个实验参数的问题
要同时启用GPU加速和Runner V2,你需要将两个实验参数合并到同一个experiments参数值中,用逗号分隔,而非重复指定experiments键,也不能同时混用--parameters里的experiments和--additional-experiments。
正确的命令示例
gcloud dataflow flex-template run "test-flex" \ --template-file-gcs-location=<LOCATION> \ --parameters=source="bigquery",experiments="worker_accelerator=type:nvidia-tesla-t4;count:1;install-nvidia-driver,use_runner_v2" \ --max-workers=1 \ --region=us-east4 \ --worker-zone=us-east4-b
之前方法无效的原因
- 重复指定
experiments参数:在--parameters中多次写experiments=时,后一个值会直接覆盖前一个,最终仅最后一个实验参数生效。 - 混用参数位置:Flex Template的运行逻辑不允许同时在
--parameters和--additional-experiments中指定实验参数,会触发参数冲突的校验错误。
效果验证
这种合并方式可让两个实验参数同时生效:worker_accelerator会正确为Worker配置Tesla T4 GPU并安装驱动,use_runner_v2会启用Dataflow Runner V2运行时。
内容的提问来源于stack exchange,提问作者jhpAZ
相关产品推荐
相关产品推荐

