如何在通过模板调用Dataflow作业时设置defaultWorkerLogLevel参数
如何在调用已构建的Dataflow模板时配置工作节点日志级别
就算你在构建模板时没有预先配置--defaultWorkerLogLevel参数,也不需要重新构建模板,直接在调用模板启动作业的环节传入该参数即可生效,这是Dataflow支持的运行时通用配置项,不需要提前在模板中声明。
gcloud CLI调用方式
在gcloud dataflow jobs run命令的--parameters列表中追加defaultWorkerLogLevel配置即可,注意参数名不需要带双横杠前缀,示例如下:
gcloud dataflow jobs run <自定义作业名> \ --gcs-location gs://<你的模板存储路径>/<模板名称> \ --region <作业运行区域> \ --parameters defaultWorkerLogLevel=DEBUG
可选的日志级别与本地运行时一致,包括TRACE、DEBUG、INFO、WARN、ERROR。
控制台UI调用方式
- 进入Google Cloud控制台的Dataflow服务页,选择「从模板创建作业」
- 完成作业基础信息填写、目标模板选择后,下拉找到「可选参数」模块
- 点击「添加参数」,键输入
defaultWorkerLogLevel,值输入你需要的日志级别(例如WARN) - 其余参数按需配置完成后,直接启动作业即可
补充说明:所有官方标准Dataflow模板、自定义构建的Dataflow模板都默认支持该运行时参数,无需在模板构建阶段做任何适配。
内容的提问来源于stack exchange,提问作者GanapathiKandhadi
相关产品推荐
相关产品推荐

