Dataflow Worker丢弃不可解析参数:该警告是否无害?
这个警告属于无害警告,具体原因:
- 被丢弃的这些参数(
--autoscalingAlgorithm=NONE、--jobId等)是Dataflow服务层传递给Worker的框架级参数,你的自定义容器内的业务逻辑不需要解析这些参数 - Dataflow Worker进程本身已经正确处理了这些参数,只是你的自定义入口脚本/程序无法识别它们,因此输出该丢弃提示
- 只要你的Pipeline运行正常、数据处理无异常,完全可以忽略这个警告
警告内容翻译:
丢弃无法解析的参数:['--autoscalingAlgorithm=NONE', '--dataflowJobId=2023-07-28_08_53_49-15143303035994719629', '--direct_runner_use_stacked_bundle', '--gcpTempLocation=gs://dataflow-staging-us-central1-988558001139/tmp/test20230728-snappy-deps-dataflow-flex-template.1690559763.116125', '--jobId=2023-07-28_08_53_49-15143303035994719629', '--maxNumWorkers=0', '--numWorkers=2', '--pipelineUrl=gs://dataflow-staging-us-central1-988558001139/staging/test20230728-snappy-deps-dataflow-flex-template.1690559763.116125/pipeline.pb', '--pipeline_type_check', '--tempLocation=gs://dataflow-staging-us-central1-988558001139/tmp/test20230728-snappy-deps-dataflow-flex-template.1690559763.116125']
内容的提问来源于stack exchange,提问作者bill

