Dataproc作业配置属性时是否应使用文件前缀?文档示例存矛盾
Dataproc作业属性配置的文档表述与示例冲突问题
官方文档明确说明:
为作业配置属性时,不使用文件前缀。
但文档内的实际示例却与该表述不一致。
文档原文表述:
……不过,其中许多属性也可应用于特定作业。为作业配置属性时,不使用文件前缀。
对应--properties参数的示例确实符合该表述(省略了spark:前缀):
gcloud dataproc jobs submit spark \ --region=region \ --properties=spark.executor.memory=4g \ ... other args ...
不过文档随后介绍通过--properties-file标志提交作业属性文件的用法时,给出的示例却出现了矛盾。
首先是--properties-file的命令示例:
gcloud dataproc jobs submit JOB_TYPE \ --region=region \ --properties-file=PROPERTIES_FILE \ ... other args ...
文档说明属性文件是一组换行分隔的key=value对,格式可参考java.util.Properties类。但给出的属性文件示例却使用了前缀:
dataproc:conda.env.config.uri=gs://some-bucket/environment.yaml spark:spark.history.fs.logDirectory=gs://some-bucket spark:spark.eventLog.dir=gs://some-bucket capacity-scheduler:yarn.scheduler.capacity.root.adhoc.capacity=5
上述作业属性文件示例中,明确使用了dataproc:、spark:、capacity-scheduler:这类文件前缀,与之前文档“为作业配置属性时不使用文件前缀”的表述完全冲突。
内容的提问来源于stack exchange,提问作者figs_and_nuts
相关产品推荐
相关产品推荐

