关于Ideal Dataproc集群中Spark Pi任务自动运行的原因及禁用方法咨询

原因 #

• 这是Dataproc默认开启的Spark组件健康检查机制，系统会每隔5分钟自动提交Spark Pi任务到集群的Master或Worker节点，用来验证Spark集群的任务提交、执行流程是否正常，确保组件处于可用状态。
• 当集群关联了Persistent History Server（PHS）后，这些健康检查任务的运行记录会被同步到PHS的Spark UI中，直接导致UI被大量重复任务记录刷屏。

禁用方法 #

1. 创建新集群时禁用 #

在创建Dataproc集群时，通过设置集群属性关闭Spark健康检查，用gcloud命令的话可以这么写：

gcloud dataproc clusters create 你的集群名称 \
    --properties dataproc:spark.healthcheck.enabled=false

2. 修改已有集群配置 #

针对正在运行的集群，用以下命令更新属性来禁用健康检查：

gcloud dataproc clusters update 你的集群名称 \
    --update-property dataproc:spark.healthcheck.enabled=false

修改完成后，系统就不会再自动提交Spark Pi任务，PHS的Spark UI也不会再被这些任务刷屏了。

内容的提问来源于stack exchange，提问作者Vanshaj Bhatia