Bitnami Helm配置Spark HA多Master URL问题咨询

针对你基于ZooKeeper搭建Spark Master HA时，需要给Worker配置双Master URL的需求，可以通过Bitnami Spark Helm Chart提供的worker.extraEnv参数直接注入自定义环境变量，覆盖默认的SPARK_MASTER_URL配置。

具体配置方法 #

在你的Helm Values.yaml中添加以下内容：

worker:
  extraEnv:
    - name: SPARK_MASTER_URL
      value: "spark://spark-master-svc:7077,spark-master-svc.standby:7077"

原理说明 #

Bitnami的Spark Chart默认会根据sparkMasterUrl参数生成Worker的SPARK_MASTER_URL环境变量，但该参数仅支持单个Master地址。通过worker.extraEnv添加的自定义环境变量会覆盖默认值，从而实现配置多Master地址的需求。

应用配置 #

执行Helm升级或安装命令使配置生效：

helm upgrade --install spark bitnami/spark -f your-values.yaml

内容的提问来源于stack exchange，提问作者Rin