Spark集群模式下本地Master配置冲突及监控异常疑问求助

核心原因：硬编码Master的优先级高于命令行参数 #

Spark 2.3.4的配置优先级规则里，代码中通过SparkSession.builder().master("local[*]")硬编码的Master设置，优先级是最高的，会直接覆盖命令行传入的--master参数。这就是为什么你打印SparkSession配置时，Master仍然显示local[*]。

两种提交场景的差异解释 #

• 无命令行Master参数时：当你只指定--deploy-mode cluster但不设置--master，Spark集群模式会默认尝试连接集群Master节点，但代码里的local模式和cluster部署模式本身冲突，触发了Spark的校验逻辑，所以直接抛出“集群模式与local Master不兼容”的错误，这是正常的校验结果。
• 指定命令行Master参数时：此时命令行的--master spark://172.xx.x.xx:7077会被代码里的硬编码覆盖，Driver启动后直接以local模式运行，完全不会连接你指定的集群Master节点。这就导致集群Master监控页面只能看到Driver进程（因为cluster模式下Driver是在集群节点上启动的），但实际应用是在Driver本地以local模式运行，不会向集群Master注册任务，所以看不到完整的应用信息。

解决办法 #

1. 移除硬编码的Master配置：直接删掉代码里的.master("local[*]")，完全通过命令行的--master参数指定运行模式，这样集群提交时就能正确连接指定的Spark Master。
2. 动态切换运行模式：如果需要本地调试用local模式，集群提交用集群模式，可以通过系统属性动态配置，示例代码如下：

val master = sys.props.getOrElse("spark.master", "local[*]")
val spark = SparkSession.builder()
  .master(master)
  .appName("YourApplication")
  .getOrCreate()

本地运行时无需额外参数，默认用local模式；集群提交时加上--conf spark.master=spark://172.xx.x.xx:7077即可，不用修改代码来回切换。

内容的提问来源于stack exchange，提问作者santo94