Spark 3.5下WordCountDFApp未指定master报错，3.3.x版本正常

问题背景 #

在Spark 3.3.x及更低版本中，运行WordCountDFApp时，当clusterCfg为None（对应代码里的case None分支），不需要调用.master("local[2]")就能正常启动SparkSession；但升级到Spark 3.5.0后，直接抛出错误：

org.apache.spark.SparkException: A master URL must be set in your configuration at org.apache.spark.SparkContext.<init>(SparkContext.scala:414)

只有显式添加.master("local[2]")后，程序才能恢复正常运行。

核心原因 #

这是Spark 3.4.0版本开始引入的行为变更：

• 在Spark 3.3.x及更早版本中，当你在本地环境（比如IDE直接运行main方法）启动Spark应用时，如果没有显式指定master地址，Spark会自动默认使用local[*]作为master（即使用本地所有可用CPU核心运行），所以即使代码里没写.master()也能正常启动。
• 从Spark 3.4.0开始，官方移除了这个自动默认master的逻辑。现在无论是本地开发测试还是集群提交，都必须显式指定master地址，或者通过spark-submit等集群提交工具传递master配置（生产环境通常用这种方式）。如果两者都没做，Spark就会抛出master未设置的异常。

对应代码验证 #

看你的getSparkSession方法：

• 当clusterCfg为Some(cfg)时，代码显式调用了.master(cfg)，所以无论哪个Spark版本都能正常运行；
• 当clusterCfg为None时，case None分支只设置了appName，没有指定master，这在3.3.x能自动补全，但3.5.0（属于3.4+分支）就会触发报错。

解决方案 #

1. 本地开发测试：显式指定master为local模式，比如local[2]（用2个核心）或local[*]（用所有可用核心），可以在代码里补充，或者通过JVM参数-Dspark.master=local[2]传递。
2. 生产集群运行：不需要在代码里指定master，通过spark-submit提交时，集群会自动提供master配置（比如YARN、Standalone集群的地址），此时保持case None分支的逻辑即可。

内容的提问来源于stack exchange，提问作者Aravind Yarram