IntelliJ IDEA下Spark Streaming报错：A master URL must be set...

嘿，我来帮你搞定这个问题！你遇到的这个ExceptionInInitializerError根源就是Spark找不到Master节点的配置信息——这在本地IDE（比如你的IntelliJ IDEA 2017.3.5）里调试YARN模式的Spark应用时特别常见，毕竟本地环境不会自动继承集群的YARN配置。结合你用的Spark 2.2.0版本，给你几个靠谱的解决办法：

• 方法一：在代码中显式指定YARN模式
  直接在初始化SparkConf的时候加上Master配置，这样Spark启动时就知道要连接YARN集群了。示例代码如下：

  import org.apache.spark.SparkConf
  import org.apache.spark.streaming.{Seconds, StreamingContext}
  
  object kafka_stream {
    def main(args: Array[String]): Unit = {
      val conf = new SparkConf()
        .setAppName("KafkaStreamingApp")
        .setMaster("yarn") // 关键：指定YARN作为运行模式
      val ssc = new StreamingContext(conf, Seconds(5))
      
      // 你的Kafka Streaming业务逻辑代码...
      
      ssc.start()
      ssc.awaitTermination()
    }
  }
  

• 方法二：通过IDEA运行配置传递参数
  不想改代码的话，可以在IDEA的运行配置里直接加启动参数：

  1. 打开Run > Edit Configurations
  2. 找到你的Spark应用配置，在Program arguments输入框里添加 --master yarn
  3. 保存后重新运行应用，Spark会自动识别这个参数并以YARN模式启动

• 方法三：通过配置文件自动加载Master信息
  如果你有集群的spark-defaults.conf配置文件，可以把spark.master=yarn添加到文件中，然后把这个文件放到项目的src/main/resources目录下（IDEA会自动把这个目录下的文件作为资源加载）。另外别忘了把YARN集群的core-site.xml和yarn-site.xml也放到这个目录里，这样Spark才能正确连接到YARN集群的资源管理器。

额外提醒 #

如果是在集群上用spark-submit提交应用，只需要在命令里加上--master yarn就可以，但在本地IDE调试时必须手动指定Master——因为本地环境没有集群的默认配置上下文，Spark不知道该连接哪个集群。

内容的提问来源于stack exchange，提问作者NEO