Spark本地正常集群提交报空指针，Scala全局变量赋值后仍为null求助

问题本质 #

你遇到的两个问题根源一致：Spark集群运行时，Driver和各个Executor是完全独立的JVM进程。你在probA单例object里定义的全局变量，仅在Driver的JVM中被函数B赋值；而每个Executor启动后会重新初始化这个单例，导致Executor上的变量始终是初始的null或默认值，调用时触发空指针异常。本地运行时Driver与Executor在同一个JVM，所以不会暴露这个问题。

解决办法 #

彻底抛弃单例对象里的全局可变变量，改用封装状态的配置类，通过显式传递或广播变量的方式将状态分发到各个任务中，这是Spark分布式编程的标准实践。

代码改造示例

// 用不可变case类封装所有配置参数
case class AppConfig(
  coursesPerSemester: Int,
  courseCost: Double,
  courseRetakeCost: Double,
  programIncompletePenalty: Double,
  prereq: List[Array[String]],
  priorProbPassNoPrereq: mutable.Map[String, Double]
)

object probA {
  // 函数改为接收AppConfig参数，直接使用配置
  def A(config: AppConfig): Unit = {
    println(s"每学期课程数：${config.coursesPerSemester}")
    // 其他业务逻辑...
  }

  // 函数B改为返回初始化完成的AppConfig实例
  def B: AppConfig = {
    val coursesPerSemester = 5
    val courseCost = 1200.0
    val courseRetakeCost = 900.0
    val programIncompletePenalty = 2500.0
    val prereq = List(Array("Math101", "CS100"))
    val priorProbPassNoPrereq = mutable.Map("CS100" -> 0.85)
    
    AppConfig(coursesPerSemester, courseCost, courseRetakeCost, programIncompletePenalty, prereq, priorProbPassNoPrereq)
  }

  def main(args: Array[String]): Unit = {
    // Driver端初始化配置
    val appConfig = B
    
    // 本地函数调用直接传递配置
    A(appConfig)
    
    // 分布式任务中使用广播变量分发配置
    val spark = SparkSession.builder().getOrCreate()
    val broadcastConfig = spark.sparkContext.broadcast(appConfig)
    
    val sampleRDD = spark.sparkContext.parallelize(1 to 5)
    sampleRDD.map { num =>
      val cfg = broadcastConfig.value
      num * cfg.coursesPerSemester
    }.foreach(println)
  }
}

方案优势

1. 状态显式可控：配置不再依赖单例的全局状态，通过参数传递确保每个环节拿到的都是初始化后的有效值。
2. 广播变量优化：分布式场景下，广播变量仅向每个Executor发送一次配置，避免重复传输，同时保证所有任务能获取到正确配置。

额外建议 #

• 优先使用不可变数据结构（比如将mutable.Map替换为immutable.Map），避免分布式任务中出现并发修改问题。
• 永远不要依赖单例对象的可变状态在Spark集群中共享数据，这会引发各种难以复现和排查的分布式问题。

内容的提问来源于stack exchange，提问作者yulu ye