Spark Scala单元测试：多文件批量执行SparkContext停止问题求助

单独运行Spark Scala单元测试文件时一切正常，但使用Maven执行模块内所有测试用例时，出现报错：

Cannot call methods on a stopped SparkContext. This stopped
SparkContext was created at:
org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:947)

已尝试的方法：

• 为每个测试文件创建私有SparkSession
• 为所有测试文件创建公共SparkSession trait
• 在每个文件末尾调用spark.stop()，移除该操作后问题依旧

测试文件示例：
test1.scala

class test1 extends AnyFlatSpec {
  val spark: SparkSession = SparkSession.builder
    .master("local[*]")
    .getOrCreate()
  val sc: SparkContext = spark.sparkContext
  val sqlCont: SQLContext = spark.sqlContext

  "test1" should "take spark session spark context and sql context" in {
    // 测试逻辑
  }
}

test2.scala

class test2 extends AnyFlatSpec {
  val spark: SparkSession = SparkSession.builder
    .master("local[*]")
    .getOrCreate()
  val sc: SparkContext = spark.sparkContext
  val sqlCont: SQLContext = spark.sqlContext

  "test2" should "take spark session spark context and sql context" in {
    // 测试逻辑
  }
}

单独运行两个文件正常，但执行mvn test批量运行时失败，需解决如何正确创建本地Spark实例或模拟对象的问题。

1. 利用ScalaTest生命周期管理SparkSession #

借助ScalaTest的BeforeAndAfterAll特质，统一控制SparkSession的创建与销毁，避免跨测试类复用已停止的实例：

import org.scalatest.BeforeAndAfterAll
import org.scalatest.flatspec.AnyFlatSpec
import org.apache.spark.sql.SparkSession

class TestBase extends AnyFlatSpec with BeforeAndAfterAll {
  protected var spark: SparkSession = _

  override def beforeAll(): Unit = {
    super.beforeAll()
    spark = SparkSession.builder
      .master("local[*]")
      .appName("UnitTest")
      .getOrCreate()
  }

  override def afterAll(): Unit = {
    if (spark != null) {
      spark.stop()
      // 清除全局会话状态，确保后续测试能创建新实例
      SparkSession.clearActiveSession()
      SparkSession.clearDefaultSession()
    }
    super.afterAll()
  }
}

// 测试类继承基类
class test1 extends TestBase {
  "test1" should "take spark session spark context and sql context" in {
    val sc = spark.sparkContext
    val sqlCont = spark.sqlContext
    // 测试逻辑
  }
}

class test2 extends TestBase {
  "test2" should "take spark session spark context and sql context" in {
    val sc = spark.sparkContext
    val sqlCont = spark.sqlContext
    // 测试逻辑
  }
}

2. 共享单个SparkSession（可选） #

如果所有测试无数据污染风险，可使用单例模式共享一个SparkSession，所有测试结束后统一停止：

object SparkTestSingleton {
  lazy val spark: SparkSession = SparkSession.builder
    .master("local[*]")
    .appName("SharedUnitTest")
    .getOrCreate()

  def stop(): Unit = {
    spark.stop()
    SparkSession.clearActiveSession()
    SparkSession.clearDefaultSession()
  }
}

// 测试类使用单例
class test1 extends AnyFlatSpec {
  val spark = SparkTestSingleton.spark

  "test1" should "take spark session spark context and sql context" in {
    // 测试逻辑
  }
}

class test2 extends AnyFlatSpec {
  val spark = SparkTestSingleton.spark

  "test2" should "take spark session spark context and sql context" in {
    // 测试逻辑
  }
}

需注意通过Maven插件或测试监听类，在所有测试执行完毕后调用SparkTestSingleton.stop()。

3. 模拟Spark对象（轻量测试场景） #

若测试无需真实执行Spark计算，可使用Mockito模拟Spark相关对象，避免启动本地集群：

import org.scalatest.flatspec.AnyFlatSpec
import org.mockito.Mockito._
import org.apache.spark.sql.SparkSession
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext

class test1 extends AnyFlatSpec {
  val mockSpark = mock(classOf[SparkSession])
  val mockSc = mock(classOf[SparkContext])
  val mockSqlCont = mock(classOf[SQLContext])

  when(mockSpark.sparkContext).thenReturn(mockSc)
  when(mockSpark.sqlContext).thenReturn(mockSqlCont)

  "test1" should "use mocked spark objects" in {
    // 测试逻辑，调用mock对象方法
  }
}

这种方式适合测试业务逻辑层，无需执行DataFrame操作的场景，启动速度快。

内容的提问来源于stack exchange，提问作者Karan Gehlod