Trait中lazy val spark被多测试套件共享致测试失败排查

核心原因 #

你的问题根源出在两个关键点：

1. SparkSession的全局复用特性：SparkSession.builder().getOrCreate()是进程内全局共享的——只要进程中存在未停止的SparkSession，后续调用都会返回同一个实例。
2. 测试类构造阶段的提前访问：你在测试类中定义的var tableDeltaDf: DataFrame = spark.emptyDataFrame会在测试类实例构造阶段就触发Trait中lazy val spark的初始化。而大多数测试框架（比如ScalaTest）会在启动所有测试前先创建所有测试类的实例，这就导致：
   • 第一个测试类构造时创建SparkSession
   • 后续测试类构造时，前一个测试的SparkSession还未被afterAll停止，调用getOrCreate()直接复用已有实例
   • 最终多个测试共享同一个SparkSession，引发资源竞争、状态污染等间歇性问题

为什么移除该行代码后问题消失？ #

移除var tableDeltaDf = spark.emptyDataFrame后，spark的首次访问被推迟到了测试方法或beforeAll阶段。而测试框架的执行顺序是：运行第一个测试类的beforeAll→测试方法→afterAll（停止SparkSession），再运行第二个测试类的beforeAll→测试方法→afterAll。此时第二个测试类访问spark时，前一个SparkSession已经被销毁，getOrCreate()会创建新的实例，实现了测试隔离。

正确的实践方案 #

要彻底解决测试共享SparkSession的问题，需要规范SparkSession的生命周期管理：

• 在Trait的beforeAll中显式初始化SparkSession（避免依赖构造阶段的隐式访问）
• 在afterAll中强制停止SparkSession，确保每个测试类拥有独立实例
• 延迟初始化测试类中的DataFrame变量，避免在构造阶段访问SparkSession

示例代码：

import org.apache.spark.sql.SparkSession
import org.scalatest.BeforeAndAfterAll
import org.scalatest.funsuite.AnyFunSuite

trait SparkTestTrait extends BeforeAndAfterAll {
  // 显式在beforeAll中初始化，而非依赖lazy val的隐式触发
  protected var spark: SparkSession = _

  override def beforeAll(): Unit = {
    super.beforeAll()
    spark = SparkSession.builder()
      .master("local[1]") // 用单线程避免并行冲突
      .appName("TestSparkSession")
      .getOrCreate()
    println(s"Created SparkSession with hashCode: ${spark.hashCode()}")
  }

  override def afterAll(): Unit = {
    super.afterAll()
    if (spark != null) {
      spark.stop()
      // 清除全局SparkSession实例，确保下一个测试能创建新的
      SparkSession.clearActiveSession()
      SparkSession.clearDefaultSession()
    }
  }
}

class TestClassA extends AnyFunSuite with SparkTestTrait {
  // 延迟初始化DataFrame，在beforeAll之后赋值
  private var tableDeltaDf: DataFrame = _

  override def beforeAll(): Unit = {
    super.beforeAll()
    tableDeltaDf = spark.emptyDataFrame
  }

  test("test A") {
    // 测试逻辑
  }
}

class TestClassB extends AnyFunSuite with SparkTestTrait {
  private var tableDeltaDf: DataFrame = _

  override def beforeAll(): Unit = {
    super.beforeAll()
    tableDeltaDf = spark.emptyDataFrame
  }

  test("test B") {
    // 测试逻辑
  }
}

额外注意事项 #

• 避免在Trait中用lazy val定义SparkSession，改用var配合beforeAll/afterAll显式管理生命周期，更可控
• 测试时尽量用local[1]模式，避免多线程SparkSession引发的资源竞争
• 如果使用并行测试，需要确保每个测试线程拥有独立的SparkSession（可通过线程局部变量实现）

内容的提问来源于stack exchange，提问作者Aravind Yarram