如何在ScalaTest/sbt/IntelliJ中运行测试前删除指定目录？

针对你的场景，我推荐两种互补的方案，分别适配IDE单测运行和sbt命令行批量测试的场景，完美满足「测试前清理旧checkpoint、测试后保留文件用于验证」的需求：

方案一：ScalaTest BeforeAll 特质（适配IntelliJ单测） #

这是最可靠的IDE友好方案——创建一个通用的测试特质，所有测试类继承它，在每个测试套件启动前自动清理指定目录。这样不管你是在IntelliJ中右键运行单个测试方法，还是整个测试类，都会触发清理逻辑。

实现步骤： #

1. 创建一个通用的清理特质：

import org.scalatest.BeforeAll
import org.scalatest.Suite
import java.io.File
import scala.util.Try

// 所有需要清理checkpoint的测试类都继承这个特质
trait CleanCheckpointBeforeTest extends BeforeAll { this: Suite =>
  // 替换成你实际使用的checkpoint/临时目录路径
  private val tempDir = new File("/root/temp/")

  override def beforeAll(): Unit = {
    super.beforeAll()
    // 递归删除目录及所有内容
    def deleteDirectory(file: File): Unit = {
      if (file.isDirectory) {
        // 处理空目录的情况，避免NullPointerException
        Option(file.listFiles).foreach(_.foreach(deleteDirectory))
      }
      // 用Try捕获删除异常（比如文件被占用），不中断测试
      Try(file.delete())
    }
    // 清理旧目录，再创建空目录供本次测试使用
    if (tempDir.exists()) deleteDirectory(tempDir)
    tempDir.mkdirs()
  }
}

2. 让你的Spark测试类继承这个特质：

import org.scalatest.FunSuite
import org.apache.spark.sql.SparkSession

class SparkETLTest extends FunSuite with CleanCheckpointBeforeTest {
  // 初始化测试用SparkSession
  private val spark = SparkSession.builder()
    .master("local[*]")
    .appName("SparkETLTest")
    .getOrCreate()

  test("test_data_checkpoint") {
    // 设置Spark的checkpoint目录，和上面清理的路径保持一致
    spark.sparkContext.setCheckpointDir("/root/temp/checkpoint")
    
    // 你的测试逻辑...
    val testDF = spark.read.csv("src/test/resources/test_data.csv")
    testDF.checkpoint()
    assert(testDF.count() > 0)
  }
}

方案二：自定义sbt任务（适配命令行批量测试） #

如果你习惯用sbt test命令批量跑所有测试，可以自定义一个sbt任务，让测试任务依赖这个清理任务，确保每次跑测试前先清理目录。

在build.sbt中添加配置： #

import sbt._
import java.io.File

// 自定义任务：清理临时/checkpoint目录
val cleanTempDir = taskKey[Unit]("Clean up the temp and checkpoint directory before running tests")

cleanTempDir := {
  val targetDir = file("/root/temp/")
  if (targetDir.exists()) {
    // sbt的IO工具类更简洁安全
    IO.delete(targetDir)
  }
  targetDir.mkdirs()
}

// 让测试任务依赖清理任务，执行sbt test时先跑cleanTempDir
test in Test := (test in Test).dependsOn(cleanTempDir).value

注意事项： #

• 这个方案在IntelliJ中直接运行单个测试时不会触发（因为IntelliJ跳过了sbt任务，直接调用测试类），所以建议和方案一结合使用。
• 如果你的目录是相对路径（比如项目根目录下的temp/），记得用file("./temp/")替代绝对路径。

关键细节提示 #

1. 路径一致性：确保清理的目录和Spark代码中设置的checkpointDir完全一致，避免清理错目录或者残留旧文件。
2. 异常处理：用Try或者sbt的IO.delete处理删除异常，防止因文件被占用（比如Spark进程未完全释放）导致测试失败。
3. IntelliJ配置：确保IntelliJ的Scala插件已正确安装，并且测试运行器选择的是ScalaTest（而非JUnit），这样BeforeAll逻辑才能被正确触发。

内容的提问来源于stack exchange，提问作者WarSame