如何为写入HDFS目录的Scala数据写入组件编写测试用例？

核心思路 #

测试阶段无需对接真实HDFS集群，直接使用Spark本地运行模式+本地临时目录模拟写入路径即可，无需修改业务写入逻辑，仅需在测试用例中覆写写入路径参数即可适配流水线测试环境。

具体实现步骤 #

• 初始化本地测试用SparkSession
  测试时直接创建本地运行的SparkSession，不需要配置HDFS集群相关参数，默认使用本地文件系统解析路径即可，示例代码如下：

  import org.apache.spark.sql.SparkSession
  import org.scalatest.BeforeAndAfterAll
  import org.scalatest.funsuite.AnyFunSuite
  
  class HdfsWriteTest extends AnyFunSuite with BeforeAndAfterAll {
    var spark: SparkSession = _
  
    override def beforeAll(): Unit = {
      spark = SparkSession.builder()
        .master("local[2]")
        .appName("hdfs-write-test")
        .getOrCreate()
    }
  
    override def afterAll(): Unit = {
      if (spark != null) spark.stop()
    }
  }
  

• 用临时目录替换真实HDFS路径
  测试时不传入hdfs://前缀的真实路径，生成JVM临时目录作为写入路径，任务结束后可自动清理，完整测试用例示例：

  import java.nio.file.Files
  
  test("验证CSV格式写入逻辑正确性") {
    // 生成临时目录作为模拟写入路径
    val mockHdfsPath = Files.createTempDirectory("spark_csv_test").toString
    // 构造测试数据集
    val testDf = spark.createDataFrame(Seq(
      (1, "张三", 25),
      (2, "李四", 30)
    )).toDF("id", "name", "age")
  
    // 调用原业务写入逻辑，仅替换路径参数
    testDf
      .write.format("com.databricks.spark.csv")
      .option("header", "true")
      .mode("append")
      .save(mockHdfsPath)
  
    // 验证写入结果符合预期
    val resultDf = spark.read.option("header", "true").csv(mockHdfsPath)
    assert(resultDf.count() == 2)
    assert(resultDf.filter("id = 1").select("name").head().getString(0) == "张三")
  }
  

• Parquet格式测试逻辑和上述完全一致，仅需将format参数替换为parquet，读取时也对应使用parquet格式读取即可。

流水线适配说明 #

• Jules流水线测试节点默认开放本地文件读写权限，临时目录会在任务结束后自动清理，无需额外处理残留文件
• 若需要更贴近HDFS的路径解析语义，可以在初始化SparkSession时增加配置项config("fs.defaultFS", "file:///")，完全模拟HDFS路径解析逻辑
• 若业务代码硬编码了hdfs://前缀的路径，可以通过mock工具替换路径参数，或者配置Hadoop本地文件系统适配器直接解析hdfs://前缀路径到本地文件，无需修改业务代码。

内容的提问来源于stack exchange，提问作者pinksrider