本地Maven执行Spark Scala测试失败但IntelliJ及GitLab CI成功（HADOOP_HOME/Winutils相关问题）

我太懂这种跨环境测试不一致的糟心感了——本地用Maven跑测试就卡在Hadoop相关的错误，但IDE和CI服务器上都跑的好好的，结合你的代码和场景，我来帮你梳理下核心问题和可行的解决方案：

一、先搞懂为什么IntelliJ和Maven行为不一样 #

IntelliJ在运行测试时，会自动处理很多环境细节：比如它可能会给测试进程默认加上一些Hadoop相关的系统属性，或者类加载顺序更宽松；而Maven Surefire插件默认的fork模式、类路径配置，可能导致你设置的BareLocalFileSystem没有真正生效，甚至Hadoop的环境检查逻辑绕不过去。

另外，你的Session创建逻辑里有个小坑：比如在SharedHiveSparkSession中，你先调用了super.beforeAll()创建了一个基础SparkSession，然后又重新build了一个带Hive支持的Session，但之前的Session没有被关闭，不仅会浪费资源，还可能导致配置冲突。

二、针对性解决方案 #

1. 确保Hadoop配置真正生效，覆盖所有场景 #

你设置BareLocalFileSystem的时机没问题，但要确保在每个新创建的SparkSession之后立刻强制设置，并且补上几个能跳过winutils检查的关键配置：

调整你的SharedSparkSession基础 trait：

import org.apache.hadoop.fs.FileSystem
import org.apache.hadoop.fs.BareLocalFileSystem
import org.scalatest.BeforeAndAfterAll
import org.scalatest.Suite
import org.apache.spark.sql.SparkSession

trait SharedSparkSession extends BeforeAndAfterAll { this: Suite =>
  @transient protected var spark: SparkSession = _

  override def beforeAll(): Unit = {
    super.beforeAll()
    spark = SparkSession.builder()
      .appName("Unit Test Session")
      .master("local[*]")
      .getOrCreate()
    // 强制设置本地文件系统，跳过Hadoop环境检查
    spark.sparkContext.hadoopConfiguration.setClass(
      "fs.file.impl", 
      classOf[BareLocalFileSystem], 
      classOf[FileSystem]
    )
    // 随便设置一个非空的HADOOP_HOME，避免系统检查报错
    spark.sparkContext.hadoopConfiguration.set("HADOOP_HOME", ".")
    // 明确指定默认文件系统为本地
    spark.sparkContext.hadoopConfiguration.set("fs.defaultFS", "file:///")
  }

  override def afterAll(): Unit = {
    if (spark != null) {
      // 先清除活跃Session，再停止
      SparkSession.clearActiveSession()
      SparkSession.clearDefaultSession()
      spark.stop()
      spark = null
    }
    super.afterAll()
  }
}

然后调整SharedHiveSparkSession，先关闭父类创建的Session再创建自己的：

import java.util.UUID
import java.nio.file.Files

trait SharedHiveSparkSession extends SharedSparkSession { this: Suite =>
  override def beforeAll(): Unit = {
    // 先关闭父类创建的基础Session
    if (spark != null) {
      spark.stop()
      spark = null
    }
    val tempDir = Files.createTempDirectory("spark_hive_test").toAbsolutePath.toString
    val metastoreDbId = UUID.randomUUID().toString
    spark = SparkSession.builder()
      .appName("Hive Test Session")
      .master("local[*]")
      .config("spark.sql.warehouse.dir", s"$tempDir/warehouse")
      // 给每个Hive Session指定独立的metastore数据库，避免锁冲突
      .config("javax.jdo.option.ConnectionURL", 
              s"jdbc:derby:$tempDir/metastore_db_$metastoreDbId;create=true")
      // 避免Hive metastore的类加载冲突
      .config("spark.sql.hive.metastore.sharedPrefixes", 
              "com.mysql.cj.jdbc,org.postgresql,com.microsoft.sqlserver,net.sourceforge.jtds.jdbc")
      .enableHiveSupport()
      .getOrCreate()
    // 重新设置Hadoop配置，确保生效
    spark.sparkContext.hadoopConfiguration.setClass(
      "fs.file.impl", 
      classOf[BareLocalFileSystem], 
      classOf[FileSystem]
    )
    spark.sparkContext.hadoopConfiguration.set("HADOOP_HOME", ".")
  }
}

2. 彻底解决Derby metastore锁和Session隔离问题 #

Hive依赖Derby作为默认元数据库，很容易出现文件锁冲突，尤其是Maven批量跑测试时：

• 给每个Hive测试Session生成完全独立的临时目录存放metastore和warehouse（上面的代码已经做了）
• 在Maven Surefire插件里配置强制fork每个测试类，避免共享JVM资源：

<build>
  <plugins>
    <plugin>
      <groupId>org.apache.maven.plugins</groupId>
      <artifactId>maven-surefire-plugin</artifactId>
      <version>3.2.5</version>
      <configuration>
        <!-- 每个测试类都用独立的JVM运行，彻底隔离资源 -->
        <forkMode>always</forkMode>
        <reuseForks>false</reuseForks>
        <!-- 传递Hive相关的系统属性，避免类加载冲突 -->
        <argLine>
          -Dspark.sql.hive.metastore.sharedPrefixes=com.mysql.cj.jdbc,org.postgresql,com.microsoft.sqlserver,net.sourceforge.jtds.jdbc
        </argLine>
        <!-- 直接设置系统级别的Hadoop配置，从根源跳过检查 -->
        <systemPropertyVariables>
          <HADOOP_HOME>.</HADOOP_HOME>
          <fs.file.impl>org.apache.hadoop.fs.BareLocalFileSystem</fs.file.impl>
        </systemPropertyVariables>
      </configuration>
    </plugin>
  </plugins>
</build>

3. 终极排查技巧 #

如果还是不行，打开Maven的详细日志看看配置加载情况：

mvn clean test -X

搜索fs.file.impl和HADOOP_HOME的关键词，确认你的配置有没有被其他依赖或者插件覆盖。

三、总结 #

核心问题就是两个：

• Maven运行时的Hadoop配置没有正确生效，导致winutils检查过不去
• 多测试Session之间的Derby元数据库资源没有隔离，出现锁冲突

通过调整Session创建逻辑、强制设置Hadoop参数、配置Maven Surefire的独立fork模式，应该就能解决你本地Maven测试失败的问题了。

内容来源于stack exchange