为何Scala+Spark应用单元测试在IntelliJ比Maven快很多？

• 对比JVM运行参数：IDEA中通过Run Configuration的VM options查看测试的JVM参数；Maven侧可执行mvn test -Dmaven.test.debug获取运行参数，或直接查看surefire插件的argLine配置。重点核对内存分配（如-Xmx、-Xms）、GC策略（如-XX:+UseG1GC）、元空间大小（-XX:MaxMetaspaceSize）等，这类参数差异是性能差距的常见诱因。
• 输出Spark运行时配置：在测试代码中添加spark.conf.getAll.foreach(println)，分别在IDEA和Maven环境下运行测试，对比输出的所有Spark配置，重点关注spark.driver.memory、spark.local.dir、spark.sql.shuffle.partitions等关键参数，确认是否存在环境默认值差异。
• 检查测试并行与进程复用策略：
  • IDEA默认可能复用SparkContext，且测试并行逻辑为按类或按包并行；Maven的surefire插件默认可能为每个测试类fork新JVM，导致每个测试重复初始化SparkContext（这是耗时差异的核心原因之一）。可查看surefire的forkCount、reuseForks配置。
  • 核对scalatest的并行设置：IDEA中是否开启了并行测试，Maven侧是否在scalatest配置中启用parallelExecution，以及并行线程数是否对齐。
• 监控系统资源占用：运行测试时用top、jconsole或IDEA Profiler监控CPU、内存、磁盘IO。Maven运行时若存在其他进程抢占资源，或spark.local.dir指向慢速磁盘，都会导致性能下降。

• 复用SparkContext与JVM进程：
  • 用scalatest的BeforeAndAfterAll trait实现全局SparkContext初始化，所有测试类共享同一个上下文，避免重复创建销毁。
  • 在surefire插件中配置forkCount=1、reuseForks=true，强制复用JVM进程，减少Spark初始化开销：

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-surefire-plugin</artifactId>
  <version>3.1.2</version>
  <configuration>
    <forkCount>1</forkCount>
    <reuseForks>true</reuseForks>
    <argLine>-Xmx8G -XX:MaxMetaspaceSize=2G -XX:+UseG1GC</argLine>
  </configuration>
</plugin>

• 统一Spark本地模式参数：
  • 测试时指定Spark运行模式为local[4]（或与CPU核心数匹配的固定值，避免local[*]在Maven环境下识别错误）。
  • 分配足够的Driver内存：设置spark.driver.memory=8G（与IDEA中配置的内存一致），本地模式下Executor内存与Driver共享，无需单独配置。
• 关闭非必要Spark特性：
  • 关闭Spark UI：spark.ui.enabled=false，减少UI资源消耗。
  • 禁用事件日志：spark.eventLog.enabled=false，避免磁盘IO开销。
  • 固定shuffle分区数：确认spark.sql.shuffle.partitions=2（或与IDEA中一致的低值）已生效。
• 对齐并行测试配置：
  • 在scalatest配置中启用并行执行，设置并行线程数与IDEA一致，比如在pom.xml中添加scalatest插件配置：

<plugin>
  <groupId>org.scalatest</groupId>
  <artifactId>scalatest-maven-plugin</artifactId>
  <version>2.0.1</version>
  <configuration>
    <parallel>true</parallel>
    <threadCount>4</threadCount>
  </configuration>
</plugin>

• 统一GC策略：在surefire的argLine中指定与IDEA一致的GC策略（如-XX:+UseG1GC），减少GC停顿时间。

内容的提问来源于stack exchange，提问作者Carlos S. Na