优化Scala应用启动速度：解决sbt加载慢的并行运行问题

针对你遇到的sbt启动慢、频繁重启生产者耗时久的问题，这里有几个实用的优化方案，按见效程度排序：

1. 使用sbt-revolver插件实现快速重启 #

这是解决频繁重启应用最有效的方案，它能在保留sbt环境的前提下快速重启你的应用，避免每次都重新加载sbt整个环境。

步骤： #

• 在项目的project/plugins.sbt中添加插件依赖：

  addSbtPlugin("io.spray" % "sbt-revolver" % "0.9.1")
  

• 修改你的bash脚本，把runMain替换成reStart：

  #!/usr/bin/env bash
  if [ "$1" = "consumer" ]
  then
      sbt "reStart consumer.SparkConsumer $2 $3 $4"
  elif [ "$1" = "producer" ]
  then
      sbt "reStart producer.KafkaProducer $5 $3 $6 $7"
  else
      echo "Wrong parameter. It should be consumer or producer"
  fi
  

• 第一次启动时还是会加载sbt环境，但后续重启只需要重复调用脚本，速度会快很多。如果需要停止应用，单独执行sbt reStop即可。

2. 预编译后直接运行字节码 #

如果你只是频繁重启生产者，可以先一次性编译项目，然后直接用scala命令运行编译后的类，完全绕过sbt的启动开销：

步骤： #

• 先手动编译一次项目：

  sbt compile
  

• 修改脚本中生产者的部分，直接调用scala命令（自动导出并使用项目的classpath）：

  elif [ "$1" = "producer" ]
  then
      # 导出项目运行时的完整classpath
      CLASSPATH=$(sbt "export runtime:fullClasspath" | tail -n 1)
      # 直接运行生产者类
      scala -cp "$CLASSPATH" producer.KafkaProducer $5 $3 $6 $7
  fi
  

  注：第一次导出classpath仍会有sbt开销，但后续直接运行scala命令的速度会非常快，适合需要高频重启的场景。

3. 优化sbt自身的启动速度 #

启用sbt守护进程 #

sbt 1.3+支持守护进程模式，能在后台保留sbt环境，避免每次启动都重新加载。你可以在运行sbt命令时加上-Dsbt.daemon=true参数，或者在~/.sbt/1.0/global.sbt中添加全局配置：

Global / daemonMode := DaemonMode.On

之后每次运行sbt命令都会复用后台的守护进程，启动速度会显著提升。

调整sbt的JVM参数 #

在~/.sbt/jvmopts中添加以下参数，减少sbt的启动时间和内存占用：

-Xms512m
-Xmx1024m
-XX:+TieredCompilation
-XX:TieredStopAtLevel=1

TieredCompilation和TieredStopAtLevel=1会让JVM更快完成初始编译，大幅缩短启动等待时间。

4. 针对Spark消费者的额外优化 #

Spark应用本身启动开销较大，如果需要频繁重启消费者，可以考虑：

• 保持使用默认的--deploy-mode client模式（避免cluster模式带来的额外集群启动开销）
• 如果是流处理场景，尽量让消费者作业长期运行，减少重启次数；批处理场景可以尝试复用Spark上下文（需根据业务逻辑调整）

内容的提问来源于stack exchange，提问作者Cassie