为Web应用内运行的Spark作业配置spark.driver.memory

你遇到的问题是个很常见的Spark使用误区——Spark Driver的内存参数是在JVM进程启动阶段就必须确定的，运行时在代码里设置根本不会生效。因为你的Spray Web应用本身就是Spark Driver所在的JVM进程，当Web应用启动后，JVM的堆内存已经固定，此时再修改spark.driver.memory这类参数完全起不到作用。

下面给你几个可行的解决方案：

1. 启动Web应用时直接指定JVM堆内存 #

既然Spark Driver的内存就是Web应用JVM的堆内存，最直接的方式就是在启动Web应用时通过JVM参数设置堆大小：

• 如果是用jar包启动：

java -Xmx8g -jar your-spray-web-app.jar

• 如果是用sbt运行：

sbt -J-Xmx8g run

这里的8g可以根据你的需求调整成合适的内存大小，比如4g、16g等。

2. 通过Spark系统属性传递Driver内存参数 #

如果你更习惯使用Spark的参数格式，也可以在启动时通过系统属性传递spark.driver.memory：

java -Dspark.driver.memory=8g -jar your-spray-web-app.jar

这种方式和直接设置-Xmx效果一致，因为Spark会把这个参数映射为JVM的堆内存设置，同样需要在启动时指定才能生效。

额外优化建议：隔离Spark作业的执行线程 #

看你的代码，在Web请求的处理线程中直接触发Spark作业（虽然用了Future），长期来看可能会影响Web服务的响应能力。建议专门创建一个线程池来处理Spark作业的执行，避免占用Web请求线程：

// 初始化一个专用的线程池，控制Spark作业的并发数
import java.util.concurrent.Executors
import scala.concurrent.ExecutionContext

val sparkJobExecutionContext = ExecutionContext.fromExecutor(Executors.newFixedThreadPool(3))

path("vectorize") { 
    get { 
        parameter('apiKey.as[String]) { (apiKey) => 
            if (apiKey == API_KEY) { 
                // 将Spark作业提交到专用线程池执行
                scala.concurrent.Future {
                    MoviesVectorizer.calculate()
                }(sparkJobExecutionContext)
                complete("Ok") 
            } else { 
                complete("Wrong API KEY") 
            } 
        } 
    } 
}

这样可以更好地平衡Web服务的响应性和Spark作业的执行资源。

内容的提问来源于stack exchange，提问作者Daniil Andreyevich Baunov