如何在Scala版Play框架中正确实现SparkContext？

我自己写了一个基于Scala的Play框架控制器，用来封装Spark相关操作。因为担心同一JVM里出现多个活跃的Spark上下文引发问题，所以特意在方法执行完毕后手动关闭上下文，具体代码如下：

class Test4 extends Controller {
  def test4 = Action.async { request =>
    // 初始化Spark配置
    val conf = new SparkConf()
      .setAppName("AppTest")
      .setMaster("local[2]")
      .set("spark.executor.memory","1g")
    
    // 创建Spark上下文
    val sc = new SparkContext(conf)
    
    // 读取并处理数据
    val rawData = sc.textFile("c:\\spark\\data.csv")
    val data = rawData.map(line => line.split(','))
    
    // 这里可以添加你的后续数据处理逻辑，比如统计、转换等
    
    // 操作完成后关闭Spark上下文，避免多上下文冲突
    sc.stop()
    
    // 返回Play框架的异步响应，示例返回成功状态
    Future.successful(Ok("Spark操作执行完成"))
  }
}

另外补充几个小提醒：

• 每次请求都创建并销毁SparkContext的方式虽然能规避多上下文冲突，但性能开销比较大，生产环境里更推荐用单例模式初始化SparkContext，或者利用Spark的上下文管理机制来复用资源。
• 这里用Action.async是为了符合Play框架的非阻塞设计，确保请求处理不会阻塞线程。

内容的提问来源于stack exchange，提问作者ps0604