Google Colab无法提升Java堆内存，Scala程序报OOM错误求助

直接运行Scala脚本/程序的处理方式 #

• 用scala命令启动时，直接通过-J参数传递JVM堆内存配置，这比依赖环境变量更可靠：

  scala -J-Xmx8g your_scala_program.scala
  

  -J是Scala命令用来转发参数给底层JVM的标识。
• 若使用scala-cli工具，用--jvm-opt指定参数：

  scala-cli --jvm-opt -Xmx8g your_scala_program.scala
  

Notebook单元格中运行Scala的处理方式 #

如果用%%scala魔法命令执行代码，先在单元格中设置会话级环境变量，再运行Scala代码：

%env _JAVA_OPTIONS=-Xmx8g

之后再执行%%scala代码块，Scala解释器会读取该环境变量配置堆内存。

也可以在启动Scala解释器时直接指定参数：

%%scala
// 重启Scala解释器并设置8GB堆内存
!scala -J-Xmx8g

验证配置是否生效 #

运行以下Scala代码查看当前最大堆内存：

%%scala
val runtime = Runtime.getRuntime()
val maxMemoryMB = runtime.maxMemory() / (1024 * 1024)
println(s"当前最大堆内存: ${maxMemoryMB}MB")

输出接近8192MB则说明配置生效。

额外注意事项 #

• Colab单实例内存上限约12GB，不要设置超过实例可用的内存，避免进程被系统强制终止。
• 若程序基于Spark运行，需单独配置Spark的Driver和Executor内存：

  %env SPARK_DRIVER_MEMORY=8g
  %env SPARK_EXECUTOR_MEMORY=8g
  

  配置完成后再初始化SparkSession。

内容的提问来源于stack exchange，提问作者Master Irfan Elahee