如何在Spark Shell中通过变量加载Scala脚本？

Spark Shell的:load魔术命令确实不支持直接引用Scala变量——因为这类命令是由Shell自身处理的，不属于Scala代码执行上下文的一部分，所以你之前尝试的${scriptLoc}或者直接scriptLoc都会被当成路径的字面量，自然找不到对应的脚本文件。这里给你几个可行的解决方案：

方案1：通过Scala代码读取并执行脚本内容 #

你可以借助Scala的Source类读取脚本文件内容，再用eval执行，这样就能正常使用Scala变量的字符串插值了：

// 导入必要的工具类
import scala.io.Source
import scala.reflect.runtime.universe._

// 定义脚本路径变量
val scriptLoc = "/abc/spark"
// 拼接完整脚本路径并读取内容
val scriptPath = s"${scriptLoc}/scriptName.scala"
val scriptContent = Source.fromFile(scriptPath).mkString
// 执行脚本内容
eval(parse(scriptContent))

这个方法完全在Scala代码上下文里运行，能完美复用你定义的路径变量。

方案2：利用环境变量传递路径 #

如果你更倾向于使用:load命令，可以先在启动Spark Shell前的终端里设置环境变量，然后在Shell中引用环境变量：

1. 在终端中导出环境变量：

export SCRIPT_LOC="/abc/spark"

2. 启动Spark Shell后，使用环境变量加载脚本：

:load $SCRIPT_LOC/scriptName.scala

因为:load命令支持解析系统环境变量，这样就能间接实现“变量加载”的效果。

方案3：简化写法（适用于临时场景） #

如果只是临时使用，也可以直接用字符串拼接的方式写死路径，但显然不如前两种灵活：

:load "/abc/spark/scriptName.scala"

内容的提问来源于stack exchange，提问作者Lux