如何在Azure DevOps调用的Databricks笔记本Shell脚本中使用参数？

你遇到的问题很典型——Databricks里不同语言的执行单元（比如Scala和Shell）是在独立的上下文里运行的，所以Scala单元里定义的变量没法直接在Shell单元中访问。不过有几种简单的办法可以解决这个参数传递的问题，我给你详细说下：

方法一：通过临时文件传递参数 #

先在Scala单元把参数写入一个本地临时文件，然后Shell单元读取这个文件里的内容：

%scala
val verticalName = dbutils.widgets.get("vertical")
val branchName = dbutils.widgets.get("branch")

// 将参数写入临时文件，格式为键值对
import java.io.PrintWriter
new PrintWriter("/tmp/params.conf") {
  write(s"verticalName=$verticalName\nbranchName=$branchName"); close
}

然后在Shell单元里读取这个文件：

%sh
# 加载临时文件里的环境变量
source /tmp/params.conf

# 现在就能正常使用参数了
echo "Vertical名称：$verticalName"
echo "分支名称：$branchName"

方法二：通过DBFS存储参数脚本 #

如果担心本地临时文件被清理，可以用DBFS（Databricks文件系统）来存储参数脚本，稳定性更好：

%scala
val verticalName = dbutils.widgets.get("vertical")
val branchName = dbutils.widgets.get("branch")

// 生成设置环境变量的脚本并写入DBFS
val paramScript = s"""
export verticalName="$verticalName"
export branchName="$branchName"
"""
dbutils.fs.put("/dbfs/FileStore/tmp/set_env_vars.sh", paramScript, overwrite = true)

然后在Shell单元加载这个脚本：

%sh
# 加载DBFS里的脚本
source /dbfs/FileStore/tmp/set_env_vars.sh

# 验证参数
echo $verticalName
echo $branchName

方法三：直接在Scala中调用Shell命令（适合不需要单独Shell单元的场景） #

如果你的Shell逻辑不需要单独成单元，可以直接在Scala里通过Process调用Shell，把参数直接传进去：

%scala
val verticalName = dbutils.widgets.get("vertical")
val branchName = dbutils.widgets.get("branch")

// 直接执行Shell命令，把参数作为变量传入
import scala.sys.process._
s"""echo "Vertical: $verticalName, Branch: $branchName"""" !

这样就能直接在Scala单元里执行Shell逻辑，不用单独开Shell单元啦。

内容的提问来源于stack exchange，提问作者user_297020