在Databricks中如何在%run语句里引用ADF传入的变量？

核心原因 #

%run是Databricks的魔法命令，不支持直接插值Python变量，所以直接写--job_path job_path会把job_path当成字符串字面量，而非变量实际值。下面是几种可行的解决方案：

方案1：用dbutils.notebook.run替代%run（推荐） #

这是Databricks官方推荐的动态执行脚本/Notebook的方式，支持传递参数，完全适配Python变量：

# 获取ADF传入的变量（假设通过widgets传递）
job_path = dbutils.widgets.get("job_path")

# 执行目标脚本，参数以字典形式传入
# 注意路径用Workspace路径（无需/dbfs前缀），超时时间单位为秒
dbutils.notebook.run("/FileStore/main", 300, {"job_path": job_path})

之后在main.py里通过dbutils.widgets.get("job_path")即可获取参数。

方案2：动态生成并执行%run命令 #

利用IPython API动态执行魔术命令，实现变量插值：

job_path = dbutils.widgets.get("job_path")

# 动态构造%run命令并执行
get_ipython().run_line_magic("run", f"/dbfs/FileStore/main.py --job_path {job_path}")

这种方式保留了%run的命名空间共享特性，但灵活性不如dbutils.notebook.run。

方案3：让main.py直接读取全局参数 #

如果ADF传入的变量是通过Databricks widgets传递的，直接在main.py开头读取参数，无需在%run里传参：

# main.py 开头添加
job_path = dbutils.widgets.get("job_path")

主脚本里直接执行：

%run /dbfs/FileStore/main.py

这种方式最简洁，适合参数全局复用的场景。

更优的脚本运行建议 #

• 优先用Workspace路径管理代码：把脚本放在Databricks Workspace（而非直接存DBFS），方便权限管理、协作和版本控制，路径直接用/Repos/xxx/main.py或/FileStore/main.py。
• 用Databricks Repos管理代码：关联Git仓库，实现代码版本化，避免直接上传文件到DBFS。
• 生产环境用Databricks Jobs任务链：批量任务优先在Jobs里配置任务依赖，而非用%run串联脚本，更易监控和调试。
• 统一参数管理：所有外部传入的参数都通过Databricks widgets或Jobs任务参数传递，避免硬编码和变量传递混乱。

内容的提问来源于stack exchange，提问作者tommyhmt