如何使用dbfs外的Python文件创建Azure Databricks作业?
Databricks Jobs调用Repo内Python文件解决方案
可以直接调用,无需通过DBFS中转脚本,你之前的问题出在路径格式错误。
正确UI操作步骤
- 新建作业任务时,任务类型选择「Python 任务」
- 「Python 文件路径」直接填写Workspace绝对路径,不要加
file:前缀,格式如下:/Repos/<user_folder>/<repo_name>/my_python_file.py - 配置符合运行要求的计算集群后直接提交即可。
常见问题排查
- 权限校验:确认作业运行身份(你的账号或对应服务主体)对该Repo路径的Python文件有读取权限
- 同仓依赖适配:如果你的Python文件需要导入同Repo下的其他自定义模块,在作业的「环境变量」配置项中添加
PYTHONPATH=/Repos/<user_folder>/<repo_name>即可解决导入报错 - 后续你使用databricks-cli提交作业时,路径规则和UI端完全一致,无需额外修改。
内容的提问来源于stack exchange,提问作者Emilie Picard-Cantin
相关产品推荐
相关产品推荐

