如何在Azure Databricks中像VS Code一样运行Python文件？

1. 同步项目依赖环境 #

• 核对本地VS Code项目中使用的Python包版本，在Databricks集群的库页面逐一安装对应包（如pandas、pyyaml等），版本尽量与本地保持一致，避免兼容性问题。
• 若存在自定义私有包，需将包文件上传至Databricks工作区或DBFS，再通过集群库页面选择上传的文件进行安装。

2. 调整文件路径与模块导入逻辑 #

• 修正相对路径导入：本地的相对路径在Databricks工作区中可能无法识别，可在主脚本开头添加路径适配代码，将当前脚本所在目录加入Python路径：

import sys
from pathlib import Path
# 将当前脚本所在目录添加到sys.path
sys.path.append(str(Path(__file__).parent))

• 确保跨目录模块导入路径正确，比如从src/utils导入模块时，路径要对应工作区中的/Workspace/DUMMY/src/utils结构。

3. 适配配置文件读取 #

• 修改config.yaml的读取路径，使用Databricks工作区绝对路径或DBFS路径：

import yaml
# 使用工作区路径读取配置
with open('/Workspace/DUMMY/config.yaml', 'r', encoding='utf-8') as f:
    config = yaml.safe_load(f)

• 若将配置文件上传至DBFS（如/dbfs/FileStore/DUMMY/config.yaml），则替换上述路径为DBFS路径即可。

4. 选择合适的运行方式 #

• 作业（Job）运行：创建Databricks作业，指定目标集群，设置主脚本路径为/Workspace/DUMMY/[你的主脚本文件名].py，配置好运行参数后启动作业，适合批量、定时运行场景。
• 笔记本调试运行：在Databricks笔记本中使用%run命令执行脚本，比如%run /Workspace/DUMMY/main.py，适合快速调试单个脚本或模块。
• 若涉及Spark操作，需确保集群的Spark版本、Executor资源配置与本地开发环境匹配，避免因资源不足或版本差异导致运行异常。

5. 调试与问题排查 #

• 查看作业或笔记本的运行日志，定位报错信息（如依赖缺失、路径错误、权限不足等）。
• 拆分测试：在笔记本中单独导入某个模块或执行某段代码，逐步验证功能是否正常，缩小问题范围。
• 权限校验：确认当前用户拥有工作区文件的读取权限、集群的运行权限，必要时联系管理员调整权限。

内容的提问来源于stack exchange，提问作者BigData Lover