Databricks无服务器.py笔记本中自定义Python Wheel包依赖管理咨询

核心结论 #

不推荐在.py格式笔记本中直接使用%pip install安装自定义Wheel包。无服务器集群的会话具有临时性，这种方式安装的依赖会在会话结束或集群重启后丢失，还可能导致不同会话间的依赖不一致，引发难以排查的问题。

更优的依赖管理方式 #

1. 将.py笔记本转换为.ipynb格式，使用环境配置面板 #

这是最贴合官方推荐的方案：

• 在Databricks工作区打开目标.py笔记本，通过「File」→「Save as」选择保存为.ipynb格式。
• 打开转换后的.ipynb笔记本，右侧会出现环境配置面板，直接上传自定义Wheel包（或指定DBFS/内部存储路径），配置完成后，每次启动笔记本会话时会自动安装依赖，依赖与笔记本环境绑定，一致性有保障。

2. 使用Databricks工作区库统一管理 #

如果多个笔记本需要共享这个自定义Wheel，推荐用工作区库：

• 进入Databricks工作区的「Libraries」页面，上传自定义Wheel包创建库。
• 找到对应的无服务器集群，在集群的「Libraries」选项卡中添加这个已创建的库。后续该集群上运行的所有笔记本（包括.py格式）都能直接使用该依赖。

3. 通过Databricks CLI/API配置依赖 #

如果不想转换笔记本格式，可以用CLI或API完成依赖配置：

• 安装并配置Databricks CLI后，执行命令：

  databricks libraries install --cluster-id <你的无服务器集群ID> --whl <Wheel包的DBFS/S3路径>
  

• 或者调用Databricks Libraries API的install接口，实现批量或自动化的依赖配置。

内容的提问来源于stack exchange，提问作者Alexis Kan