如何在Databricks默认Python环境安装conda渠道的cyipopt包

方案1：直接pip安装（最简便，无需折腾conda） #

cyipopt无pip安装源为过时信息，3.0及以上版本已支持PyPI分发，仅需提前安装底层系统依赖即可：

• 单节点临时测试：直接在Notebook中按顺序执行以下单元
  1. 安装Ipopt底层C依赖与编译工具：

  %sh
  apt-get update && apt-get install -y coinor-libipopt-dev build-essential
  

  2. 执行pip安装：

  %pip install cyipopt
  

• 生产集群持久化使用：将上述apt安装逻辑写入集群初始化脚本，再通过集群库配置界面添加cyipopt的pip依赖即可，避免节点重启后依赖丢失。

方案2：配置conda直接安装到Databricks默认Python环境 #

如果必须使用conda渠道安装，按以下调整即可解决之前遇到的问题：

• 第一次安装卡数小时无响应的核心原因是执行conda install时未加-y确认参数，%sh单元不支持交互输入，进程会一直卡在确认提示处不会实际执行安装。
• 第二次安装后环境识别不到包的原因是conda默认将包装入自身独立虚拟环境路径，该路径不在Databricks默认Python的搜索路径中。

调整后的安装命令如下：

%sh
# 1. 安装miniconda
mkdir -p ./miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ./miniconda3/miniconda.sh
bash ./miniconda3/miniconda.sh -b -u -p ./miniconda3

# 2. 指定Databricks默认Python路径为安装前缀，跳过虚拟环境创建，加-y自动确认安装
./miniconda3/bin/conda install -c conda-forge --prefix /databricks/python3 cyipopt -y

# 3. 修复权限，确保Python进程可读取安装的包
chmod -R a+r /databricks/python3/lib/python*/site-packages/

执行完后重启Python内核即可正常导入cyipopt。

注意：conda安装方式同样建议写入集群初始化脚本，否则集群伸缩、节点重启后依赖会失效。

内容的提问来源于stack exchange，提问作者StrikeR