如何在Databricks中仅为单个Notebook卸载集群库？

当然可以只在当前Notebook的本地环境中处理，不用改动集群全局依赖，以下是几种可行方案：

• 创建专属虚拟环境隔离依赖
  在当前Notebook里创建独立的虚拟环境，所有依赖操作都在这个环境内完成，完全不影响集群全局。执行以下命令：

  # 创建虚拟环境
  python -m venv notebook_local_env
  # Linux/macOS下激活环境
  source notebook_local_env/bin/activate
  # Windows下激活环境
  notebook_local_env\Scripts\activate
  # 卸载冲突的集群库
  pip uninstall -y [冲突库名称]
  # 安装你需要的目标库
  pip install [目标库名称]
  

  注意：每次打开这个Notebook时，都需要重新执行激活命令，才能使用这个隔离环境。

• 调整导入逻辑规避冲突
  如果不想折腾虚拟环境，可以通过调整导入顺序绕开冲突——优先导入你需要的目标库，利用Python的模块缓存机制，让后续不会加载冲突的集群库；或者只在需要的代码块里局部导入库：

  # 先导入优先级高的库，占据模块缓存
  import target_package
  
  # 局部导入示例：仅在特定函数内导入需要的库
  def process_data():
      import target_package
      # 编写业务逻辑
  

• 用用户级安装覆盖集群库
  如果冲突是版本不兼容导致的，可以用--user参数把兼容版本的库安装到当前用户目录，这个安装会覆盖集群级别的库，但仅对当前用户的当前Notebook生效：

  # 卸载用户目录下的冲突库（如果之前装过）
  pip uninstall -y [冲突库名称] --user
  # 安装兼容版本到用户目录
  pip install [目标库名称]==[兼容版本号] --user
  

内容的提问来源于stack exchange，提问作者itscarlayall