Sagemaker Notebook导入vaex 4.16.0遇PydanticImportError求助

问题根源 #

Vaex 4.16.0的依赖逻辑基于Pydantic 1.x版本，而当前环境安装了Pydantic 2.x——该版本将BaseSettings迁移到了独立的pydantic-settings包中，直接降级Pydantic无效大概率是因为Sagemaker Notebook全局环境存在其他依赖强制升级了Pydantic，或者安装时未明确锁定版本。

具体解决方法 #

• 方法一：明确安装兼容版本并锁定依赖

  1. 先卸载冲突的Pydantic相关包：

     pip uninstall -y pydantic pydantic-settings
     

  2. 安装Vaex 4.16.0并指定兼容的Pydantic版本：

     pip install vaex==4.16.0 "pydantic<2.0"
     

  3. 执行pip freeze | grep pydantic检查版本，确保输出为1.x系列（如pydantic==1.10.12）。

• 方法二：用虚拟环境隔离依赖（Sagemaker环境推荐）
  Sagemaker全局环境的依赖可能相互干扰，创建独立虚拟环境可以彻底解决冲突：

  1. 创建并激活虚拟环境：

     python -m venv vaex_venv
     source vaex_venv/bin/activate
     

  2. 在虚拟环境中安装Vaex 4.16.0：

     pip install vaex==4.16.0
     

  3. 在Notebook右上角的「Kernel」菜单中，选择「Change Kernel」→「Add Kernel」，将虚拟环境添加为可用内核，之后切换到该内核运行代码。

• 方法三：适配Pydantic 2.x（仅当无法降级时使用）
  如果必须保留Pydantic 2.x，安装迁移后的包补全依赖：

  pip install pydantic-settings
  

  此方法能临时解决导入错误，但可能存在Vaex与Pydantic 2.x的隐性兼容问题，优先推荐前两种方法。

内容的提问来源于stack exchange，提问作者Kailash M S