如何解决Python导入.so文件函数时的未定义符号错误？

问题描述 #

我是一名转行深度学习领域的机械工程师，编程基础较为薄弱。我有一个预编译的.so格式文件，在Python文件nndistance.py中按如下方式导入该文件中的两个函数：

from metrics.StructuralLosses.StructuralLossesBackend import NNDistance, NNDistanceGrad

但遇到如下错误：

ImportError: ./StructuralLosses/StructuralLossesBackend.cpython-38-x86_64-linux-gnu.so: undefined symbol: _ZN6caffe28TypeMeta21_typeMetaDataInstanceIdEEPKNS_6detail12TypeMetaDataEv

我曾尝试编写以下脚本并保存为StructuralLossesBackend.py，但问题仍未解决：

def __bootstrap__():
   global __bootstrap__, __loader__, __file__
   import sys, pkg_resources, imp
   __file__ = pkg_resources.resource_filename(__name__,'StructuralLossesBackend.cpython-38-x86_64-linux-gnu.so')
   __loader__ = None; del __bootstrap__, __loader__
   imp.load_dynamic(__name__,__file__)
__bootstrap__()

问题原因 #

这个错误的核心是：你的预编译.so文件编译时依赖Caffe2库，但运行环境中找不到对应的符号。Caffe2现已整合进PyTorch，所以本质是PyTorch版本与编译.so时的版本不匹配，或者运行时未正确加载PyTorch/Caffe2依赖。

解决步骤 #

1. 匹配PyTorch版本 #

• 先确认当前Python版本是3.8，运行以下命令查看已安装的PyTorch版本：

  pip show torch
  

• 确保该版本与编译.so文件时使用的PyTorch版本一致（如果能获取原编译环境的版本信息最好）。如果版本不匹配，卸载当前PyTorch并重新安装对应版本：

  pip uninstall torch -y
  # 示例：安装适配Python3.8的PyTorch 1.12.1 CUDA11.3版本，无CUDA则替换为cpu版本
  pip install torch==1.12.1+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html
  

2. 提前导入PyTorch加载依赖 #

修改你的导入逻辑，确保在加载.so文件前先导入torch（会自动加载Caffe2相关依赖）：

• 方案一：修改StructuralLossesBackend.py

  def __bootstrap__():
     global __bootstrap__, __loader__, __file__
     import sys, pkg_resources, imp
     # 先导入torch，加载Caffe2依赖
     import torch
     __file__ = pkg_resources.resource_filename(__name__,'StructuralLossesBackend.cpython-38-x86_64-linux-gnu.so')
     __loader__ = None; del __bootstrap__, __loader__
     imp.load_dynamic(__name__,__file__)
  __bootstrap__()
  

• 方案二：在nndistance.py开头添加导入

  import torch
  from metrics.StructuralLosses.StructuralLossesBackend import NNDistance, NNDistanceGrad
  

3. 配置动态链接库路径（可选） #

如果系统中存在多个PyTorch环境，可能需要指定动态链接库路径，在运行Python脚本前执行：

export LD_LIBRARY_PATH=$(python -c "import torch; print(torch._C.__file__.rsplit('/', 1)[0])"):$LD_LIBRARY_PATH

之后再运行你的Python程序。

4. 重新编译.so文件（若可行） #

如果上述方法都无效，且你能拿到.so文件的源码，建议在当前Python3.8 + PyTorch环境下重新编译：

• 确保安装了torch、numpy、setuptools等依赖
• 找到对应的编译脚本（如setup.py），执行编译命令：

  python setup.py build_ext --inplace
  

  用新生成的.so文件替换原文件即可。

内容的提问来源于stack exchange，提问作者Gopal Kulkarni