MacOS下使用Python ctypes加载libmpich.dylib时出现符号缺失错误

问题场景 #

使用Python 3.12.3（基于Clang 15.0.0的Darwin环境）的ctypes加载/opt/homebrew/lib/libmpich.dylib时，触发符号缺失错误：OSError: dlopen(/opt/homebrew/lib/libmpich.dylib, 0x0006): symbol not found in flat namespace '_ADIOI_Datarep_head'。

执行代码及错误栈如下：

>>> from ctypes import cdll
>>> cdll.LoadLibrary("/opt/homebrew/lib/libmpich.dylib")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/opt/homebrew/Cellar/python@3.12/3.12.3/Frameworks/Python.framework/Versions/3.12/lib/python3.12/ctypes/__init__.py", line 460, in LoadLibrary
    return self._dlltype(name)
           ^^^^^^^^^^^^^^^^^^^
  File "/opt/homebrew/Cellar/python@3.12/3.12.3/Frameworks/Python.framework/Versions/3.12/lib/python3.12/ctypes/__init__.py", line 379, in __init__
    self._handle = _dlopen(self._name, mode)
                   ^^^^^^^^^^^^^^^^^^^^^^^^^
OSError: dlopen(/opt/homebrew/lib/libmpich.dylib, 0x0006): symbol not found in flat namespace '_ADIOI_Datarep_head'

排查结果 #

通过otool -L查看库依赖，发现libmpich.dylib引用了不存在的/usr/lib/libSystem.B.dylib——新版MacOS已将该库并入动态链接器共享缓存，不再保留单独文件：

user@machine: otool -L libmpich.dylib  
libmpich.dylib:
    /opt/homebrew/opt/mpich/lib/libmpi.12.dylib (compatibility version 17.0.0, current version 17.0.0)
    /opt/homebrew/Cellar/mpich/4.2.0/lib/libpmpi.12.dylib (compatibility version 17.0.0, current version 17.0.0)
    /opt/homebrew/opt/hwloc/lib/libhwloc.15.dylib (compatibility version 23.0.0, current version 23.0.0)
    /usr/lib/libSystem.B.dylib (compatibility version 1.0.0, current version 1336.61.1)

user@machine: ll /usr/lib/libSystem.B.dylib
ls: /usr/lib/libSystem.B.dylib: No such file or directory

解决方法 #

方法1：重新编译MPICH适配系统链接缓存 #

卸载现有MPICH后，重新编译安装，让库自动适配新版MacOS的链接方式：

# 卸载旧版本
brew uninstall mpich
# 从源码重新安装
brew install mpich --build-from-source

若手动编译（以4.2.0版本为例）：

# 下载源码包
wget https://www.mpich.org/static/downloads/4.2.0/mpich-4.2.0.tar.gz
tar xzf mpich-4.2.0.tar.gz
cd mpich-4.2.0
# 配置编译参数，指定Clang编译器并自动适配系统库
./configure --prefix=/opt/homebrew/opt/mpich CC=clang CXX=clang++
# 多线程编译安装
make -j$(sysctl -n hw.ncpu)
make install

方法2：用install_name_tool修正依赖路径 #

直接修改libmpich.dylib的依赖指向，将不存在的libSystem.B.dylib替换为系统当前使用的libSystem.dylib：

# 备份原库文件
cp /opt/homebrew/lib/libmpich.dylib /opt/homebrew/lib/libmpich.dylib.bak
# 修改依赖路径
install_name_tool -change /usr/lib/libSystem.B.dylib /usr/lib/libSystem.dylib /opt/homebrew/lib/libmpich.dylib

修改完成后，用otool -L /opt/homebrew/lib/libmpich.dylib验证，确认依赖已更新为/usr/lib/libSystem.dylib，再尝试用ctypes加载。

方法3：临时设置环境变量加载系统库 #

在运行Python前设置环境变量，强制加载系统的libSystem.dylib，仅临时生效：

export DYLD_INSERT_LIBRARIES=/usr/lib/libSystem.dylib
python3
# 进入Python环境后执行加载库的代码

内容的提问来源于stack exchange，提问作者Atanu Barai