能否构建PyTorch使其通过dlopen调用独立安装的libtorch？

可行，但需要通过符号链接或修改库加载逻辑实现，结合你已有自定义构建PyTorch的背景，以下是具体方案：

核心前提 #

系统安装的libtorch版本必须与Python版PyTorch完全匹配（包括CUDA/CUDNN版本、发布版本号或commit哈希），否则会触发兼容性错误（如段错误、API不匹配）。

实现方案 #

方案1：符号链接替换（快速无代码修改） #

1. 找到Python PyTorch安装目录下的libtorch库路径，通常在${PYTORCH_INSTALL_PATH}/torch/lib/，其中包含libtorch.so、libtorch_cuda.so等核心库文件
2. 备份原库文件：

   cd ${PYTORCH_INSTALL_PATH}/torch/lib/
   mkdir backup && mv libtorch*.so* backup/
   

3. 创建符号链接指向系统libtorch的安装路径（示例路径为/usr/local/lib/，请根据实际路径调整）：

   ln -s /usr/local/lib/libtorch.so ./libtorch.so
   ln -s /usr/local/lib/libtorch_cuda.so ./libtorch_cuda.so
   # 按需链接其他相关libtorch子库
   

方案2：修改PyTorch加载逻辑（适合自定义构建场景） #

结合你自定义构建PyTorch的经验，可直接修改库加载路径：

1. 打开PyTorch安装目录下的torch/__init__.py，定位到使用ctypes.CDLL加载libtorch的代码段
2. 将原有的相对路径加载逻辑（如os.path.join(os.path.dirname(__file__), 'lib', 'libtorch.so')）替换为系统libtorch的绝对路径：

   import ctypes
   ctypes.CDLL("/usr/local/lib/libtorch.so", mode=ctypes.RTLD_GLOBAL)
   

3. 若为自定义构建PyTorch，更彻底的方式是在编译阶段指定链接系统libtorch：
   • 构建时设置BUILD_SHARED_LIBS=ON
   • 通过CMAKE_PREFIX_PATH指向系统libtorch的安装目录，跳过PyTorch自身打包libtorch的步骤

额外说明 #

复用系统libtorch确实能达到你提到的两个核心好处：

• 减少Python包体积约600MB（避免重复打包libtorch共享库）
• 确保Python前端与C++等其他前端使用完全一致的libtorch后端实现

内容的提问来源于stack exchange，提问作者mwlon