You need to enable JavaScript to run this app. 在Azure机器学习服务Nvidia计算实例导入sentence_transformers时报段错误如何解决
优惠活动
大模型
产品
解决方案
定价
更多

在Azure机器学习服务Nvidia计算实例导入sentence_transformers时报段错误如何解决

段错误的核心诱因

你碰到的导入就崩、连Python报错都打不出来的segfault,根本不是sentence_transformers安装失败的问题,是两个兼容坑叠在一起了:

  • 依赖版本错配:你锁死的torch==1.4.0版本太老,requirements里没给sentence-transformers、它的依赖transformers、tokenizers固定版本,pip默认会拉取最新版的这些包——而新版的tokenizers是Rust编译的二进制包,最低要求torch1.6以上版本,导入的时候直接动态链接错配的依赖,当场触发段错误,根本走不到Python层抛异常的步骤。
  • 系统环境太旧:你用的ubuntu-16.04代理镜像已经停更多年,系统自带的glibc库版本太低,很多新编译的Python二进制包加载时会因为系统依赖版本不兼容直接崩,连Python的栈回溯都生成不了,刚好就对应你看到的被系统信号杀掉的报错。
直接能跑通的操作步骤
  • 把requirements.txt里的依赖固定成和旧环境兼容的版本组合,别让pip自动拉最新的不兼容包:
    torch==1.4.0
    sentence-transformers==0.3.9
    transformers==3.5.1
    tokenizers==0.8.1
    
    这套版本是sentence-transformers早期支持XLM-R模型的稳定组合,完全适配torch1.4,导入时不会出现库依赖错配的段错误。
  • 在导入sentence_transformers之前,提前加几行环境配置,避免导入时触发系统级的进程杀掉:
    import os
    # 关掉tokenizers的并行编译,避免导入时一下子占满24核触发内存超限
    os.environ["TOKENIZERS_PARALLELISM"] = "false"
    # 先屏蔽GPU做导入测试,等导入流程完全跑通后再放开GPU配置加载模型
    os.environ["CUDA_VISIBLE_DEVICES"] = ""
    
  • 长期优化的备选方案:
    你用的NV24节点配置(4块M60、224G内存)本身性能完全够跑XLM-R句向量推理,只是ubuntu16.04的代理镜像太旧拖了兼容后腿,后续把代理规格换成ubuntu20.04及以上版本,把torch升级到和节点GPU驱动匹配的稳定版,就不用锁这么老的依赖版本了。

内容的提问来源于stack exchange,提问作者user_5

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.14 23:45:05