为何spaCy在不同conda环境中运行速度相差10倍？

问题背景 #

使用JupyterLab（或转为.py脚本在控制台运行）基于spaCy处理大量文本文档时，发现两个conda虚拟环境的运行速度相差约10倍，但以下核心依赖版本完全一致：

numpy                   1.23.4          py39h14f4228_0
spacy                   3.3.1           py39h79cecc1_0

Python版本均为3.9.15。

排查步骤 #

1. 对比两个环境的完整依赖包列表 #

spaCy的底层性能依赖多个编译型库，版本或构建方式差异会直接影响速度：

• 在两个环境中分别执行conda list > env1.txt和conda list > env2.txt，导出完整包列表。
• 重点对比以下spaCy核心依赖的版本和build号：cymem、preshed、thinc、blis、wasabi、srsly。
• 注意build标记（如_mkl、_openblas），纯Python版本的依赖比编译后的二进制版本速度慢很多。

2. 检查numpy的线性代数库实现 #

numpy依赖的BLAS/LAPACK后端是性能差异的关键因素：

• 在两个环境中运行以下代码：

  import numpy
  print(numpy.__config__.show())
  

• 若一个环境使用Intel MKL（带mkl_rt相关输出），另一个使用OpenBLAS或系统默认库，会出现数倍到10倍的速度差。

3. 验证spaCy模型与运行时配置 #

• 确认两个环境加载的是完全相同版本的spaCy模型（比如en_core_web_sm的版本号需一致），模型版本差异会影响预处理效率。
• 检查spaCy的运行时设置是否一致：

  import spacy
  nlp = spacy.load("你的模型名称")
  # 查看元信息
  print(nlp.meta)
  # 确认是否强制使用CPU（若有GPU资源，是否未启用）
  print(spacy.require_cpu())
  # 确认nlp.pipe()的参数（batch_size、n_process等）是否一致
  

4. 检查系统资源与环境变量 #

• 确认两个环境运行时的CPU核心分配、内存限制是否相同：比如是否某个环境被设置了低优先级（nice值不同），或系统层面的cgroup限制了CPU使用率。
• 检查多线程相关环境变量：OMP_NUM_THREADS、MKL_NUM_THREADS、OPENBLAS_NUM_THREADS，这些变量控制numpy和spaCy的多线程利用，设置不同会导致性能差异。

5. 运行最小复现测试 #

编写极简测试脚本，排除业务代码干扰，直接对比spaCy的核心性能：

import spacy
import time

# 加载模型
nlp = spacy.load("en_core_web_sm")
# 生成测试文本
test_texts = ["Sample text for spaCy processing."] * 10000

# 计时处理
start = time.perf_counter()
docs = list(nlp.pipe(test_texts, batch_size=1000))
end = time.perf_counter()

print(f"Total processing time: {end - start:.2f}s")

如果这个测试在两个环境中仍然有10倍速度差，即可锁定是spaCy或其依赖的底层问题，而非业务代码逻辑。

内容的提问来源于stack exchange，提问作者Christian