使用Pytest基准测试并行Cython代码触发致命Python错误求助

问题现象 #

运行Cython并行代码的测试用例时，触发致命Python错误导致程序终止。

测试代码 #

import array
def test_parallel_cython_clip(benchmark: Any) -> None:
    benchmark.pedantic(
        math_cython.parallel_cython_clip_vector,
        args=(array.array("f", [0.0]),-1.0,1.0,array.array("f", [0.0])),
        rounds=1,
        iterations=1
    )

执行命令 #

pytest --benchmark-columns=min,max,mean,stddev --benchmark-sort=mean benchmark.py -vv -k test_parallel_cython_clip

初始错误输出 #

benchmark.py::test_parallel_cython_clip Fatal Python error: Aborted

加载的扩展模块列表 #

Extension modules: mkl._mklinit, mkl._py_mkl_service, numpy.core._multiarray_umath, numpy.core._multiarray_tests, numpy.linalg._umath_linalg, numpy.fft._pocketfft_internal, numpy.random._common, numpy.random.bit_generator, numpy.random._bounded_integers, numpy.random._mt19937, numpy.random.mtrand, numpy.random._philox, numpy.random._pcg64, numpy.random._sfc64, numpy.random._generator, math_cython.cython_computations (total: 16)

math_cython包结构（conda环境可编辑安装） #

Python封装模块代码 #

def parallel_cython_clip_vector(
    vector_in: array.array,
    min_value: float,
    max_value: float,
    vector_out: array.array,
) -> None:
    _parallel_cython_clip_vector(vector_in, min_value, max_value, vector_out)

Cython核心实现代码（.pyx文件） #

@cython.boundscheck(False)  # 关闭边界检查（Python支持但C不支持）
@cython.wraparound(False)  # 关闭负索引（Python支持但C不支持）
def _parallel_cython_clip_vector(
    float[:] vector_in,
    float min_value,
    float max_value,
    float[:] vector_out,
):
    cdef signed int idx = 0
    # 此处核心逻辑已暂时注释

操作系统环境 #

macOS 14.3.1 
Darwin 23.3.0

已安装依赖库 #

• cython 3.0.6
• pytest 8.0.0
• pytest-benchmark 4.0.0
• python 3.11.7
• numpy 1.26.3

调试补充错误信息 #

OMP: Error #15: Initializing libomp.dylib, but found libiomp5.dylib already initialized.
OMP: Hint This means that multiple copies of the OpenMP runtime have been linked into the program. That is dangerous, since it can degrade performance or cause incorrect results. The best thing to do is to ensure that only a single OpenMP runtime is linked into the process, e.g. by avoiding static linking of the OpenMP runtime in any library. As an unsafe, unsupported, undocumented workaround you can set the environment variable KMP_DUPLICATE_LIB_OK=TRUE to allow the program to continue to execute, but that may cause crashes or silently produce incorrect results. For more information, please see http://openmp.llvm.org/
Fatal Python error: Aborted

解决方案 #

临时验证方案 #

执行测试前设置环境变量跳过冲突检查（官方标注为不安全临时方案，可能导致结果错误或崩溃）：

export KMP_DUPLICATE_LIB_OK=TRUE
pytest --benchmark-columns=min,max,mean,stddev --benchmark-sort=mean benchmark.py -vv -k test_parallel_cython_clip

彻底修复方案 #

1. 统一OpenMP运行时：
   检查conda环境中所有依赖库，确保使用相同的OpenMP运行时。例如MKL默认使用libiomp5，需调整Cython编译参数，强制链接libiomp5而非libomp。
2. 禁止静态链接OpenMP：
   在Cython扩展的setup.py中配置编译选项，确保所有依赖库使用动态链接的OpenMP运行时，避免静态嵌入多份运行时副本。
3. 重建纯净conda环境：
   创建新的conda环境，仅安装必要依赖，优先使用conda-forge等统一编译源的包，避免混合不同来源的OpenMP实现。

内容的提问来源于stack exchange，提问作者mgross