Python调用C++代码多进程无加速问题排查求助

问题背景 #

我有一段Python代码，依赖执行大规模树搜索的C++代码。循环运行该树搜索n次时每次迭代耗时数秒，尝试用Python多进程提速，实现代码如下：

with Pool() as pool:
    probs = pool.starmap(self._probs_multi, zip(self.features, self.scales, repeat(labels), repeat(nr_classes)))

运行时n个核心（n小于总核心数）均达100%负载，串行时仅单核心满载，但总耗时却与串行一致！

C++库加载方式 #

当前C++库加载代码如下：

import ctypes
import numpy.ctypeslib as ctl 
libfile = os.path.dirname(__file__) + '/km_dict_lib.so'
lib = ctypes.cdll.LoadLibrary(libfile)

py_km_tree_multi = lib.build_km_tree_multi
# 声明函数输入类型
py_km_tree_multi.argtypes = [ctl.ndpointer(ctypes.c_double, flags="C_CONTIGUOUS"),
                             ctypes.c_int, ctypes.c_int, ctypes.c_int, ctypes.c_int, 
                             ctypes.c_int, ctypes.c_int, ctypes.c_int, ctypes.c_int,
                             ctypes.c_bool,
                             ctl.ndpointer(ctypes.c_double, flags="C_CONTIGUOUS")]
py_km_tree_multi(image, rows, cols, channels, n_im, 
                 self.patch_size, self.number_layers, self.branching_factor, 
                 number_training_patches, self.normalization, self.tree)

我的猜测 #

• 任务为内存密集型而非CPU密集型，但核心满载现象与此矛盾；
• Python调用外部C++函数时多进程未真正生效。

排查思路 #

1. 验证多进程是否真的并行执行C++逻辑 #

• 在C函数build_km_tree_multi的开头和结尾添加日志输出（比如打印进程ID、当前时间戳），每个进程的日志要包含唯一标识（比如对应Python进程的PID），运行后查看日志是否有多个进程同时在执行C函数，还是存在等待队列。
• 用系统工具（如Linux的htop、Windows的任务管理器）观察每个进程的CPU占用时长，确认多个进程的C++逻辑是否同时运行，还是串行执行。

2. 检查C++库是否存在全局锁/资源竞争 #

• 排查C代码中是否有全局变量、静态变量被多个进程共享，或者存在未释放的全局锁（比如std::mutex全局实例）。如果C库内部有全局锁，即使Python开了多进程，也会导致C++逻辑串行执行，同时每个进程因等待锁空转，导致CPU满载。
• 检查C++库是否使用了单例模式或者共享资源（比如全局内存池、文件句柄），这些资源的竞争会导致进程互相阻塞。

3. 验证内存带宽是否成为瓶颈 #

虽然核心满载，但内存密集型任务可能因内存带宽耗尽，导致多进程无法提速：

• 用系统工具（如Linux的vmstat、iostat，Windows的资源监视器）观察内存读写速度、交换分区使用率。如果内存带宽接近硬件上限，多进程并行反而会因内存争抢导致总耗时不变。
• 尝试减少并行进程数（比如从n减到n/2），观察总耗时是否有变化。如果减少进程数后耗时降低，说明内存带宽是瓶颈。

4. 检查Python多进程的数据传递开销 #

• pool.starmap会将self.features、self.scales等数据传递给子进程，如果数据量极大，进程间的数据拷贝开销会抵消并行收益。可以尝试：
  • 用multiprocessing.Manager共享大数组，避免重复拷贝；
  • 将大数据提前存入磁盘，子进程自行读取，减少进程间传递。
• 给_probs_multi函数添加计时，统计每个子进程中纯C++函数执行时间和函数总耗时，如果总耗时远大于C++执行时间，说明数据传递或进程启动开销过大。

5. 验证C++库的进程兼容性 #

• 尝试在_probs_multi函数内部加载C++库（不要在主进程加载后让子进程继承），观察是否有变化。有些动态库在多进程继承加载时可能存在隐藏的资源冲突。
• 确认C++库是否依赖进程全局资源（比如共享内存、信号量），这类资源可能导致进程间阻塞。

内容的提问来源于stack exchange，提问作者Tue