Python多线程调用外部C++程序CPU利用率不足问题排查

核心问题拆解 #

你遇到的矛盾点在于：C++后端程序通过GUI运行时能占满128线程，但Python单脚本调用时无论用线程池还是进程+线程组合，都只能利用约一半CPU，仅当运行两个独立脚本时才能占满资源。结合GIL特性和你的场景，核心原因并非GIL限制（调用外部进程/释放GIL的C库时，GIL会自动释放），而是以下几个可能性：

可能原因 #

1. Python线程池的任务调度或结果获取逻辑瓶颈 #

你的代码中，提交所有异步任务后，通过job.get()逐个阻塞获取结果。虽然apply_async是异步提交，但如果任务执行时间存在差异，或者线程池的内部调度机制导致部分任务无法及时启动，会降低整体并行度。此外，ThreadPool的线程数设置如果超过系统能同时调度的外部进程数，也会导致部分任务等待。

2. 外部程序的进程组资源限制 #

部分系统（如Linux的cgroup、Windows进程组配额）会对单个父进程下的所有子进程设置CPU使用上限。单Python脚本作为父进程，所有启动的外部程序实例属于同一进程组，可能被限制了总CPU使用率；而两个独立脚本属于不同进程组，配额叠加后即可占满CPU。

3. 外部程序的内部资源竞争（若调用C库而非独立进程） #

如果你的partial函数是通过ctypes/cffi直接调用C++动态库，而非启动独立进程：

• 若C代码未正确释放GIL（未使用Py_BEGIN_ALLOW_THREADS宏），即使C本身支持多线程，Python线程也会被GIL限制串行执行；
• 若C++库存在全局锁（如许可证、共享内存锁），同一Python进程下的多线程调用会触发锁竞争，导致并行度下降。

4. 外部程序的启动开销或单实例限制 #

如果外部程序启动时需要加载大量资源，或者存在同一用户下的实例数限制，单脚本启动过多实例会导致部分实例处于等待状态，无法充分利用CPU。

解决办法 #

1. 替换线程池为进程池 #

使用multiprocessing.Pool替代ThreadPool，让每个Python进程独立启动外部程序，规避进程组限制或内部资源竞争：

def handle_multiprocessing_pool(num_processes: int, partial: Callable, variable: list) -> list:
    progress_bar = TqdmBar(len(variable))
    with multiprocessing.Pool(num_processes) as pool:
        processing_results = []
        # 用imap_unordered实时获取结果并更新进度
        for result in pool.imap_unordered(partial, variable):
            processing_results.append(result)
            progress_bar.update_progress_bar()
    return processing_results

建议设置num_processes=60或120，测试CPU利用率变化。

2. 调整线程池的任务处理逻辑 #

修改代码避免逐个job.get()的阻塞，改用批量异步获取结果的方式：

def handle_multiprocessing_pool(num_threads: int, partial: Callable, variable: list) -> list:
    progress_bar = TqdmBar(len(variable))
    with multiprocessing.pool.ThreadPool(num_threads) as pool:
        # 用map_async批量提交，回调更新进度
        result_obj = pool.map_async(partial, variable)
        # 实时轮询进度（替代单个回调）
        while not result_obj.ready():
            completed = len(variable) - result_obj._number_left
            if completed > progress_bar.n:
                progress_bar.update(completed - progress_bar.n)
            time.sleep(0.1)
        processing_results = result_obj.get()
        progress_bar.update(len(variable) - progress_bar.n)
    return processing_results

3. 切换外部程序调用方式 #

如果当前是调用C++库API：

• 确认C++代码在执行CPU密集任务时释放GIL（添加Py_BEGIN_ALLOW_THREADS和Py_END_ALLOW_THREADS宏）；
• 改为通过subprocess启动独立的外部程序进程，让每个任务完全脱离Python的线程限制，独立占用CPU资源。

4. 检查系统资源限制 #

• Linux：用htop查看外部进程的CPU亲和性，确认是否被绑定到特定核心；用cgroup-tools检查进程组的CPU配额限制；
• Windows：在任务管理器中查看进程的CPU使用详情，确认是否有进程被设置了CPU亲和性。

5. 拆分任务为多脚本运行 #

如果上述方法无效，可将任务列表拆分为多个子列表，启动多个独立Python脚本分别处理，模拟你之前的有效场景（如120个任务拆为两个60任务的列表，各启动一个脚本）。

内容的提问来源于stack exchange，提问作者Peppimeister