Python concurrent.futures仅占1核CPU：象棋引擎多核心并行故障排查

问题根源 #

Python的**全局解释器锁（GIL）**是导致线程池无法利用多核心的核心原因。GIL会限制同一时间只有一个线程执行Python字节码，对于engine这类CPU密集型计算任务，ThreadPoolExecutor本质上只是在单核心上做线程切换，无法真正实现多核心并行，因此CPU使用率仅停留在单核水平。

解决方案：改用进程池 #

使用concurrent.futures.ProcessPoolExecutor替代ThreadPoolExecutor，每个子进程拥有独立的Python解释器和GIL，能真正在多个CPU核心上并行执行计算任务。

修改后的代码示例 #

from concurrent.futures import ProcessPoolExecutor, as_completed

def engine(chessPiece, chessBoard):
    # 原计算逻辑：生成所有可能走法、计算分值
    moves = []
    scores = []
    # ... 此处保留你的局面计算代码 ...
    # 改为返回计算结果，而非直接写入共享数组
    return moves, scores

if __name__ == "__main__":
    # allChessPieces：当前局面下AI可移动的棋子数组
    # chessBoard：当前棋盘状态对象（需支持pickle序列化）
    all_evaluations = []
    
    with ProcessPoolExecutor() as executor:
        # 批量提交任务
        task_futures = [
            executor.submit(engine, piece, chessBoard)
            for piece in allChessPieces
        ]
        
        # 逐个收集完成任务的结果
        for future in as_completed(task_futures):
            piece_moves, piece_scores = future.result()
            # 将结果合并到主进程的列表中
            all_evaluations.extend(zip(piece_moves, piece_scores))

关键注意事项 #

• 序列化要求：传递给子进程的chessPiece和chessBoard必须支持Python的pickle序列化，否则进程间无法传递数据。如果自定义了棋盘或棋子类，需确保其符合pickle协议。
• 主入口保护：Windows系统下必须将多进程相关代码放在if __name__ == "__main__":块内，避免子进程启动时重复执行主逻辑导致无限递归创建进程。
• 共享状态优化：原代码中直接写入共享数组的方式在进程池中会出现数据不同步问题，改为让子进程返回结果、主进程统一收集的方式更可靠。如果棋盘数据量极大，可使用multiprocessing.Manager或共享内存对象减少数据复制开销。
• 任务粒度：进程创建和销毁有额外开销，确保拆分的任务数量足够多（至少多于CPU核心数），才能体现并行计算的优势。

内容的提问来源于stack exchange，提问作者Kruutteri