使用Multiprocessing Pool结合PyTorch时文件描述符过多问题

你遇到的BrokenPipeError和“文件打开过多”错误，核心原因大概率是文件描述符泄漏——虽然你只开了2个进程，但每个play_game或save_game任务中打开的文件没有正确关闭，累计到100次左右就耗尽了系统允许的文件句柄数量；另外一次性提交200个任务的方式，也可能导致待处理任务的资源无法及时回收。

1. 彻底检查文件操作，杜绝描述符泄漏 #

先排查play_game和replay_buffer.save_game中的文件处理逻辑，确保所有文件都用with上下文管理器自动关闭，避免手动关闭遗漏：

# 错误示例：打开文件后未关闭
f = open("game_data.txt", "w")
f.write(data)
# 忘记调用f.close()

# 正确写法：用with自动管理文件生命周期
with open("game_data.txt", "w") as f:
    f.write(data)

如果涉及数据库、网络连接等其他资源，也要确保每次使用后显式关闭或用上下文管理器托管。

2. 分批提交任务，避免资源堆积 #

一次性提交200个任务会让Pool的任务队列积压大量待处理请求，哪怕只有2个进程在运行，未执行的任务也可能占用隐性资源。改成分批提交+处理的方式，让资源及时回收：

batch_size = 20
total_tasks = 200

with get_context("spawn").Pool(processes=2) as self_play_pool:
    for i in range(0, total_tasks, batch_size):
        # 提交当前批次的任务
        batch_results = [
            self_play_pool.apply_async(self.play_game, (False,)) 
            for _ in range(min(batch_size, total_tasks - i))
        ]
        # 处理当前批次结果后，再提交下一批
        for res in batch_results:
            replay_buffer.save_game(res.get())

3. 规范Pool的使用流程 #

不要直接用terminate()强制终止Pool，这会导致子进程资源未正常释放。应该用close()+join()等待所有任务完成，配合上下文管理器确保进程资源被正确回收：

with get_context("spawn").Pool(processes=2) as self_play_pool:
    results = [self_play_pool.apply_async(self.play_game, (False,)) for _ in range(200)]
    self_play_pool.close()  # 禁止再提交新任务
    self_play_pool.join()   # 等待所有子进程执行完毕
    # 统一处理所有任务结果
    for res in results:
        replay_buffer.save_game(res.get())

4. 验证replay_buffer的线程/进程安全性 #

如果replay_buffer是多任务共享对象，要确认save_game方法是否存在线程安全问题——比如多个进程同时写入同一个文件，可能导致文件句柄异常。这种情况可以给save_game加锁：

from multiprocessing import Lock

# 初始化时创建锁
self.save_lock = Lock()

# 在save_game方法中加锁保护写入操作
def save_game(self, data):
    with self.save_lock:
        with open("replay_buffer.txt", "a") as f:
            f.write(data)

5. 临时调高文件描述符限制（治标方案） #

如果以上方法都无法快速定位问题，可以临时调高系统的文件描述符限制（仅适用于Linux/macOS）：

# 临时生效，重启终端后失效
ulimit -n 4096

注意这只是临时缓解手段，核心还是要找到并修复资源泄漏的根源。

内容的提问来源于stack exchange，提问作者Guilherme Palma