Python subprocess.Popen操控象棋引擎IO多实例运行死锁问题求助

核心问题分析 #

你的推测准确，多实例长时间运行后出现死锁，根源是子进程的stdout缓冲区被占满，导致子进程无法继续输出，进而阻塞整个交互流程。尽管你设置了行缓冲（bufsize=1），但线程读取逻辑存在疏漏，且未正确处理子进程终止后的线程退出，最终引发死锁。

具体解决办法 #

1. 修复代码明显错误 #

原代码中self.folder未定义，会直接导致启动失败，需补上默认值（比如当前工作目录）。

2. 优化stdout读取逻辑 #

当子进程终止后，stdout.readline()会返回空字符串，此时应终止读取线程，避免无意义的循环占用资源。同时改用select模块实现非阻塞读取，确保及时清空缓冲区，防止溢出。

3. 统一线程退出机制 #

添加全局状态标记，子进程终止后快速停止所有线程，避免资源泄漏。

修改后的完整代码 #

import sys
import time
import subprocess
import threading
import select
import os


class ChessEngine:

    def __init__(self):
        self.lock = threading.Lock()
        self.running = True  # 标记引擎运行状态

    def write(self, command):
        if not self.running:
            return
        with self.lock:
            try:
                self.engine.stdin.write(command + "\n")
                self.engine.stdin.flush()
            except (BrokenPipeError, ValueError):
                # 子进程已终止，停止写入
                self.running = False

    def read_stdout(self):
        while self.running:
            # 用select监听stdout，超时1秒避免永久阻塞
            ready, _, _ = select.select([self.engine.stdout], [], [], 1)
            if ready:
                text = self.engine.stdout.readline()
                if not text:  # 子进程stdout关闭，终止循环
                    self.running = False
                    break
                text = text.replace("foo", "bar")
                print(text, end="", flush=True)
        self.engine.stdout.close()

    def read_stdin(self):
        while self.running:
            try:
                # 用select监听标准输入，超时1秒避免永久阻塞
                ready, _, _ = select.select([sys.stdin], [], [], 1)
                if ready:
                    command = input()
                    command = command.replace("foo", "bar")
                    self.write(command)
            except EOFError:
                # 输入流关闭，终止循环
                self.running = False
                break

    def run(self):
        self.folder = os.getcwd()  # 补充分录默认值
        self.engine = subprocess.Popen(
            "/usr/games/stockfish",
            shell=False,  # 禁用shell解析，提升安全性和性能
            text=True,  # Python3.7+替代universal_newlines=True，语义更清晰
            stdin=subprocess.PIPE,
            stdout=subprocess.PIPE,
            stderr=subprocess.DEVNULL,
            bufsize=1,
            cwd=self.folder,
        )
        threading.Thread(target=self.read_stdout, daemon=True).start()
        threading.Thread(target=self.read_stdin, daemon=True).start()
        
        while self.running:
            time.sleep(1)
            if self.engine.poll() is not None:
                self.running = False
                sys.exit(0)


if __name__ == "__main__":
    chess_engine = ChessEngine()
    chess_engine.run()

关键修改说明 #

• 添加self.running状态标记：统一控制所有线程的运行，子进程终止后快速停止线程，避免资源浪费。
• select实现非阻塞读取：避免线程长时间阻塞在readline()或input()上，确保缓冲区及时清空，同时允许线程定期检查运行状态。
• 修复shell=True的安全风险：直接传入可执行路径，无需shell解析，更安全且性能更优。
• 异常处理写入操作：子进程终止后写入会抛出BrokenPipeError，捕获后标记运行状态为False，停止写入。
• 替换universal_newlines=True：用Python3.7+推荐的text=True写法，功能一致但语义更清晰。

额外优化建议 #

• 如果后续需要处理stderr，可单独开线程读取，避免stderr缓冲区满导致子进程阻塞。
• 可引入queue模块解耦输入输出处理，线程间通过队列传递数据，进一步提升稳定性。

内容的提问来源于stack exchange，提问作者DeepKling