Python中并行运行带输入的可执行程序问题排查

解决方法 #

1. 补全输入结束信号并读取输出 #

多数交互式可执行程序需要输入以换行符结尾才会触发命令处理，同时如果不读取子进程的stdout/stderr，可能因缓冲区满导致子进程阻塞，进而无法接收输入。修改run_exe函数如下：

import subprocess
import threading

def run_exe(input_command):
    # 添加换行符模拟回车，确保程序识别输入结束
    input_data = f"{input_command}\n".encode('utf-8')
    p = subprocess.Popen(
        'example.exe',
        stdin=subprocess.PIPE,
        stdout=subprocess.PIPE,
        stderr=subprocess.PIPE
    )
    # 读取输出和错误信息，避免子进程因缓冲区阻塞
    stdout, stderr = p.communicate(input_data)
    # 可选：打印输出用于排查问题
    print(f"任务 {input_command} 标准输出: {stdout.decode('utf-8')}")
    if stderr:
        print(f"任务 {input_command} 错误输出: {stderr.decode('utf-8')}")

if __name__ == '__main__':
    t1 = threading.Thread(target=run_exe, args=('task_1',))
    t2 = threading.Thread(target=run_exe, args=('task_2',))
    t1.start()
    t2.start()
    t1.join()
    t2.join()

2. 改用多进程替代多线程 #

如果多线程环境下管道仍存在隐性同步问题，可以切换到multiprocessing模块，每个子进程独立运行，规避线程间的管道竞争：

import subprocess
import multiprocessing

def run_exe(input_command):
    input_data = f"{input_command}\n".encode('utf-8')
    p = subprocess.Popen(
        'example.exe',
        stdin=subprocess.PIPE,
        stdout=subprocess.PIPE,
        stderr=subprocess.PIPE
    )
    stdout, stderr = p.communicate(input_data)
    print(f"任务 {input_command} 标准输出: {stdout.decode('utf-8')}")
    if stderr:
        print(f"任务 {input_command} 错误输出: {stderr.decode('utf-8')}")

if __name__ == '__main__':
    p1 = multiprocessing.Process(target=run_exe, args=('task_1',))
    p2 = multiprocessing.Process(target=run_exe, args=('task_2',))
    p1.start()
    p2.start()
    p1.join()
    p2.join()

3. 检查可执行程序的输入要求 #

部分程序可能要求输入必须携带EOF信号，communicate方法在发送完数据后会自动关闭stdin，相当于发送EOF，若仍无效，可尝试将输入内容调整为程序预期的格式（比如特定的结束符）。

原因分析 #

串行模式下子进程的管道处理是顺序执行，缓冲区无竞争问题；多线程模式中，若缺少输入结束信号（如换行），或未读取输出导致子进程阻塞，就会出现程序持续等待输入的情况。部分Windows环境下，多线程中的子进程管道存在隐性同步问题，改用多进程可规避这类场景。

内容的提问来源于stack exchange，提问作者Judson Stephens