如何在Python中最快地多次执行输入可变的外部可执行文件？

嘿，我来帮你搞定这个问题！你现在用的每次重启进程+communicate()的方式，在要调用数十万次的场景下绝对是性能瓶颈——毕竟启动一个进程本身就有不小的系统开销，包括操作系统创建进程上下文、加载可执行文件到内存这些步骤，几十万次累加起来慢得离谱。

核心优化思路：只启动一次进程，持续发送输入 #

最快的方式就是让外部可执行文件一直运行，然后我们循环向它的标准输入发送不同的内容，完全避免重复创建进程的开销。这要求你的可执行文件支持持续接收输入并处理（比如像交互式命令行工具那样，处理完一个输入后不退出，等待下一个）——如果你的可执行文件是处理一个输入就退出的类型，那没办法只能每次重启，但这种情况其实很少见，先确认下你的程序是否支持持续交互。

具体实现代码 #

import subprocess

# 第一步：只启动一次外部进程，保持管道打开
exec_file = "your_target_executable"  # 替换成你的可执行文件路径
process = subprocess.Popen(
    [exec_file],
    stdin=subprocess.PIPE,
    stdout=subprocess.DEVNULL,  # 完全不需要输出的话，用DEVNULL跳过IO
    stderr=subprocess.DEVNULL,  # 忽略错误输出，按需调整
    bufsize=0  # 无缓冲，实时发送输入，可选
)

# 第二步：循环发送数十万次不同输入
try:
    for input_idx in range(100000):  # 替换成你的实际循环次数
        # 生成每次的唯一输入
        unique_input = f"your_custom_input_{input_idx}"  # 替换成你的动态输入逻辑
        # 编码并写入输入，注意加换行符（如果你的可执行文件需要换行触发处理）
        process.stdin.write(unique_input.encode("utf-8") + b"\n")
        process.stdin.flush()  # 强制清空缓冲区，确保输入被立即发送
except BrokenPipeError:
    # 处理进程意外崩溃的情况
    print(f"外部进程在第 {input_idx} 次输入时意外退出")
finally:
    # 所有输入完成后，关闭输入管道并等待进程结束
    process.stdin.close()
    process.wait()

关键注意事项 #

• 确认可执行文件的交互模式：如果你的程序处理一个输入就自动退出，那这个方法不适用，你可能需要考虑把多个输入打包成批量文件传给程序，或者修改程序支持持续输入。
• 缓冲区处理：如果不调用flush()，Python可能会攒一批数据再发送，导致可执行文件迟迟收不到输入。如果设置bufsize=0（无缓冲），可以不用每次flush，但小输入场景下影响不大。
• 错误处理：一定要捕获BrokenPipeError，避免进程崩溃导致你的Python程序直接报错退出。
• 输出处理：如果完全不需要输出，用subprocess.DEVNULL代替PIPE，能减少不必要的IO开销，进一步提升速度。

对比你原来的方法，这个方案把进程启动的开销从数十万次降到了1次，性能提升会非常明显——尤其是在调用次数越多的场景下，优势越大。

内容的提问来源于stack exchange，提问作者Natesh bhat