如何在for循环中使用subprocess.Popen？仅首个命令执行问题排查

这个问题根本不是Python的bug，而是你忽略了文件对象的读取位置特性，还有一个潜在的环境变量引用问题，咱们一步步来拆解：

核心原因：文件指针已到末尾 #

你在循环外打开了input_file，第一个subprocess.Popen进程会把这个文件里的内容全部读取完毕，此时文件的读取指针已经移动到了文件末尾（EOF）。后面几次循环里，你把同一个文件对象传给新的进程，进程尝试从当前指针位置读取，自然读不到任何内容——你的基准测试命令可能因为没有输入直接退出，所以就没有输出了。

另外，还有个隐藏坑：new_env = default_env是直接赋值字典引用，修改new_env会同时改变原default_env的值，导致后续循环的环境变量不是你预期的初始状态。

修复方案 #

有两种简单的修复方式，选哪个看你的需求：

方案1：每次循环重新打开文件 #

这种方式最直观，每次循环都从文件开头读取内容，避免指针位置的问题：

from pathlib import Path
import subprocess
import os

# 基于系统环境变量初始化默认环境，可根据实际情况调整
default_env = dict(os.environ)
results = []
threads = [1,2,4,8,16,32,56]

for thread in threads:
    # 复制环境变量，避免修改原default_env
    new_env = default_env.copy()
    new_env["OMP_NUM_THREADS"] = str(thread)
    print("Starting run for {} threads".format(thread))
    
    # 每次循环重新打开文件，确保从开头读取
    with Path("input.json").open() as input_file:
        process = subprocess.Popen(
            benchmark_command, env=new_env, stdin=input_file, stdout=subprocess.PIPE)
        lines = []
        for line in process.stdout:
            decoded_line = line.decode()
            print(decoded_line, end='')
            lines.append(decoded_line)
        # 等待进程完全结束，避免僵尸进程
        process.wait()
        results.append(Result(lines, thread))
    
    print("Completed run for {} threads".format(thread))

方案2：重置文件指针到开头 #

如果不想每次重新打开文件，可以在每次循环前把文件指针重置到文件开头，这种方式稍高效一点：

from pathlib import Path
import subprocess
import os

default_env = dict(os.environ)
results = []
threads = [1,2,4,8,16,32,56]

# 循环外打开文件，用with语法自动管理关闭
with Path("input.json").open() as input_file:
    for thread in threads:
        new_env = default_env.copy()
        new_env["OMP_NUM_THREADS"] = str(thread)
        print("Starting run for {} threads".format(thread))
        
        # 重置文件指针到文件开头
        input_file.seek(0)
        process = subprocess.Popen(
            benchmark_command, env=new_env, stdin=input_file, stdout=subprocess.PIPE)
        lines = []
        for line in process.stdout:
            decoded_line = line.decode()
            print(decoded_line, end='')
            lines.append(decoded_line)
        process.wait()
        results.append(Result(lines, thread))
        
        print("Completed run for {} threads".format(thread))

额外提示 #

• 加上process.wait()确保进程完全结束后再继续循环，避免出现僵尸进程或者未处理的子进程状态。
• 不管是文本模式还是二进制模式打开文件，seek(0)都能正确重置指针到开头。

这样修改后，每次循环的基准测试命令都会读到完整的input.json内容，自然会输出你预期的结果啦！

内容的提问来源于stack exchange，提问作者Luke Ireland