在工作进程执行外部命令捕获输出到文件遇代码挂起问题排查

咱们先拆解你的代码里导致挂起和错误的核心问题，再给出对应的修复方案：

你的代码里的关键错误 #

1. 跨进程传递文件句柄是无效操作 #

文件句柄（fh）是和主进程的文件描述符表绑定的，当你把它传给子进程时，子进程根本无法正确使用这个句柄——这会导致写入操作卡住，最终整个进程池挂起。这是导致你代码出问题的最主要原因。

2. 锁的使用逻辑不对 #

虽然多进程写同一个文件需要考虑并发安全，但你这里的锁因为文件句柄无效根本没发挥作用。另外要提一句：当用a模式打开文件时，操作系统会保证每次追加写入是原子性的（只要写入的内容不是特别大），这种场景下其实不需要额外加锁。

3. 参数传递的小bug #

你用executor.map传入mylist，每个子进程拿到的是列表里的单个元素（比如1、2这些），但你的worker_process_write_output函数里直接写fh.write(mylist)——这里mylist实际是单个整数，运行起来会触发类型错误（不能直接把整数写入文件）。

两种可行的修正方案 #

方案1：子进程独立打开文件追加写入（简单直接） #

让每个子进程自己打开文件（用a模式），利用操作系统的原子追加特性，不需要额外加锁：

from concurrent.futures import ProcessPoolExecutor
import subprocess

def worker_process_write_output(item):
    # 子进程自己负责打开/关闭文件，用追加模式
    cmd_output = subprocess.run("dir /b", shell=True, stdout=subprocess.PIPE, universal_newlines=True).stdout
    with open("outfile.txt", "a") as fh:
        # 先写入当前item的标识，再写入命令输出
        fh.write(f"处理项: {item}\n")
        fh.writelines(cmd_output)
        fh.write("\n--- 分割线 ---\n")  # 方便区分不同进程的输出

if __name__ == '__main__':
    mylist = [1, 2, 3, 4]
    with ProcessPoolExecutor() as executor:
        executor.map(worker_process_write_output, mylist)

方案2：主进程统一收集输出后写入（更高效，适合大量输出场景） #

子进程只负责执行命令并返回结果，主进程收集所有输出后一次性写入文件，完全避免多进程写入的并发问题：

from concurrent.futures import ProcessPoolExecutor
import subprocess

def worker_process_run_cmd(item):
    cmd_output = subprocess.run("dir /b", shell=True, stdout=subprocess.PIPE, universal_newlines=True).stdout
    # 返回带标识的输出内容
    return f"处理项: {item}\n{cmd_output}\n--- 分割线 ---\n"

if __name__ == '__main__':
    mylist = [1, 2, 3, 4]
    with ProcessPoolExecutor() as executor:
        # 收集所有子进程的返回结果
        all_results = list(executor.map(worker_process_run_cmd, mylist))
    
    # 主进程统一写入文件
    with open("outfile.txt", "a") as fh:
        fh.writelines(all_results)

额外说明 #

• 关于subprocess.run：完全可以正常使用，不需要换成os.popen——subprocess是Python官方推荐的调用外部命令的模块，功能更全面、更安全。
• 锁的使用场景：如果你的写入操作不是简单的追加（比如需要插入到文件中间，或者写入超大块内容），可以用multiprocessing.Manager().Lock()，但要确保锁被正确传递给子进程，并且子进程在写入前后正确获取/释放锁。

内容的提问来源于stack exchange，提问作者ontherocks