Python async子进程执行顺序错乱，如何确保子进程完成后再读取生成文件

问题根因 #

你遇到的执行顺序错乱本质是没有正确等待异步子进程执行完成，核心问题点如下：

• 函数调用笔误：你在job函数中await的目标是run_shell_process，但实际定义的子进程执行函数名为run_command_shell。如果实际代码确实存在该笔误，相当于没有触发正确的子进程等待逻辑，会直接执行后续读文件代码。
• 子进程参数错误：你创建子进程时传入的stderr=asyncio.subprocess.STDPIPE是无效参数，标准库仅提供PIPE/STDOUT/DEVNULL三个常量，参数错误会导致子进程创建失败抛出异常，如果你上层没有捕获异常，会直接跳过等待逻辑继续执行。
• 缺少子进程状态校验：即便子进程创建成功，也可能因为命令执行报错异常退出，此时不会生成目标文件，你没有校验子进程的退出状态，无法感知执行失败的情况。

CPU密集型命令不会导致async调度顺序错乱，await process.communicate()的逻辑本身就会等待子进程完全退出后才会继续执行后续代码，不存在线程重调度打乱顺序的问题。

解决方案 #

1. 修正基础错误 #

对齐函数调用名称、修正子进程创建参数，同时增加子进程退出状态校验：

import asyncio
import aiofiles # 用于异步读文件，避免阻塞事件循环

async def job():
    cmd = "my time consuming command"
    # 修正函数调用名
    try:
        await run_command_shell(cmd)
    except Exception as e:
        print(f"命令执行失败: {e}")
        return
    
    # 可选兜底：如果命令存在fork子进程后台写文件的情况，增加文件存在性轮询
    # import os
    # import time
    # timeout = 30 # 超时30秒
    # start = time.time()
    # while not os.path.exists(my_file):
    #     if time.time() - start > timeout:
    #         raise TimeoutError("等待文件生成超时")
    #     await asyncio.sleep(0.5)
    
    # 改用异步读文件，避免阻塞事件循环
    async with aiofiles.open(my_file, 'r') as file:
        content = await file.read()

async def run_command_shell(command):
    # 修正stderr参数为合法的PIPE
    process = await asyncio.create_subprocess_shell(
        command, 
        stdout=asyncio.subprocess.PIPE,
        stderr=asyncio.subprocess.PIPE
    )

    stdout, stderr = await process.communicate()

    # 增加退出码校验，执行失败直接抛出异常
    if process.returncode != 0:
        raise RuntimeError(f"命令执行出错，退出码{process.returncode}，错误信息: {stderr.decode().strip()}")

    return stdout.decode().strip()

2. 规避多进程回调的错误 #

你之前尝试多进程回调报错是因为asyncio的事件循环是线程/进程绑定的，在新的子进程中无法直接使用主进程的事件循环对象，不需要额外用多进程做回调，正确await子进程即可保证执行顺序。

3. 兜底兼容逻辑 #

如果你执行的命令本身会fork后台子进程写文件，主进程退出时文件还没写完，可以加上述代码中注释的轮询逻辑，等待文件生成后再读取。

内容的提问来源于stack exchange，提问作者Stale Noobs