如何将基于subprocess逐字符输出的Python函数转换为async异步函数
自定义代码的核心报错原因
- 变量引用错误:创建子进程时赋值的对象名是
proc,但内层循环里错误写了p.stdout.read(1),运行时会直接抛出NameError: name 'p' is not defined - 读写逻辑混用:把同步subprocess的逐字符读逻辑嵌套在异步读循环里,asyncio的标准流管道本身就支持异步读取指定长度的字节,根本不需要二次嵌套循环;而且内层循环用的是同步读方法,会直接阻塞事件循环,和异步设计的目标相悖
- 判断逻辑冗余:第一次
await proc.stdout.read(1)拿到返回值后,直接判断是否为空即可,不需要再进入内层循环判断output != b''——单次读1字节的返回值只可能是1字节内容,或者代表流结束的空值,两层循环的判断完全重复
修正后的可运行异步实现
完全对齐原同步函数的逐字符打印行为,全部使用asyncio原生异步操作,不阻塞事件循环:
import asyncio from sse_starlette.sse import EventSourceResponse async def run_command(): command = "echo test1 && sleep 2 && echo test2 && sleep 2 && echo test3 && echo done" proc = await asyncio.create_subprocess_shell( command, stdout=asyncio.subprocess.PIPE, stderr=asyncio.subprocess.PIPE, bufsize=0 # 配置无缓冲,保证逐字符实时返回,和原同步逐字符打印效果一致 ) while True: # 每次异步读取1个字节,读操作时将控制权交回事件循环,无阻塞 char = await proc.stdout.read(1) # 读到管道末尾、无数据可读时退出循环 if not char: # 等待子进程完全退出,回收资源,避免产生僵尸进程 await proc.wait() break decoded_char = char.decode('UTF-8', 'ignore') print(decoded_char, end='', flush=True) # 逐字符yield给下游的SSE响应,和参考示例的生成器逻辑匹配 yield decoded_char async def predict(): return EventSourceResponse(run_command())
关键实现注意点
- 不要在异步函数里直接调用同步的
subprocess.Popen做管道读操作:同步读会直接卡住整个事件循环,导致同服务下的其他异步请求完全无法响应。必须使用asyncio原生的子进程创建方法,管道读写全部基于事件循环实现 - 逐字符输出的缓存配置:如果不把
bufsize设为0,系统默认的全缓冲模式会攒够固定大小的输出块才返回数据,没法实现逐字符实时打印、推送的效果 - 子进程生命周期管理:命令执行完成后必须显式
await proc.wait(),否则系统会残留未回收的子进程,长期运行会造成资源泄漏
内容的提问来源于stack exchange,提问作者Medita Inc.
相关产品推荐
相关产品推荐

