asyncio任务需全程异步吗？外部库并行化遇阻求助

你的代码里的直接错误 #

• process_job中调用asyncio.gather(*coros)但没有加await，这会导致协程根本不会被执行——gather返回的是一个Future对象，必须通过await触发它执行并等待所有协程完成。

为什么animate会阻塞事件循环 #

你把animate声明为async，但里面的核心逻辑是完全同步的：animator.render()是同步迭代器，整个for循环会一直占用事件循环线程，没有任何await点让asyncio切换到其他任务。asyncio是单线程并发模型，只有当任务遇到await（等待异步操作）时，事件循环才会去调度其他任务。所以你的animate本质上还是同步阻塞的，多个这样的任务根本没法实现并发。

asyncio任务是否必须全程异步？ #

准确来说：asyncio的并发依赖任务主动让出CPU（通过await异步操作）。如果一个async函数里全是同步代码、没有任何await，它会一直霸占事件循环，其他任务完全没机会运行，和串行执行没有区别。

解决方案：用线程池包装同步任务 #

因为你的外部库是同步阻塞的，没法直接适配asyncio的异步模型，正确的做法是把同步的渲染任务放到线程池里执行，让asyncio事件循环可以在等待线程结果时处理其他任务。

修改后的代码示例 #

1. 先剥离出同步的渲染逻辑

def animate_sync(options):
    for frame in tqdm(animator.render(), initial=animator.start_frame_idx, total=args.max_frames):
        pass

2. 用线程池包装成异步调用

import asyncio
from concurrent.futures import ThreadPoolExecutor

# 全局线程池，可根据机器性能调整worker数量
executor = ThreadPoolExecutor(max_workers=4)

async def animate(options):
    loop = asyncio.get_running_loop()
    # 把同步任务丢到线程池执行，不阻塞事件循环
    await loop.run_in_executor(executor, animate_sync, options)

async def process_job(job):
    batch = generate_batch(job)
    coros = [animate(item) for idx, item in enumerate(batch)]
    # 必须await gather，触发协程执行并等待结果
    await asyncio.gather(*coros)

async def main():
    for i in range(0, MAX_JOBS):
        clogger.info('job index', i)
        job = get_next()
        await process_job(job)

asyncio.run(main())

补充说明 #

• 如果你的渲染任务是CPU密集型，线程池的并行提升会受Python GIL限制，这种情况可以改用ProcessPoolExecutor（进程池），但进程间数据传递会有额外开销，需要注意参数的可序列化性。

内容的提问来源于stack exchange，提问作者dcsan