使用loop.run_in_executor从异步函数调用同步函数的正确性验证

我有3个函数：func_1、func_2和func_3，希望异步运行它们，无需等待func_1完成再启动func_2。但func_1内部调用的都是不可等待的同步函数，会阻塞func_2和func_3的执行。

我了解到loop.run_in_executor可用于从异步函数调用同步函数而不阻塞执行，因此修改了func_1的定义如下：

修改前代码：

async def func_1(a, b):
    x = some_sync_func(a)
    y = some_other_sync_func(b)
    z = another_sync_func(x, y)
    return yet_another_sync_func(z)

修改后代码：

async def func_1(a, b):
    loop = asyncio.get_event_loop()
    x = await loop.run_in_executor(None, some_sync_func, a)
    y = await loop.run_in_executor(None, some_other_sync_func, b)
    z = await loop.run_in_executor(None, lambda: another_sync_func(a,b))
    w = await loop.run_in_executor(None, yet_another_sync_func, z)
    return w

想确认这种处理方式是否正确，是否正确使用了loop.run_in_executor？我对线程、进程池概念不了解，难以理解官方文档。

你的处理方向是正确的，但代码里存在一处逻辑错误，同时还有可优化的地方：

1. 立即修正的逻辑错误 #

在计算z的代码行中，你传入的是原始参数a和b，但按照原逻辑，这里应该使用之前计算得到的x和y，否则会导致业务逻辑出错。正确写法应为：

z = await loop.run_in_executor(None, lambda: another_sync_func(x, y))

2. run_in_executor的使用是否正确？ #

整体用法是对的。原因如下：

• 异步IO的事件循环本身是单线程运行的，如果在异步函数里直接调用同步阻塞函数，会占满这个线程，导致func_2、func_3这些其他异步任务完全无法推进。
• loop.run_in_executor(None, ...)会把同步函数提交到默认线程池执行：事件循环会暂时放下当前任务，去处理func_2、func_3，等线程池里的同步函数执行完毕，再把结果拿回到func_1中继续执行。这样就避免了同步代码阻塞整个事件循环。

3. 可优化的点：并行执行无依赖的同步函数 #

你当前的代码中，x和y是依次等待执行的——先等some_sync_func跑完，再启动some_other_sync_func。但这两个函数没有依赖关系，可以让它们在线程池里并行执行，提升效率。可以用asyncio.gather实现：

async def func_1(a, b):
    loop = asyncio.get_event_loop()
    # 并行执行两个无依赖的同步函数
    x, y = await asyncio.gather(
        loop.run_in_executor(None, some_sync_func, a),
        loop.run_in_executor(None, some_other_sync_func, b)
    )
    z = await loop.run_in_executor(None, lambda: another_sync_func(x, y))
    w = await loop.run_in_executor(None, yet_another_sync_func, z)
    return w

简单理解线程池 #

不用纠结复杂概念：线程池就是预先准备好几个“备用工作线程”，专门用来跑那些会卡住的同步代码。异步事件循环只负责“调度”，不用被同步代码占着，这样多个异步任务就能同时向前推进了。

内容的提问来源于stack exchange，提问作者Datajack