asyncio下IO与计算密集型混合任务的阻塞问题及优化咨询

我需要执行涉及计算密集型的网络操作，例如发送大文件。连续发送多个大文件时会阻塞asyncio事件循环，我认为这是因为大文件传输虽属IO操作但仍存在较高计算负载。

示例代码 #

异步文件发送与简单任务 #

async def write_huge_file(really_large_file):
    async with httpx.AsyncClient() as client:
        await client.post(uri, data=really_large_file)

async def simple_task():
    return await asyncio.sleep(0)

执行逻辑 #

async def do_work():
    while True:
        await asyncio.gather(
            write_huge_file(really_large_file1),
            write_huge_file(really_large_file2),
            write_huge_file(really_large_file3),
            simple_task(),
            simple_task(),
        )
        await asyncio.sleep(4)

尝试的解决方案 #

大量简单任务存在的情况下，大文件传输仍会阻塞事件循环。我尝试使用run_in_executor结合concurrent.futures.ThreadPoolExecutor解决了阻塞问题，性能有所提升，示例代码如下：

def write_huge_file_sync(really_large_file):
    loop = asyncio.new_event_loop()
    response = loop.run_until_complete(
        write_huge_file(really_huge_file)
    )
    loop.close()
    return 

await loop.run_in_executor(pool, write_huge_file_sync, really_huge_file)

疑问 #

1. 为何ThreadPoolExecutor能避免计算操作阻塞事件循环？
2. 处理兼具IO密集型与计算密集型的任务，是否有惯用方法？

1. ThreadPoolExecutor避免阻塞事件循环的原因 #

asyncio的事件循环是单线程运行的，所有异步任务的回调、协程切换都在这一个线程里执行。如果某个协程包含持续的计算密集型操作（比如大文件传输时的内存拷贝、数据编码等），它会占用这个单线程的CPU时间，导致事件循环无法及时调度其他任务（包括你的simple_task），进而造成阻塞。

ThreadPoolExecutor将计算密集型任务放到独立的工作线程中执行，这些线程与asyncio事件循环所在的主线程相互分离。调用run_in_executor时，事件循环会把任务提交到线程池，随即挂起对应的协程，继续处理其他任务。等线程池中的任务执行完成后，事件循环才会恢复该协程的执行。这样一来，计算密集型操作就不会占用事件循环的单线程资源，自然也就避免了阻塞。

另外，你当前解决方案里在同步函数中新建事件循环的做法其实多余——直接把同步的文件发送逻辑放到线程池即可，没必要嵌套另一个asyncio循环，不过这并不影响线程池解决阻塞的核心逻辑。

2. 处理IO+计算混合任务的惯用方法 #

针对这类混合负载的任务，常用处理方式如下：

• 线程池隔离计算密集部分：像你现在的做法一样，把计算密集的操作（比如大文件预处理、编码）放到ThreadPoolExecutor中执行，异步代码仅负责IO调度。既保留asyncio的IO异步优势，又避免计算阻塞事件循环。
• 进程池处理高CPU负载任务：如果计算量极大（比如大文件加密、压缩），线程池受GIL（全局解释器锁）限制无法利用多核CPU，此时可以用ProcessPoolExecutor替代线程池。进程完全独立，能充分发挥多核性能，但进程间通信开销比线程大，适合计算负载极高的场景。
• 拆分任务流程：将混合任务拆分为纯IO和纯计算的子任务，IO部分用asyncio异步处理，计算部分交给线程池/进程池，通过await衔接两者，让任务逻辑更清晰。
• 使用异步文件操作库：如果大文件传输的计算负载来自磁盘读取（比如同步读文件+数据处理），可以用aiofiles这类异步文件库，将文件读取改为异步操作，减少同步操作的阻塞。

内容的提问来源于stack exchange，提问作者Rob