Python NumPy是否支持asyncio？同步代码转异步相关疑问

• 直接给np.array、np.datetime64、np.where加await肯定不行，会直接报错。因为这些都是普通的同步函数，不是可等待的协程/Task对象，Python会抛出TypeError: object X can't be used in 'await' expression。

• 要是想让这些CPU密集的NumPy操作不阻塞异步事件循环，得把它们放到线程池或者进程池里执行：

  • Python3.9+可以用asyncio.to_thread()把单个NumPy调用丢到线程池，示例代码：

    import asyncio
    import numpy as np
    
    async def main():
        arr = await asyncio.to_thread(np.array, [1,2,3])
        filtered = await asyncio.to_thread(np.where, arr > 1)
    

  • 但要注意，NumPy是CPU密集型操作，线程池受GIL限制，没法真正并行，要是任务负载重，还是用多进程+异步结合更靠谱，比如用concurrent.futures.ProcessPoolExecutor配合asyncio.wrap_future()。

• 你提到的两个问题对应的核心要点：

  • 异步下共享NumPy数组：多进程里不能直接传递数组对象，得借助共享内存（比如multiprocessing.Array或者NumPy的np.frombuffer结合共享内存），否则会复制大数组，浪费资源。
  • 关于CPU阻塞问题：用asyncio.to_thread()只是把任务转移到线程执行，CPU还是会被占满——因为GIL的存在，线程池里的CPU密集任务会占用一个核心；要是想彻底不影响其他异步任务的执行，得用进程池把任务分到不同核心处理。

内容的提问来源于stack exchange，提问作者Leah