网络密集型任务提速：Python多线程还是Async IO更适合？

我有一个Python函数，可通过SSH登录设备、执行命令并利用数据发起HTTP调用，希望让migrate_devices函数在处理设备时实现并行执行。

现有简化同步函数：

def migrate_devices(devices: List[str]):
    for ip in devices: # 每个循环可并行执行，无竞争条件
        data = collect_data_via_ssh(ip) # SSH登录耗时较长
        new_data = process_data(data) # 处理数据
        make_http_calls(data) # HTTP调用耗时较长

各设备的SSH操作相互独立，每个设备的HTTP调用也彼此独立，不依赖其他设备的数据。耗时主要集中在等待设备SSH响应及HTTP响应阶段，因此希望让每个循环并行执行。我使用Python 3.10+版本，必要时可升级到3.12，请问应选择多线程还是async/await方案？

我熟悉JavaScript的异步机制，已编写如下async代码：

async def process_single_device(ip):
    data = await collect_data_via_ssh(ip)
    new_data = process_data(data) # 处理数据
    await make_http_calls(data)
    return success_or_failure_message

async def migrate_devices(devices: List[str]):
    all_tasks = []
    async with asyncio.TaskGroup() as tg:
        for device in devices:
            device_task = tg.create_task(process_single_device(ip=device))
            all_tasks.append(device_task)
    # 所有任务在此处完成
    for device in all_tasks:
        print(f"Device result: {device.result()}")

请问我应继续采用该方案还是切换为多线程？另外，Python中使用async/await时的执行流程是否如下所示？

+
                                   |
         ---------+                |         +--------+
         |device 1|                |         |device 2|
         ---------+                |         +--------+
                                   |
          SSH into device 1+       |
                           | while waiting
                           +-for SSH,------> ssh into device 2
                             process next device +
                                   |             |
                                   |             |
                                   |             |
                                   |             |
make HTTP call+ for device 1<--------------------+ while waiting for device 2 SSH,
              |                    |               make HTTP calls for device 1
              |
              |                    |
              +----------------------------> make HTTP calls for device 2
                                   |
                                   |
                                   +

回答 #

方案选择：继续使用async/await更合适 #

你的场景完全适配异步IO的核心优势：核心耗时都是IO等待（SSH登录、HTTP调用），而process_data是CPU轻量的本地数据处理。

• async/await的优势：

  • 单线程内切换任务，避免多线程的线程切换开销和GIL（全局解释器锁）限制，在IO密集型场景下效率更高。
  • Python 3.10+的asyncio.TaskGroup已经非常成熟，代码简洁易维护，和你熟悉的JS异步逻辑思路一致，学习成本低。
  • 若后续需要扩展（比如增加更多IO操作），异步架构的扩展性更好。

• 多线程的劣势：

  • 由于GIL的存在，多线程仅能在CPU密集型任务配合多进程时发挥优势，你的IO密集场景下，多线程的优势无法体现，反而会增加线程管理的额外开销。
  • 代码复杂度更高，需要处理线程池、结果收集等问题，不如异步代码直观。

只要你的collect_data_via_ssh和make_http_calls是异步实现（比如用asyncssh做异步SSH，aiohttp做异步HTTP），当前的async方案就是最优选择。如果这两个函数还是同步的，可以用asyncio.to_thread把它们包装成异步函数，无需改动核心逻辑。

异步执行流程确认 #

你画的流程是正确的，Python异步IO的执行逻辑和JS一致，属于协作式多任务：

1. 启动device1的SSH任务，遇到await后，事件循环会挂起这个任务，转而执行下一个就绪任务（device2的SSH）。
2. 当device1的SSH响应返回后，事件循环恢复device1的任务，执行process_data（本地同步处理，不会触发挂起），然后发起HTTP调用，再次遇到await挂起。
3. 此时如果device2的SSH还在等待，事件循环会继续处理其他就绪任务（比如device1的HTTP调用完成后恢复执行），直到所有任务都完成。

整个过程中，任务在IO等待时主动让出CPU，充分利用等待时间提升整体效率。

内容的提问来源于stack exchange，提问作者rsn