如何解决Docker Python SDK结合asyncio时exec串行执行的问题？

核心问题在于你使用的是同步版Docker Python客户端，docker.DockerClient的所有操作（容器创建、启动、exec_run等）都是阻塞式的——哪怕放在async函数里调用，也会卡住整个asyncio事件循环，导致其他任务无法执行，自然无法实现并发。

1. 使用异步版Docker客户端（正确方案） #

Docker Python SDK提供了专门的异步客户端docker.AsyncDockerClient，它的所有方法都是异步协程，能真正配合asyncio实现并发。修改后的代码如下：

import asyncio
import docker
import time

async def gogo():
    # 初始化异步Docker客户端
    client = docker.AsyncDockerClient(base_url='unix://var/run/docker.sock')
    # 异步创建容器
    container = await client.containers.create(
        image=image_parsed,  # 替换成你的镜像名称/ID
        detach=True, stdin_open=True, tty=True, entrypoint="bash"
    )
    # 异步启动容器
    await container.start()
    
    # 异步执行exec命令，保留stream参数
    res = await container.exec_run(
        cmd='bash -c "echo hello stdout ; sleep 3s; echo hello stderr >&2; ls -a"',
        stream=True, demux=False
    )
    
    # 异步读取流（同步的next()会阻塞，改用async for迭代）
    async for chunk in res.output:
        print(chunk.decode().strip())
    
    # 异步停止、删除容器
    await container.stop()
    await container.remove()
    # 关闭异步客户端连接
    await client.close()

async def gogo_group():
    print(f"started at {time.strftime('%X')}")
    # 并发执行两个gogo任务
    await asyncio.gather(gogo(), gogo())
    print(f"finished at {time.strftime('%X')}")

asyncio.run(gogo_group())

2. 为什么之前的修改无效？ #

你之前用async_wrap包装exec_run，只是把同步函数套了一层协程壳，但exec_run本身还是阻塞调用——它会占用事件循环直到操作完成，期间其他任务根本没机会执行，所以依然是串行。只有使用异步客户端的异步方法，才能让事件循环在等待Docker操作时切换到其他任务，实现真正的并发。

3. Jenkins实现并发的原理 #

Jenkins的并发和asyncio单进程并发逻辑不同：它通过多进程/多线程或者分布式构建节点来同时处理任务，每个任务都会启动独立的进程去执行Docker操作，天然实现并行，不需要依赖单进程的协程调度。

内容的提问来源于stack exchange，提问作者Nikolai Ehrhardt