Python中使用multiprocessing并行构建Docker镜像为何仍串行执行？

• 多进程调度存在致命写法错误，完全没有触发并行流程
  创建mp.Process实例时，代码将target参数传入了函数同步执行后的返回值，而非可被子进程调度的函数引用。执行流在主进程内的求值顺序为：
  1. 运行到创建t1的代码行时，立刻同步执行self.image_build(...)，等第一个镜像构建完成、拿到函数返回的None值后，才会把这个None传给Process类的构造函数
  2. 继续打印日志、走到创建t2的代码行时，再次同步执行第二个image_build方法，等第二个镜像构建完成后，才创建t2的Process对象
  3. 后续的t1.start()、t2.start()启动的是两个没有绑定实际任务的空进程，对镜像构建没有任何作用
     整个流程本质是主进程串行跑完了两次Docker镜像构建，自然会表现为“按顺序逐个创建镜像”。
• 隐藏的技术适配问题
  哪怕修正了Process的传参写法，主进程初始化的docker.Client实例本身不具备跨进程安全性，直接在子进程中复用会出现连接句柄失效、请求永久阻塞的问题。

核心改动逻辑：

• 调整mp.Process的参数传值方式，将函数引用和构建参数分离传递，让构建任务真正被调度到独立子进程执行
• 每个子进程内部独立初始化Docker客户端连接，避免跨进程复用句柄
• 增加子进程等待逻辑，防止主进程提前退出中断构建任务

import docker
import multiprocessing as mp

def build_image_worker(path, dockerfile_name, tag):
    # 每个子进程独立创建Docker客户端实例
    client = docker.from_env()
    try:
        print(f"启动并行构建任务: {tag}")
        client.images.build(
            path=path,
            dockerfile=dockerfile_name,
            tag=tag,
            rm=True,
            nocache=True
        )
        print(f"镜像构建完成: {tag}")
    except Exception as e:
        print(f"镜像{tag}构建失败，错误信息: {str(e)}")
    finally:
        client.close()

class DockerBuilder:
    def __init__(self):
        self.client = docker.from_env()

    def get_all_containers(self):
        return self.client.containers.list(all=True)

    def run_parallel_build(self):
        base_build_path = "/home/rohith/Desktop/proj/poc/"
        build_task_list = [
            (base_build_path, "login_service", "login_service"),
            (base_build_path, "login_mongo", "mongo_service")
        ]
        running_process = []
        for task_params in build_task_list:
            # 正确传参：target绑定可调度的函数引用，实际构建参数通过args传入子进程
            process = mp.Process(
                target=build_image_worker,
                args=task_params
            )
            running_process.append(process)
            process.start()

        # 等待所有构建任务执行完成
        for p in running_process:
            p.join()
        print("所有镜像构建流程执行结束")


if __name__ == "__main__":
    builder = DockerBuilder()
    builder.run_parallel_build()

• Docker守护进程本身对并发构建有内置的资源限流，并行构建的速度取决于宿主机CPU、磁盘IO的剩余性能，不会比串行构建快一倍
• 如果两个Dockerfile存在共享层依赖，Docker会自动处理层缓存的复用，不会出现重复构建的问题

内容的提问来源于stack exchange，提问作者rohit tadiparti