Python多进程池Worker能否在创建后立即启动执行？

在Linux + Python 3.13环境下，要让每个Worker被fork后立即运行，无需等待所有同级Worker创建完成，不要用默认的multiprocessing.Pool——因为Pool会先初始化所有子进程，再统一分配任务，必然导致等待。改用手动创建multiprocessing.Process的方式即可实现需求：

核心思路 #

1. 主进程先完成GB级数据的加载（利用Linux fork的写时复制特性，子进程会共享父进程已加载的数据，无需额外传递）；
2. 逐个创建Process实例，每创建一个就立即调用start()方法启动子进程——子进程会马上执行目标处理函数，主进程则继续创建下一个Worker；
3. 最后统一调用join()等待所有Worker完成。

代码示例 #

import multiprocessing
import time

def handle_shard(shard):
    # 替换为实际的数据分片处理逻辑
    pid = multiprocessing.current_process().pid
    print(f"PID {pid} 开始处理分片: {shard}")
    time.sleep(2)  # 模拟处理耗时
    print(f"PID {pid} 完成分片处理")

if __name__ == "__main__":
    # 主进程加载大输入数据（模拟）
    print("主进程加载数据...")
    time.sleep(1)
    # 生成模拟数据分片（实际场景中从已加载数据拆分）
    data_shards = [f"shard_{i}" for i in range(5)]
    print("数据加载完成，启动Worker...")

    worker_list = []
    for idx, shard in enumerate(data_shards):
        # 创建并立即启动Worker
        worker = multiprocessing.Process(target=handle_shard, args=(shard,))
        worker_list.append(worker)
        worker.start()
        # 模拟Worker创建的间隔耗时（比如资源分配延迟）
        time.sleep(0.5)
        print(f"已启动第 {idx+1} 个Worker")

    # 等待所有Worker执行完毕
    for worker in worker_list:
        worker.join()

    print("所有Worker处理完成")

效果说明 #

运行上述代码会看到：第一个Worker启动后立即进入处理逻辑，而主进程仍在继续创建后续Worker，完全不存在“等全部创建完才开始工作”的同步等待，直接节省了中间的空窗时间。

内容的提问来源于stack exchange，提问作者Mikhail T.