Python多进程使用map函数时如何优化传参与变量定义降低耗时

现有写法的核心性能瓶颈是跨进程传参的序列化开销：starmap每次调度任务时，都会将传入的Velocity_s、Position_s两个大体积numpy数组序列化后拷贝到对应子进程，10万次任务重复传参会产生巨量额外IO和内存拷贝成本，最终并行耗时反而高于串行。
如果将高斯随机数生成逻辑放到任务函数内部，每个子进程会独立维护随机数状态，生成的随机序列和预定义要求的全局序列不一致，计算结果不符合要求。

方案1：进程池初始化注入全局只读数组（改造成本最低） #

利用进程池的初始化钩子，在每个子进程启动时仅传入一次随机数组，设为子进程全局变量，后续任务调度只传体积可以忽略的索引参数，完全避免重复传大数组的开销。
Linux/macOS默认使用fork模式启动子进程时，子进程会直接共享主进程的只读内存页，连启动时的数组拷贝都不会产生；Windows默认spawn模式下也仅会在子进程启动时拷贝一次数组，开销远低于10万次重复传参。
参考实现代码：

import numpy as np
from multiprocessing import Pool

# 子进程全局变量占位
_GLOBAL_VEL = None
_GLOBAL_POS = None

def _worker_init(vel_arr, pos_arr):
    global _GLOBAL_VEL, _GLOBAL_POS
    _GLOBAL_VEL = vel_arr
    _GLOBAL_POS = pos_arr

def E_and_P(tb_idx):
    # 直接读取全局数组对应索引的值，无需传参
    cur_vel = _GLOBAL_VEL[tb_idx]
    cur_pos = _GLOBAL_POS[tb_idx]
    # 原有计算逻辑
    for index in range(4000):
        # 填充原函数内的计算代码
        pass
    return X_position, Y_position, Z_position, VX_Vel, VY_Vel

if __name__ == "__main__":
    # 主进程仅生成一次随机数组
    Velocity_mu = 0
    Velocity_sigma = 1e8
    Velocity_s = np.random.normal(Velocity_mu, Velocity_sigma, 100000)

    Position_mu = 0
    Position_sigma = 1e-9
    Position_s = np.random.normal(Position_mu, Position_sigma, 100000)

    # 初始化进程池时传入全局数组，每个子进程仅接收一次
    p = Pool(
        processes=4,
        initializer=_worker_init,
        initargs=(Velocity_s, Position_s)
    )
    # 任务仅传索引，参数量可忽略
    result = p.map(E_and_P, range(100000))
    p.close()
    p.join()

注意：子进程内不要修改_GLOBAL_VEL和_GLOBAL_POS的内容，否则会触发写时复制机制产生额外内存开销，只读访问无额外成本。

方案2：共享内存存储数组（跨平台性能最优） #

如果运行环境为Windows（默认spawn启动模式），或者需要极致性能，可以使用multiprocessing.shared_memory将随机数组存入跨进程共享内存块，所有子进程直接映射同一块物理内存，完全消除数组拷贝开销。相比方案1，spawn模式下性能可提升30%以上。
实现逻辑：

• 主进程创建对应大小的共享内存块，将生成好的随机数组写入共享内存
• 子进程初始化时直接映射该共享内存块，构造为本地numpy数组即可访问
• 所有计算完成后，主进程统一释放共享内存资源

额外优化建议 #

• 原有代码中构造items列表时，将两个大数组塞入每个任务元组的写法会产生大量冗余引用，平白占用内存，必须删除
• 单任务参数简单时优先用map替代starmap，减少参数解析开销
• 如果E_and_P内的4000次循环可以用numpy向量化逻辑改写，计算速度还能提升数倍，可进一步降低对多进程的依赖

不要尝试通过给子进程固定随机种子的方式在子进程内生成随机数：多进程调度顺序不可控，哪怕种子一致，不同进程的随机数调用次数差异也会导致最终生成的序列和预期全局序列无法对齐，容易产生难以排查的结果错误。

内容的提问来源于stack exchange，提问作者Yashwini Yadav