Python并行进程共享只读资源方案咨询（macOS Python3.9环境）

问题1：全局变量共享并行只读资源是否属于不良编码实践 #

该实现确实属于不良编码实践，核心问题如下：

• 可移植性极差：仅在fork进程启动模式下可用，macOS从Python 3.8开始默认使用spawn启动模式、Windows系统完全不支持fork，代码无法跨环境运行
• 逻辑隐式不透明：强依赖全局状态，代码可读性、可维护性低，后续迭代很容易触发不可预期的异常
• 存在稳定性隐患：macOS上fork操作不会复制子进程的Objective-C运行时状态，只要调用系统相关API大概率会直接崩溃

问题2：新建进程池开销的优化方案 #

你遇到的复用同一个进程池无法识别更新后common_input_2的问题，本质是多进程内存空间独立，主进程后续修改的变量不会自动同步到已启动的子进程。针对开销优化有两个可选方案：

• 若并行任务计算量远大于进程创建开销，新建进程池的额外开销可以完全忽略，不需要做过度优化
• 若确实需要复用进程池，可以放弃隐式的全局变量依赖，每次执行任务时显式传递公共资源参数，或者使用托管的共享对象实现数据同步

问题3：复杂结构只读资源的共享替代方案 #

不需要强制扁平化数据适配Array/Value，有两个更适合复杂结构的方案：

方案1：使用multiprocessing.Manager托管共享对象 #

Manager可以直接托管Python原生的嵌套列表、字典等任意结构，子进程可以直接读取，不需要额外序列化处理，适配性极强，适合绝大多数场景，示例实现如下：

import multiprocessing
from functools import partial

def parallel_computation_1(common_input_1, individual_input):
    return sum(1 for i in common_input_1 if i == individual_input)

def parallel_computation_2(common_input_2, individual_input):
    return individual_input in common_input_2

def main():
    with multiprocessing.Manager() as manager:
        # 托管公共数据，支持任意复杂结构
        common_input_1 = manager.list([1, 2, 3, 1, 1, 3, 1])
        individual_inputs_1 = [0,1,2,3]
        individual_inputs_2 = [0,1,2,3,4]

        # 全程复用同一个进程池
        with multiprocessing.Pool() as pool:
            # 绑定公共数据到任务函数
            task1 = partial(parallel_computation_1, common_input_1)
            common_input_2 = manager.list(pool.map(task1, individual_inputs_1))
            
            # 直接更新绑定的公共数据即可执行第二轮任务
            task2 = partial(parallel_computation_2, common_input_2)
            common_output = pool.map(task2, individual_inputs_2)
    
    print(common_output)

if __name__ == '__main__':
    main()

该代码不需要设置fork启动模式，macOS默认的spawn模式下可以直接运行，也不需要依赖全局变量。

方案2：使用shared_memory实现零复制共享 #

如果共享数据量非常大，想要避免IPC开销，可以用Python 3.8+支持的multiprocessing.shared_memory，将序列化后的复杂结构放到共享内存块中，子进程直接挂载读取即可，不需要重复复制数据，性能比Manager更高，只需要额外做一次序列化/反序列化处理即可。

额外可选方案：线程池 #

如果你的计算逻辑主要基于释放GIL的C扩展实现（比如numpy、pandas、opencv等库的运算），可以直接使用concurrent.futures.ThreadPoolExecutor，线程天生共享地址空间，只读数据不需要任何额外处理就能直接访问，完全规避多进程的一系列问题。

内容的提问来源于stack exchange，提问作者Bubaya