Python多进程复用已预处理Pandas DataFrame实现并行运行方案咨询

核心问题来源于两点：

• Windows/macOS下Python的multiprocessing默认使用spawn方式启动子进程，子进程会重新导入整个主模块，所有没有放在if __name__ == '__main__'判断内的全局代码，都会在每个子进程启动时重新运行
• 你的代码中if __main__=='__name__'是语法错误，正确写法是if __name__ == '__main__'，错误写法会导致进程启动逻辑被当做全局代码执行，进一步引发执行逻辑混乱

修正步骤 #

1. 把所有一次性预处理逻辑全部移入if __name__ == '__main__'判断内，确保仅主进程执行一次
2. 优化DataFrame缩放逻辑，替换低效的iterrows遍历为pandas矢量化操作，大幅降低预处理耗时
3. 多进程启动时直接传入预处理完成的DataFrame即可，spawn模式会自动将对象序列化后传给每个子进程，子进程拿到的就是独立的内存副本，无需手动生成

修正后的代码示例 #

import pandas as pd
import multiprocessing

def function1(input_data, arg1):
    # 自定义函数逻辑
    pass

def function2(input_data, arg2):
    # 自定义函数逻辑
    pass

if __name__ == '__main__':
    # 仅主进程执行一次的预处理逻辑
    data = pd.read_csv(...) # pd.read_csv本身返回的就是DataFrame，不需要额外套pd.DataFrame()
    # 替换iterrows的矢量化缩放示例，根据你的缩放规则调整，效率比遍历提升百倍以上
    # 示例：不同行用不同缩放因子，假设缩放因子存在scale_factors列表中，长度和data行数一致
    scale_factors = [1.2, 0.8, ...] # 替换为你的实际缩放因子
    data['specific_column'] = data['specific_column'] * scale_factors

    # 初始化进程
    process1 = multiprocessing.Process(target=function1, args=(data, "arg1的值"))
    process2 = multiprocessing.Process(target=function2, args=(data, "arg2的值"))
    processes = [process1, process2]

    # 启动所有进程
    for p in processes:
        p.start()

    # 等待所有进程执行完成
    for p in processes:
        p.join()

大体积DataFrame优化方案 #

如果你的DataFrame体积超过1G，序列化传参的开销过高，可以用共享内存方案降低开销：

• 先将DataFrame转换为numpy数组，存入multiprocessing.Array共享内存
• 子进程直接读取共享内存生成DataFrame，不需要重复拷贝全量数据
• 如果子进程需要修改数据，需要额外加锁避免读写冲突

内容的提问来源于stack exchange，提问作者Liviu Barbu