如何用multiprocessing Pool改写CSV处理串行代码并修改全局数组？

你的设想可行性判断 #

你的设想完全不可行，核心问题是Python多进程的内存隔离机制：

• 每个子进程启动时会复制父进程的内存空间，包括全局变量——子进程里修改的数组只是自己的副本，根本不会同步到父进程的原全局变量，最后合并结果的逻辑从根上走不通。
• 就算父进程全局读取了CSV，子进程拿到的也是数据副本，既浪费内存，也没法共享修改后的状态。

关于CSV文件读取的问题 #

不需要每个进程单独读取CSV。正确做法是在父进程里一次性读取并拆分CSV数据，把拆分后的分片任务分配给子进程，避免重复读取大文件的开销。

正确的多进程改造思路 #

1. 父进程预处理CSV：读取文件并跳过前6行，把完整数据拆分成多个独立分片（按行数均分即可）。
2. 移除全局变量依赖：让calc()函数接收分片数据作为参数，直接返回该分片计算后的局部结果（比如每个分片对应的r_lim、r_vol片段，以及分片内的total_vol）。
3. 进程池分发+结果合并：用Pool.map()把分片传给子进程的calc()，收集所有子进程返回的局部结果后，在父进程里合并得到最终的全局数组和变量。

简化代码示例 #

import multiprocessing
import csv

def calc(data_slice):
    # 用局部变量替代全局变量，处理当前分片
    local_r_lim = []
    local_r_vol = []
    local_total_vol = 0
    for row in data_slice:
        # 这里替换成你的实际计算逻辑
        val = float(row[0])
        local_r_lim.append(val * 0.8)
        local_r_vol.append(val * 1.2)
        local_total_vol += val
    return local_r_lim, local_r_vol, local_total_vol

if __name__ == "__main__":
    # 父进程读取并预处理CSV
    with open("large_data.csv", "r") as f:
        reader = csv.reader(f)
        # 跳过前6行
        for _ in range(6):
            next(reader)
        all_data = list(reader)
    
    # 按CPU核心数拆分数据分片
    num_processes = multiprocessing.cpu_count()
    slice_size = len(all_data) // num_processes
    slices = [all_data[i*slice_size : (i+1)*slice_size] for i in range(num_processes)]
    # 处理剩余的零散数据
    if len(all_data) % num_processes != 0:
        slices[-1].extend(all_data[num_processes*slice_size:])
    
    # 启动进程池执行任务
    with multiprocessing.Pool(num_processes) as pool:
        results = pool.map(calc, slices)
    
    # 合并所有子进程的结果
    final_r_lim = []
    final_r_vol = []
    final_total_vol = 0
    for r_lim, r_vol, total_vol in results:
        final_r_lim.extend(r_lim)
        final_r_vol.extend(r_vol)
        final_total_vol += total_vol
    
    # 后续使用合并后的结果
    print(f"最终总容量: {final_total_vol}")

关键注意事项 #

• 绝对不要依赖全局变量共享状态，多进程间的状态传递优先用返回值，特殊场景才考虑Manager等IPC机制（返回值效率更高）。
• 拆分数据时尽量保证分片大小均匀，避免个别进程任务过重拖慢整体速度。
• 主逻辑必须放在if __name__ == "__main__":块内，否则会触发多进程启动时的递归导入问题。

内容的提问来源于stack exchange，提问作者StyKyr