多进程场景下将列表输出保存至单一变量或文件的简易解决方案咨询

我来帮你搞定这个多进程里保存列表输出的问题～先聊聊你现有代码里的几个小问题，再给你几个简单高效的方案：

现有代码的潜在问题 #

1. 多进程写文件冲突：你在calculate函数里直接用print(..., file=f)写同一个文件，多个进程同时操作同一个文件句柄会导致输出内容混乱，因为文件写入不是进程安全的。
2. 重复收集结果：你既用了manager.list()的L来存结果，又接收了starmap的返回值p，其实没必要同时做这两件事，反而容易混淆。

方案1：利用starmap返回值直接合并（最简易） #

starmap本身会自动收集所有子进程的返回值，组成一个列表返回给主进程。你完全可以不用manager.list()，直接用这个返回值来合并结果，步骤如下：

修改后的代码 #

import multiprocessing as mp
from itertools import chain

def calculate(data, ylat, xlon):
    output = []
    for j,i in data:
        # 你的计算逻辑...
        output.append((lat, lon, area, fraction_area))  # 注意这里要把元素改成元组，列表不能直接append多个值
    return output

if __name__ == "__main__":
    # 准备你的args列表（省略构造args的代码）
    args = []
    for index, polys in area_study.iterrows():
        ymin, ymax = ...  # 替换成你的实际值
        xmin, xmax = ...
        ylat = [ymin, ymax]
        xlon = [xmin, xmax]
        args.append((polys, ylat, xlon))

    # 多进程处理
    with mp.Pool() as pool:
        # starmap返回所有子进程的output组成的列表（即列表的列表）
        all_results = pool.starmap(calculate, args)

    # 合并所有子列表为一个大列表
    merged_results = list(chain.from_iterable(all_results))

    # 统一写入文件（避免多进程写冲突）
    with open('name.txt', 'w') as f:
        for item in merged_results:
            lat, lon, area, fraction_area = item
            print(lat, lon, area, fraction_area, file=f)

为什么这个方案好用？ #

• 不需要额外的共享对象，逻辑简单直接
• 主进程统一写入文件，完全避免了多进程写文件的冲突问题
• 代码改动最小，容易维护

方案2：边处理边写入（适合超大数据量，减少内存占用） #

你提到有1200000个多边形，一次性把所有结果存在内存里可能压力很大。这时候可以用imap_unordered代替starmap，边处理结果边写入文件，不需要把所有结果都存在内存中：

修改后的代码 #

import multiprocessing as mp

def calculate(data, ylat, xlon):
    output = []
    for j,i in data:
        # 你的计算逻辑...
        output.append((lat, lon, area, fraction_area))
    return output

if __name__ == "__main__":
    args = []
    for index, polys in area_study.iterrows():
        ymin, ymax = ...
        xmin, xmax = ...
        ylat = [ymin, ymax]
        xlon = [xmin, xmax]
        args.append((polys, ylat, xlon))

    with mp.Pool() as pool:
        # imap_unordered会逐个返回子进程的结果（顺序可能和输入不一致）
        with open('name.txt', 'w') as f:
            for sub_result in pool.imap_unordered(calculate, args):
                for item in sub_result:
                    lat, lon, area, fraction_area = item
                    print(lat, lon, area, fraction_area, file=f)

优势 #

• 内存占用极低，因为处理完一个子进程的结果就立刻写入文件，不会累积所有结果
• 适合百万级别的大数据量处理

方案3：正确使用Manager.list()（如果需要共享列表） #

如果你确实需要在多进程运行过程中共享列表（比如实时查看进度），那要确保manager.list()的使用是正确的，同时避免文件写入冲突：

修改后的代码 #

import multiprocessing as mp

def calculate(data, ylat, xlon, shared_list):
    output = []
    for j,i in data:
        # 你的计算逻辑...
        item = (lat, lon, area, fraction_area)
        output.append(item)
    shared_list.extend(output)  # 用extend而不是append，避免把整个子列表作为元素加入
    return output

if __name__ == "__main__":
    args = []
    with mp.Manager() as manager:
        shared_list = manager.list()
        for index, polys in area_study.iterrows():
            ymin, ymax = ...
            xmin, xmax = ...
            ylat = [ymin, ymax]
            xlon = [xmin, xmax]
            # 把shared_list作为参数传给每个子进程
            args.append((polys, ylat, xlon, shared_list))

        with mp.Pool() as pool:
            pool.starmap(calculate, args)

        # 此时shared_list已经包含所有结果，统一写入文件
        with open('name.txt', 'w') as f:
            for item in shared_list:
                lat, lon, area, fraction_area = item
                print(lat, lon, area, fraction_area, file=f)

注意点 #

• 要把shared_list作为参数传给子进程，而不是在函数里直接引用全局变量（多进程下全局变量不共享）
• 用extend代替append，这样每个子列表的元素会被逐个加入共享列表，而不是把整个子列表作为一个元素

关键提醒 #

• 永远不要在多进程中直接写同一个文件句柄，一定要在主进程统一写入，或者用进程锁（mp.Lock()）控制写入操作（但统一写入更简单）
• 处理超大数据量时优先考虑imap_unordered边处理边写，避免内存溢出

内容的提问来源于stack exchange，提问作者user16708120