求助：使用pool.imap并行化for循环失败，求排查建议

问题背景 #

我有一系列完全独立的处理任务，原本通过for循环实现，因任务重复次数较多，希望通过并行化提升效率。尝试的并行代码如下：

# def jobs_on_rep(n, info, eg, af, n_memory, data, t):
#...
# data.append(new_row)
#...
# return data, map_filename

if __name__ == "__main__":
                    pool = Pool(os.cpu_count())

                for t in range(0, rep):

                    pool.imap(jobs_on_rep, t)
                    # jobs_on_rep(n, info, eg, af, n_memory, data, t)

注释部分为原for循环实现，循环完成后会将data导出为CSV文件。请问这段并行化代码无法正常工作的原因是什么？

核心问题点 #

• imap参数使用错误：pool.imap()的第二个参数必须是可迭代对象，用来为目标函数传递参数。你直接传入单个整数t，不符合函数要求；同时jobs_on_rep需要多个参数，你没有将参数打包成可迭代的元组序列。
• 共享列表data的并发失效：多进程环境中，每个子进程会拥有data的独立副本，子进程内的data.append()操作仅修改自身副本，不会同步到主进程的data，最终主进程导出CSV时无法获取子进程的处理结果。
• 未收集任务执行结果：imap()返回的是迭代器，必须遍历它才能触发任务执行并回收结果。目前仅调用pool.imap()却未处理返回值，任务可能未实际执行，或执行后结果丢失。
• 缺少进程池收尾操作：任务提交后未调用pool.close()和pool.join()，主进程可能提前终止，导致子进程未完成任务就被强制结束。

修正示例 #

正确的并行处理逻辑应避免共享状态，改为每个子进程生成独立结果片段，最后在主进程合并：

from multiprocessing import Pool
import os

def jobs_on_rep(n, info, eg, af, n_memory, t):
    # 子进程独立初始化数据列表，避免共享问题
    data = []
    # ... 执行任务逻辑，生成new_row并添加到data
    return data, map_filename

if __name__ == "__main__":
    # 假设以下变量已提前定义
    n = ...
    info = ...
    eg = ...
    af = ...
    n_memory = ...
    rep = ...

    pool = Pool(os.cpu_count())
    # 构造参数元组列表，每个元组对应一次任务的参数
    task_args = [(n, info, eg, af, n_memory, t) for t in range(rep)]
    # 提交任务并获取结果迭代器
    task_results = pool.imap(jobs_on_rep, task_args)

    # 合并所有子进程的结果
    final_data = []
    all_filenames = []
    for sub_data, filename in task_results:
        final_data.extend(sub_data)
        all_filenames.append(filename)

    # 关闭进程池并等待所有任务完成
    pool.close()
    pool.join()

    # 将合并后的final_data导出为CSV
    # ... 此处添加CSV导出逻辑

内容的提问来源于stack exchange，提问作者Qualla