Python并行化文件处理：重复执行与共享列表报错问题

问题根源拆解 #

1. 文件重复处理：最初用Process或Pool.map时重复处理文件，核心是参数传递错误——比如把整个文件列表传入每个进程，导致每个进程都遍历处理所有文件。改成传入单个文件+索引后，每个进程只处理指定文件，自然解决了重复问题。
2. 全局列表追加报错：多进程中每个子进程拥有独立的内存空间，主进程的USER_ID全局列表会被复制到每个子进程中，子进程对列表的修改仅在自身内存空间生效，甚至可能因为内存副本的状态不一致引发文件处理错误。

解决方案 #

方案1：处理函数返回结果，主进程统一收集 #

这是最简洁的实现方式，完全规避进程间共享数据的复杂度：

from multiprocessing import Pool

def process_file(file_path, idx):
    try:
        user_ids = []
        # 替换为你的实际文件处理逻辑，提取user_id存入列表
        with open(file_path, 'r') as f:
            for line in f:
                user_id = line.strip()
                user_ids.append(user_id)
        return user_ids
    except Exception as e:
        print(f'error in file {file_path}: {str(e)}')
        return []

if __name__ == '__main__':
    file_list = ['file1.txt', 'file2.txt', 'file3.txt']
    USER_ID = []
    
    with Pool() as pool:
        # 通过zip配对文件路径与索引，传入starmap处理多参数
        results = pool.starmap(process_file, zip(file_list, range(len(file_list))))
    
    # 合并所有子进程返回的结果
    for res in results:
        USER_ID.extend(res)
    
    print(f'最终收集的USER_ID总数：{len(USER_ID)}')

方案2：用Manager创建跨进程共享列表 #

如果业务逻辑必须在子进程中直接操作共享列表，使用multiprocessing.Manager创建可跨进程访问的列表对象：

from multiprocessing import Pool, Manager

def process_file(file_path, idx, shared_user_ids):
    try:
        with open(file_path, 'r') as f:
            for line in f:
                user_id = line.strip()
                shared_user_ids.append(user_id)
    except Exception as e:
        print(f'error in file {file_path}: {str(e)}')

if __name__ == '__main__':
    file_list = ['file1.txt', 'file2.txt', 'file3.txt']
    
    with Manager() as manager:
        USER_ID = manager.list()  # 创建共享列表对象
        with Pool() as pool:
            # 构造包含共享列表的参数组
            task_args = [(file, idx, USER_ID) for idx, file in enumerate(file_list)]
            pool.starmap(process_file, task_args)
        
        # 可选：将共享列表转为普通列表，方便后续操作
        USER_ID = list(USER_ID)
        print(f'最终收集的USER_ID总数：{len(USER_ID)}')

关键注意事项 #

• 多进程环境下绝对不要依赖全局变量共享状态，每个子进程的全局变量都是独立副本，修改不会同步到主进程或其他子进程。
• 传递多参数时优先用Pool.starmap，比Pool.map更适配多参数场景。
• 文件处理逻辑必须加异常捕获，明确报错的文件路径和具体原因，方便快速排查问题。

内容的提问来源于stack exchange，提问作者George