使用Python multiprocessing处理JSON文件后结果列表为空如何解决
问题根因
Python的多进程采用独立内存空间设计,每个子进程会拷贝主进程的所有数据到自己的独立内存中,你在asyncJSONs函数中修改的materials只是子进程本地的副本,完全不会影响主进程中的原始列表,因此运行结束后主进程的materials仍然是初始的全None状态。
另外你当前的写法会为每个文件启动一个独立进程,33.6万个进程会直接耗尽系统的CPU、内存资源,不仅不会提速,还大概率导致进程崩溃、系统卡死。
修复方案
推荐使用multiprocessing.Pool进程池来限制并发进程数,同时通过子进程返回结果的方式收集数据,既能保证顺序,又避免内存空间隔离的问题。
修正后的代码
import json import os from tqdm import tqdm import multiprocessing as mp # 请确保你原来的process_dict函数已经在此处正确定义 def process_dict(data, res): # 此处填写你原有的process_dict处理逻辑 pass def process_single_file(args): index, file = args json_dir = '/content/drive/My Drive/mrp_workflow/JSONs' try: with open(os.path.join(json_dir, file)) as f: data = json.load(f) properties = process_dict(data, {}) properties['name'] = file.split('.')[0] return properties except Exception as e: print(f"Error parsing at {file}: {str(e)}") return None if __name__ == '__main__': jsons = os.listdir('/content/drive/My Drive/mrp_workflow/JSONs') # 进程池并发数,IO密集型任务可设置为CPU核心数的2~4倍,可根据实际运行情况调整 pool_size = mp.cpu_count() * 2 # 构造参数列表,按顺序传入索引和文件名,保证返回结果顺序和原文件顺序一致 task_args = list(enumerate(jsons)) with mp.Pool(pool_size) as pool: # imap按提交顺序返回结果,tqdm用来显示处理进度 materials = list(tqdm(pool.imap(process_single_file, task_args), total=len(task_args))) # 可选:过滤掉处理失败返回的None materials = [item for item in materials if item is not None]
关键修改说明
- 用进程池限制并发数,避免启动过量进程拖垮系统
- 取消子进程中直接修改主进程列表的逻辑,改为每个子进程返回处理结果,主进程统一收集
Pool.imap会严格按照任务提交的顺序返回结果,不需要手动用索引维护顺序- 用
os.path.join拼接路径,避免不同系统的路径分隔符兼容问题 - 捕获异常时打印具体错误信息,方便排查特定文件的解析问题
内容的提问来源于stack exchange,提问作者whacke
相关产品推荐
相关产品推荐

